Resumo Técnico: Uma Teoria de Perturbação Local para Interferência e Recuperação entre Domínios em RL Multi-Domínio

Declaração do Problema

O pós-treinamento de Aprendizado por Reforço (RL) para Grandes Modelos de Linguagem (LLMs) melhora efetivamente o desempenho em domínios específicos, como raciocínio matemático, geração de código, perguntas e respostas (QA) e escrita criativa (CW). No entanto, o treinamento sequencial em múltiplos domínios frequentemente leva à interferência entre domínios, onde o desempenho em domínios anteriores degrada após o treinamento em domínios subsequentes.

Explicações existentes para este fenômeno, como esquecimento catastrófico ou conflito de gradiente global, são insuficientes. Observações empíricas neste trabalho revelam que:

1. Os cossenos de gradiente de modelo completo entre domínios podem ser quase ortogonais (próximos de zero), mesmo quando ocorre uma degradação significativa de desempenho.
2. A interferência é seletiva e assimétrica (por exemplo, treinar em QA e CW degrada severamente o desempenho em Matemática, enquanto Código e QA permanecem estáveis), em vez de um esquecimento uniforme.
3. Visões globais padrão falham em explicar como uma interferência substancial persiste apesar de um antagonismo de gradiente global fraco.

A questão central abordada é: Onde reside a interferência entre domínios se não no antagonismo de gradiente global?

Metodologia e Estrutura Teórica

Os autores propõem uma mudança da análise de conflitos de objetivos de modelo completo para a análise de rotas de computação ativa local. A metodologia combina análise estrutural empírica com um modelo de perturbação local.

1. Análise Estrutural Empírica

O estudo utiliza uma configuração de RL multi-domínio sequencial (Código $\to$ Matemática $\to$ QA $\to$ CW) baseada no currículo Omni-Thinker. Principais descobertas estruturais incluem:

• Atualizações Esparsas de Pequena Magnitude: O RL específico de domínio induz edições esparsas, com 77%–89% dos parâmetros mostrando mudanças absolutas negligenciáveis ($<10^{-7}$) e mudanças relativas ($<10^{-3}$).
• Baixa Sobreposição de Edição: Os conjuntos de neurônios com maiores mudanças entre diferentes domínios possuem baixa sobreposição de Jaccard (média < 0,19), descartando a hipótesia de que a interferência surge da reescrita dos mesmos neurônios.
• Rotas Ativas Compartilhadas: Apesar da baixa sobreposição de edição, domínios orientados ao raciocínio (Matemática, Código, QA) compartilham rotas de computação ativa substanciais (top 5% de neurônios ativos) durante a inferência.
• Conflito Direcional: Nessas rotas ativas compartilhadas, as direções de atualização variam. Enquanto alguns pares (ex: Código-Matemática) estão alinhados, outros (ex: Matemática-QA) exibem conflito dependente de camada, onde as direções de atualização são antagônicas em camadas específicas.

2. Teoria da Perturbação Local

Guiados por essas observações, os autores formalizam um modelo de perturbação local com três proposições centrais:

• Dano de Segunda Ordem: Como o checkpoint após o treinamento no domínio $A$ é aproximadamente estacionário para seu objetivo local, o efeito principal de uma atualização posterior $\delta_B$ é um termo de dano de segunda ordem ($\frac{1}{2}\delta_B^\top H_A \delta_B$), e não um conflito de gradiente de primeira ordem.
• Subespaço de Conflito Ativo de Baixa Dimensão: Este dano está concentrado em um subespaço de conflito ativo compartilhado de baixa dimensão ($S_{A,B}$). Mesmo que os gradientes globais sejam ortogonais e as edições sejam esparsas, a interferência ocorre se a projeção da atualização do domínio posterior sobre este subespaço sensível for grande.
• Contração Geométrica via Refresh: Um "refresh" curto (retreinamento) no domínio danificado $A$ contrai geometricamente o componente prejudicial dentro de $S_{A,B}$. Sob as suposições de curvatura positiva no subespaço e acoplamento fraco de direções ortogonais, o deslocamento prejudicial decai exponencialmente com o número de etapas de refresh, permitindo a recuperação seletiva sem o retreinamento total.

Principais Contribuições

1. Explicação Mecanística da Interferência: O artigo demonstra que a degradação entre domínios é impulsionada não pelo conflito de gradiente global ou pela coedição direta de neurônios, mas por edições de RL esparsas interagindo ao longo de rotas de computação ativa compartilhadas.
2. Formalização Teórica: Formaliza o mecanismo como dano de segunda ordem concentrado em um subespaço de conflito ativo compartilhado de baixa dimensão. Isso explica por que gradientes globais quase ortogonais podem coexistir com a degradação seletiva.
3. Validação da Recuperação Seletiva: A teoria prevê que um refresh curto no domínio danificado pode recuperar o desempenho ao contrair o componente de subespaço prejudicial, limitando o dano colateral a outros domínios.

Resultados Experimentais

Os autores validam sua teoria através de duas abordagens complementares:

A. Recuperação ao Nível de Tarefa (Short Refresh)

• Configuração: Após o treinamento sequencial (Código $\to$ Matemática $\to$ QA $\to$ CW), o desempenho em Matemática caiu de 66,49 para 57,66.
• Intervenção: Um "Re-Math" refresh curto foi aplicado ao checkpoint final ($CWo$).
• Resultado: O desempenho em Matemática recuperou-se para 66,04 (próximo ao especialista de domínio único de 66,84), enquanto o desempenho em Código, QA e CW permaneceu amplamente estável.
• Resultado: A pontuação média em todos os domínios atingiu 66,39, superando tanto o baseline sequencial quanto os baselines de domínio misto (JT e CGPO). Isso confirma que a interferência é reversível via correção localizada.

B. Intervenção Direta (Rollback Sem Treinamento)

• Configuração: Para investigar diretamente a afirmação de localização, os autores realizaram um rollback sem treinamento no par Matemática-QA. Eles identificaram um conjunto esparso de "coordenadas de proxy de conflito" baseadas em três sinais: ativação compartilhada, magnitude de atualização e conflito direcional.
• Intervenção: Eles reverteram o deslocamento induzido por QA apenas nessas coordenadas selecionadas (2% dos neurônios MLP).
• Resultado: Este rollback esparso recuperou 20,4% da perda de Matemática (de 59,90 para 61,25) com impacto negligenciável no desempenho de QA. Estender o rollback para incluir camadas de atenção aumentou a recuperação para 73,6% com um orçamento de 32%.
• Significância: Isso fornece evidência direta de que o componente prejudicial da interferência entre domínios é localizado e pode ser parcialmente revertido sem retreinamento.

Significância e Alegações

O artigo afirma fornecer uma explicação mecanística localizada da interferência e recuperação em RL multi-domínio. Sua significância reside em:

• Refutar Explicações Globais: Estabelece que a ortogonalidade do gradiente global não garante a segurança contra a interferência, pois o dano é um fenômeno localizado de segunda ordem.
• Implicação Prática: Sugere que a melhoria estável de múltiplos domínios pode não exigir ajustes complexos de mistura de dados ou cronogramas de replay desenhados à mão. Em vez disso, refreshes curtos e direcionados nos domínios degradados podem recuperar o desempenho de forma eficiente com efeitos colaterais limitados.
• Insight Teórico: Preenche a lacuna entre atualizações esparsas de parâmetros e interferência funcional, mostrando que o "conflito" reside no alinhamento das atualizações em rotas ativas compartilhadas, em vez de no espaço de parâmetros global.

Os autores mantêm a modéstia, observando que sua intervenção de subespaço de conflito é atualmente baseada em um proxy grosseiro e que trabalhos futuros são necessários para automatizar a detecção de domínios degradados e identificar precisamente o subespaço de conflito latente para intervenções mais eficientes.