Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

Resumo Técnico: Origens Mecanísticas do Esquecimento Catastrófico

Enunciado do Problema
O ajuste fino de modelos de linguagem de grande escala (LLMs) para novas tarefas downstream frequentemente induz o esquecimento catastrófico, onde ganhos em um novo objetivo ocorrem à custa de capacidades anteriores. Embora estudos comportamentais recentes sugiram que o Aprendizado por Reforço (RL) preserva capacidades anteriores de forma mais eficaz do que o Ajuste Fino Supervisionado (SFT) — atribuindo isso a atualizações de gradiente de política que permanecem mais próximas da política base em termos de deriva distribucional (medida pela divergência KL) —, as razões mecânicas internas para essa diferença permanecem inexploradas. A questão central abordada é se a vantagem de retenção do RL é refletida por uma preservação mais forte dos circuitos computacionais internos (cabeças de atenção, camadas MLP e caminhos residuais) que implementam as capacidades do modelo.

Metodologia
Os autores investigam essa questão utilizando o Qwen2.5-3B-Instruct adaptado a uma tarefa de resposta a perguntas científicas. O pipeline experimental consiste em três fases:

1. Reprodução Comportamental: O estudo reproduz a lacuna de retenção conhecida entre SFT e RL. Um modelo base ($\pi_{base}$) é ajustado finamente via perda de entropia cruzada apenas de conclusão para criar um modelo SFT ($\pi_{SFT}$). Este modelo SFT é então refinado usando Dr.GRPO (uma variante da Otimização de Política Relativa em Grupo) para criar um modelo RL ($\pi_{RL}$). A deriva comportamental é quantificada usando a divergência KL esperada em benchmarks de retenção.
2. Identificação de Circuitos: Os autores empregam Mascaramento Binário Diferencial (DBM) para identificar circuitos computacionais internos no nível de cabeças de atenção. O DBM aprende uma máscara sobre cabeças de atenção que interpola entre ativações base e contrafactuais. Ao otimizar essas máscaras para aumentar a probabilidade de respostas-alvo enquanto mantém a esparsidade, o método isola sub-redes causais esparsas (circuitos) responsáveis por comportamentos específicos.
3. Comparação de Circuitos entre Modelos: O estudo introduz a vulnerabilidade diferencial de circuitos, uma medida no nível de cabeças que compara o quanto um circuito se degrada sob diferentes objetivos de treinamento. Métricas-chave incluem:
   • Fidelidade do Circuito: A razão entre o comportamento recuperado pelo subgrafo extraído e o comportamento do modelo completo.
   • Deslocamentos de Máscara no Nível de Cabeça ($\Delta m_h$): Comparação dos valores de máscara de modelos ajustados finamente contra o modelo base para identificar cabeças preservadas, amplificadas ou enfraquecidas.
   • Necessidade e Suficiência: Intervenções que medem a queda na log-probabilidade quando uma cabeça é perturbada (necessidade) e o comportamento recuperado quando apenas aquela cabeça está ativa (suficiência).

Principais Contribuições

• Vulnerabilidade Diferencial de Circuitos: O artigo introduz uma métrica inovadora para quantificar a suscetibilidade relativa de subgrafos computacionais internos à degradação sob diferentes objetivos de treinamento (SFT vs. RL).
• Explicação Mecanística do Esquecimento: O trabalho estende a conta comportamental da superioridade do RL sobre o SFT para o nível mecânico, demonstrando que o RL preserva uma fração maior do circuito base em comparação com o SFT.
• Caracterização do Trade-off: O estudo caracteriza um trade-off fundamental no pós-treinamento: o SFT adapta-se mais rapidamente à tarefa-alvo, mas produz uma perturbação substancial do circuito, enquanto o RL preserva o circuito base ao custo de uma adaptação mais lenta à tarefa.

Resultados

• Trajetórias de Retenção de Circuitos: Ao longo de duas épocas de treinamento, SFT e RL divergem abruptamente. O SFT retém apenas 63,5% das cabeças de atenção base após a Época 1, declinando para 59,0% na Época 2. Em contraste, o RL retém 69,8% após a Época 1 e recupera para 72,5% na Época 2, mantendo uma vantagem de 13,5 pontos percentuais na retenção do circuito base.
• Compressão Estrutural vs. Adaptação Distribuída: O DBM identifica um circuito base de 297 cabeças. O modelo SFT sofre compressão estrutural para aproximadamente 265 cabeças (46,0% do total), enquanto o modelo RL retém aproximadamente 296 cabeças (51,4%). O SFT concentra o comportamento da nova tarefa em um conjunto menor de "especialistas críticos" (alta necessidade e suficiência), enquanto o RL mantém uma arquitetura distribuída que se sobrepõe estreitamente ao modelo base.
• Engajamento Causal: O RL mantém consistentemente pontuações mais altas de Mediação Causal Diferencial (DCM) (por exemplo, 15,8 vs. 10,4 na Época 1), indicando que o circuito preservado no RL carrega um sinal causal mais forte sobre o comportamento do modelo em comparação com o SFT.
• Métricas de Saída vs. Internas: Notavelmente, o modelo RL exibe uma divergência KL no espaço de saída maior do que o modelo SFT, mas preserva mais capacidades anteriores e estrutura de circuito interno. Isso sugere que métricas no espaço de saída podem não prever de forma confiável o esquecimento interno.

Significado
O artigo afirma que a preservação de circuitos oferece uma explicação mecânica para o motivo pelo qual o RL é mais robusto ao esquecimento catastrófico do que o SFT. As descobertas sugerem que a adaptação contínua deve ser vista não apenas como otimização de parâmetros, mas como a preservação e modificação seletivas de circuitos que codificam habilidades. Os resultados indicam um trade-off onde o SFT atua como um "compressor" que reconfigura agressivamente circuitos para especialização rápida, enquanto o RL atua como um "adaptador distribuído" que reutiliza conservadoramente representações existentes. Essa perspectiva fornece uma base para entender as causas internas do esquecimento e sugere que métodos futuros de adaptação poderiam beneficiar-se da combinação de aprendizado eficiente com preservação seletiva de circuitos.

Limitações
Os autores observam que o estudo é limitado a uma única arquitetura de modelo (Qwen2.5-3B-Instruct) e a um conjunto específico de tarefas (QA científica). A análise de circuitos foca principalmente em cabeças de atenção, excluindo camadas MLP e características do fluxo residual. A generalização para outras arquiteturas (por exemplo, Gemma, Mistral, Llama) e domínios de capacidade mais amplos permanece a ser validada.