Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair

Resumo Técnico: Modos de Falha Ocultos da Modificação de Gradiente sob Adam em Aprendizado Contínuo

1. O Problema: O Conflito "Atenuar-e-Adaptar"

A maioria dos métodos de Aprendizado Contínuo (CL - Continual Learning) busca proteger o conhecimento de tarefas antigas modificando o gradiente antes da atualização (via projeção, penalidades ou mistura de gradientes de replay). O pressuposto implícito é que, uma vez que o gradiente foi "corrigido" para proteger o passado, o otimizador adaptativo (como o Adam) executará essa proteção fielmente.

O artigo identifica um modo de falha oculto chamado conflito "atenuar-e-adaptar" (attenuate-then-adapt conflict). Em regimes de alta sobreposição entre tarefas, quando um método atenua o gradiente em direções protegidas, ele também atenua o sinal que alimenta o segundo momento do Adam ($v_t$, o acumulador de magnitude). Como o Adam divide o passo de aprendizado pela raiz quadrada de $v_t$, a diminuição de $v_t$ acaba inflacionando a taxa de aprendizado efetiva justamente nas direções que o método tentou proteger. Isso inverte o objetivo da proteção, levando ao esquecimento catastrófico.

2. Metodologia e Diagnóstico

Os autores utilizam uma abordagem de três pilares:

• Diagnóstico (Análise de Surrogado Escalar): Para a família de métodos de projeção, eles provam matematicamente (Proposição 1) que, no limite de regime de estabilidade, a taxa de aprendizado efetiva em uma direção protegida é inflacionada por um fator de $1/(1-\alpha)$, onde $\alpha$ é a força da proteção. Eles validam isso experimentalmente, mostrando que a previsão teórica coincide com as medições reais com uma margem de erro de apenas 8%.
• Isolamento de Mecanismo: Através de intervenções causais (como fixar o primeiro momento $m_t$ e manipular apenas o denominador $v_t$), eles demonstram que o erro de esquecimento é causado quase inteiramente pela trajetória do denominador do otimizador, e não pela modificação do gradiente em si.
• Reparo (Adaptive-OGP): Eles propõem o Adaptive-OGP (Adaptive Decoupled Moment Projection). A solução consiste em um roteamento desacoplado:
  1. O gradiente modificado (atenuado) é enviado apenas para o primeiro momento ($m_t$).
  2. O gradiente bruto (sem atenuação) é enviado para o segundo momento ($v_t$), preservando estatísticas de magnitude fiéis.
  3. Adiciona-se um controle de força adaptativo baseado na sobreposição de subespaços ($\alpha_t$), que reduz a proteção quando a sobreposição é muito alta para evitar a perda de plasticidade.

3. Principais Contribuições

1. Identificação de um erro sistêmico: Revelam que a falha não é de um método específico (como GPM ou EWC), mas uma propriedade da composição entre métodos de modificação de gradiente e otimizadores adaptativos.
2. Unificação Teórica: Fornecem uma explicação que abrange três famílias de métodos: projeção, penalidade (como EWC) e mistura de gradientes (replay).
3. Reparo Eficiente: O Adaptive-OGP é uma mudança de "uma linha de código" que resolve o problema sem aumentar significativamente o custo computacional (overhead < 2%).

4. Resultados Experimentais

Os resultados são apresentados em diferentes escalas e regimes:

• Regime de Falha (Alta Sobreposição): Em fluxos de dados com alta sobreposição, todos os métodos de "roteamento compartilhado" (que enviam o gradiente modificado para ambos os momentos) colapsam para um desempenho próximo ao vanilla Adam (alto esquecimento). O Adaptive-OGP permanece estável, superando o melhor método de replay em 2.2 unidades de esquecimento.
• Escalabilidade: O método foi testado em modelos de 256M até 7B parâmetros (Llama-2 via LoRA). Em modelos de 7B, a vantagem do Adaptive-OGP sobre os métodos tradicionais aumenta significativamente.
• Robustez: O método funciona consistentemente em diferentes arquiteturas (Transformer, Mamba, RetNet) e diferentes otimizadores (AdamW, AdaFactor, SGD+Momentum).

5. Significância

Este trabalho é fundamental porque muda a perspectiva do Aprendizado Contínuo: o otimizador não deve ser tratado como uma "caixa preta neutra", mas como um componente que interage criticamente com as estratégias de proteção de conhecimento. A descoberta do conflito "atenuar-e-adaptar" explica por que muitos métodos promissores falham em cenários de mundo real (onde as tarefas são muito similares) e oferece uma solução estrutural simples e poderosa para permitir o aprendizado contínuo em modelos de linguagem de larga escala.