Resumo Técnico: O Esquecimento Catastrófico é de Baixo Rank

Definição do Problema

A adaptação contínua — o ajuste fino de grandes modelos pré-treinados em novas tarefas enquanto se mantém o desempenho em tarefas antigas — é limitada pelo esquecimento catastrófico. Embora as estratégias de mitigação existentes abranjam regularização de parâmetros (EWC, SI), replay, destilação e projeção de gradiente, a área carece de um relato mecanístico sobre quais direções no espaço de saída são vulneráveis à deriva. Trabalhos teóricos anteriores (ex: Doan et al., 2021; Bennani et al., 2020) estabeleceram limites escalares para a magnitude do esquecimento com base no alinhamento de tarefas, mas falharam em identificar a estrutura específica do autovetor (eigenspace) do vetor de esquecimento ou explicar por que certas direções de saída derivam enquanto outras permanecem estáveis.

Metodologia: Teoria do Espaço de Função no Regime NTK

O artigo reformula o esquecimento catastrófico como interferência de baixo rank no espaço de função dentro do regime do Kernel de Tangente Neural (NTK). O arcabouço teórico central baseia-se na análise do deslocamento nas predições de uma tarefa anterior (Tarefa A) induzido pelo treinamento em uma nova tarefa (Tarefa B).

1. O Preditor de Esquecimento

Os autores derivam um preditor de forma fechada para o vetor de esquecimento $\Delta f_A$ (o deslocamento nas predições da Tarefa A) antes que qualquer passo de gradiente da nova tarefa seja tomado. Sob a linearização NTK em torno dos parâmetros $\theta_A$ da tarefa antiga, e assumindo que o treinamento da Tarefa B converge para um minimizador de uma perda MSE regularizada, o vetor de esquecimento é dado por:

$$\Delta f_A = -K_{AB} (K_{BB} + \lambda I)^{-1} r_B$$

Onde:

• $K_{AB} = J_A J_B^\top$ é o kernel entre tarefas (interação entre os Jacobianos da Tarefa A e da Tarefa B).
• $K_{BB} = J_B J_B^\top$ é o kernel da Tarefa B.
• $r_B = f_B(\theta_A) - y_B$ é o resíduo da Tarefa B no início do treinamento.
• O preditor é exato (até a precisão numérica) no regime de um backbone congelado com um cabeçalho linear treinável (linear em parâmetros). Para adaptadores não lineares ou ajuste fino total, ele serve como uma aproximação local de NTK.

2. Caracterização Estrutural

O preditor revela que o esquecimento não é uniforme, mas concentra-se em um subespaço de baixo rank:

• Concentração de Baixo Rank: O vetor de esquecimento reside na imagem do Jacobiano da Tarefa A ($Im(J_A)$). Quando expandido na base de autovetores do kernel da Tarefa A ($K_{AA}$), a energia do vetor de esquecimento concentra-se em um pequeno número de modos principais (1–6 modos carregam 50–90% da energia em benchmarks padrão).
• Regra de Escalonamento de Kronecker: Para um mapa de características congelado $\phi(x)$ e um cabeçalho linear treinável $W \in \mathbb{R}^{C \times F}$, o kernel $K_{AA}$ admite uma fatoração de Kronecker exata $K_{AA} = I_C \otimes G$, onde $G$ é a matriz de Gram das características. Isso implica que a dimensão do subespaço vulnerável escala como:
  $$k^\star \approx C \cdot k_G$$
  onde $C$ é o número de classes de saída e $k_G$ é o rank efetivo da matriz de Gram das características.

3. Solução Proposta: Regularização Espectral

Com base na teoria de que o esquecimento está concentrado em um subespaço de dimensão reduzida específica, os autores propõem a Regularização Espectral. Em vez de penalizar a deriva em todos os parâmetros ou em todas as direções de saída (como em EWC ou LwF), este método penaliza explicitamente a deriva apenas ao longo dos top-$k$ autovetores do kernel da tarefa antiga $K_{AA}$. Isso concede total plasticidade ao subespaço complementar enquanto protege as direções vulneráveis.

Principologais Contribuições

1. Preditor de Esquecimento de Forma Fechada: Uma fórmula (Proposição 1) que prevê a direção e a magnitude do vetor de esquecimento usando apenas quantidades de pré-treinamento. A validação empírica mostra similaridade de cosseno > 0,99 com os deslocamentos realizados em backbones de Transformer e ResNet sob adaptação de cabeçalho congelado.
2. Caracterização Estrutural da Vulnerabilidade: A identificação de que o esquecimento se concentra em um punhado de modos de autovetores do NTK. O artigo fornece uma fatoração de Kronecker exata para cabeçalhos lineares de backbone congelado, estabelecendo uma regra de escalonamento ($k^\star \approx C \cdot k_G$) que vincula o número de saídas e o rank das características à dimensão do subespaço vulnerável.
3. Lente Diagnóstica para Design de Métodos: A teoria explica por que regularizadores no espaço de parâmetros (como EWC) falham em benchmarks de cabeçalho compartilhado: eles restringem a deriva de parâmetros, mas não se alinham com os autovetores específicos no espaço de saída onde ocorre a interferência. Por outro lado, explica por que métodos amplos no espaço de função (como LwF) têm sucesso, mas podem ser ineficientes, pois penalizam direções não vulneráveis.

Resultados Experimentais

O artigo avalia a teoria e a proposta de Regularização Espectral em Split-MNIST, Split-CIFAR-10 e Split-CIFAR-100 (regime de backbone congelado e cabeçalho linear).

• Falha de Métodos no Espaço de Parâmetros: Em benchmarks de cabeçalho compartilhado, métodos no espaço de parâmetros (EWC, SI) não apresentam desempenho superior a nenhuma regularização, confirmando que a vulnerabilidade reside no espaço de saída, não no espaço de parâmetros.
• Proteção Direcionada vs. Ampla:
  • Split-MNIST: A regularização espectral alcança uma razão de deriva (Outros/Vulneráveis) de 75:1, o que significa que ela suprime quase totalmente a deriva vulnerável enquanto deixa a outra deriva sem restrições. Em contraste, baselines como EWC e LwF mostram razões próximas de 0,5:1 a 0,8:1, indicando supressão uniforme ou falta de direcionamento.
  • Split-CIFAR-100: Quando o número de saídas $C$ é grande (100), a dimensão do subespaço vulnerável $k^\star$ cresce. Sob estas condições, a penalidade "ampla" de LwF naturalmente se sobrepõe significativamente ao subespaço vulnerável, fazendo com que a Regularização Espectral e o LwF convirjam em desempenho (aprox. 40% de acurácia).
• Precisão: O preditor atinge precisão de máquina ($1 - \cos \text{sim} \approx 10^{-6}$) em backbones ViT e DINOv2 com cabeçalhos lineares congelados.

Significância e Alegações

O artigo afirma fornecer um relato mecanístico do esquecimento catastrófico, indo além de limites escalares para um entendimento estrutural do vetor de esquecimento.

• Reenquadramento: O esquecimento é identificado como interferência de baixo rank no espaço de função, impulsionada pelo kernel entre tarefas agindo sobre o resíduo da nova tarefa.
• Explicação da Falha: O trabalho esclarece por que regularizadores no espaço de parâmetros falham em tarefas de cabeçalho compartilhado: eles não conseguem proteger seletivamente os autovetores específicos do espaço de saída onde a interferência se concentra.
• Heurística de Design: A regra de escalonamento derivada ($k^\star \approx C \cdot k_G$) oferece uma maneira fundamentada de ajustar regularizadores espectrais. Ela explica a convergência de métodos direcionados e amplos conforme a dimensão da saída aumenta.
• Escopo: Os autores são modestos quanto à aplicabilidade, observando que o preditor é exato para cabeçalhos lineares em backbones congelados e uma aproximação local para adaptadores não lineares. Eles reconhecem limitações quanto ao ajuste fino total de backbones profundos, perdas de entropia cruzada (que quebram o desacoplamento estrito de blocos) e sequências longas de tarefas onde o erro se acumula.

O artigo conclui que, embora não proponha uma nova arquitetura PEFT, oferece uma base teórica e uma ferramenta diagnóstica (Regularização Espectral) que alinha a regularização com a geometria real do esquecimento.