Resumo Técnico: Interferência e Retenção em Aprendizado Contínuo

Declaração do Problema

O aprendizado contínuo (CL) enfrenta o desafio do esquecimento catastrófico, onde um modelo treinado sequencialmente em uma nova tarefa $B$ degrada o desempenho em uma tarefa $A$ previamente aprendida. Abordagens padrão, como o experience replay, a consolidação elástica de pesos (EWC) e a destilação, tipicamente atuam como mecanismos corretivos, tentando reparar o esquecimento após a interferência já ter ocorrido. Esses métodos geralmente dependem de heurísticas, grandes buffers de memória (replay) ou matrizes de informação de Fisher computacionalmente caras.

Este trabalho argumenta que o esquecimento deve ser modelado diretamente como interferência entre tarefas, governado pela geometria do espaço de características. O artigo postula que a questão central não é como reparar o dano, mas sim como prever quando a interferência é evitável, quando ela é inevitável e quais restrições estruturais uma atualização deve satisfazer para reter o conhecimento antigo sem sacrificar a transferência útil.

Metodologia e Estrutura Teórica

1. O Funcional de Interferência

O artigo estabelece uma estrutura teórica primariamente no regime de características congeladas, onde um extrator de características fixo $\phi(x)$ é pareado com uma cabeça linear treinável $w$.

• Energia de Interferência: O esquecimento da tarefa $A$ após o aprendizado da tarefa $B$ é quantificado exatamente como a energia de interferência:
  $$\Delta L_A = \frac{1}{2} \Delta^\top \Sigma_A \Delta$$
  onde $\Delta = w_B - w^*_A$ é o vetor de atualização, e $\Sigma_A = \mathbb{E}_{x \sim D_A}[\phi(x)\phi(x)^\top]$ é a matriz de segundo momento das características (a covariância das características para a tarefa $A$).
• Dicotomia de Removibilidade:
  • Suportes Disjuntos: Se os subespaços de características ativos de duas tarefas forem disjuntos (ou seja, $\text{range}(\Sigma_A) \cap \text{range}(\Sigma_B) = \emptyset$), o esquecimento é removível sem perdas. As atualizações podem ser confinadas ao núcleo de $\Sigma_A$ ($\ker \Sigma_A$), deixando a perda para a tarefa $A$ inalterada.
  • Suportes Sobrepostos: Se os suportes das tarefas se sobreporem em direções conflitantes, um piso de distorção não nulo é inevitável. Nenhum modelo de cabeça única pode ajustar perfeitamente ambas as tarefas simultaneamente; o custo é um erro irredutível determinado pela confusão entre tarefas e pelo desacordo do alvo.

2. Generalização para Redes Profundas

Embora a identidade exata seja válida para características congeladas, o artigo estende o conceito para o treinamento de ponta a ponta via Teorema 2:

• Em redes profundas com deriva de características (feature drift), a curvatura fixa $\Sigma_A$ é substituída por uma Hessiana média pelo caminho $\bar{H}_A$, média ao longo da trajetória de $w_A$ até $w_B$.
• Isso permite que o funcional de interferência permaneça um preditor válido de esquecimento mesmo quando as características mudam, desde que a curvatura seja estimada (por exemplo, via um pequeno número de passagens para frente ao longo do segmento de atualização).

3. Fusão Ótima como $\Sigma$-Ortogonalização

O artigo reformula a fusão de modelos (combinar modelos treinados independentemente) como um problema de aprendizado contínuo online.

• Condição de Fusão Ótima: A perda total é minimizada quando os vetores das tarefas são $\Sigma$-ortogonais em pares ($\Delta_{t'} \in \ker \Sigma_t$).
• Métrica: O produto interno correto para a fusão é a métrica $\Sigma$ dependente da tarefa, não a métrica Euclidiana padrão. A ortogonalidade Euclidiana é apenas ótima quando as características são isotrópicas ($\Sigma \propto I$).

4. Alocação Funcional com Portão de Interferência (igfa)

Com base nessas percepções, os autores propõem o igfa, um controlador estrutural livre de replay e livre de Fisher.

• Mecanismo: o igfa mantém um resumo de baixo posto do subespaço de características ocupado. Para cada gradiente de nova tarefa:
  1. Ele decompõe o gradiente em componentes paralelas ($g_\parallel$) e ortogonais ($g_\perp$) ao subespaço ocupado.
  2. Aplica um portão assinado baseado na similaridade entre a direção do alvo da nova tarefa e os subespaços existentes.
     • Alinhado ($s > s^*$): Compartilha a direção (permite $g_\parallel$) para preservar a transferência.
     • Conflitante ($s < s^*$): Ortogonaliza (remove $g_\parallel$) para proteger o conhecimento antigo.
• Estado: O método requer apenas um resumo de subespaço de baixo posto ($O(dk)$ de memória), eliminando a necessidade de buffers de exemplares ou matrizes de Fisher completas.
• Tratamento de Deriva: Para lidar com a deriva de características em redes profundas, o igfa usa uma atualização recursiva de Gauss-Newton para rastrear a geometria, evitando a "exaustão de capacidade" observada em métodos que utilizam subespaços fixos e obsoletos.

Principais Resultados

1. Validação Teórica

• Identidade Exata: No regime de características congeladas, a energia de interferência prevista coincide com o esquecimento medido com precisão de máquina ($r=1.0$).
• Alocação Sem Perdas: Em suportes disjuntos, o igfa atinge quase zero de esquecimento enquanto aprende novas tarefas, correspondendo ao limite inferior teórico.
• Piso de Distorção: Em suportes sobrepostos com alvos conflitantes, o método identifica corretamente que o custo não pode ser removido, apenas realocado (do esquecimento da tarefa antiga para o ajuste diferido da nova tarefa).

2. Desempenho em Benchmarks

• Tarefas Dissimilares (Split-Digits, Split-CIFAR-100, CUB-200): Quando as tarefas têm baixa sobreposição de características, o igfa reduz-se à projeção ortogonal (OGD/GPM), alcançando retenção de estado da arte entre métodos livres de replay e livres de Fisher (ex: 0.980 de acurácia em Split-Digits com quase zero de esquecimento).
• Tarefas Similares (Rotated-Digits, ImageNet-R): Quando as tarefas compartilham estrutura, a projeção incondicional (OGD) é excessivamente conservadora. O portão de similaridade do igfa permite o compartilhamento, superando significativamente o OGD (ex: 0.771 vs 0.684 em Rotated-Digits) enquanto mantém quase zero de esquecimento.
• Escalabilidade: Experimentos em backbones ViT congelados confirmam que o método escala efetivamente. O "ganho do portão" (gate gain) sobre a projeção incondicional correlaciona-se com a densidade de compartilhamento (share density) do fluxo (a fração de pares de tarefas que cruzam o limiar de similaridade).

3. Capacidade e Plasticidade

• O artigo demonstra um "joelho de capacidade" (capacity knee) onde o desempenho degrada uma vez que o posto cumulativo dos subespaços ocupados excede a dimensão das características.
• O igfa gerencia isso via uma abordagem de taxa-distorção: quando a capacidade está cheia, ele sobrescreve graciosamente as direções menos excitadas, limitando o esquecimento induzido pelo autovalor da direção descartada.

Significância e Alegações

O artigo alega fornecer uma linguagem geométrica para o aprendizado contínuo que substitui correções heurísticas por alocação estrutural preditiva.

1. Preditivo vs. Corretivo: Ao contrário do replay ou da regularização que reparam o dano, o funcional de interferência prevê quando a interferência ocorre e se ela é removível antes do início do treinamento.
2. Visão Unificada: Unifica a fusão de modelos offline e o aprendizado contínuo online como soluções para o mesmo problema de minimização de interferência sob diferentes cronogramas.
3. Garantias Estruturais: No regime de características congeladas (comum em PEFT e ajuste de adaptadores), as garantias de retenção são exatas. Para redes profundas, o método fornece uma aproximação de primeira ordem com resíduos quantificados.
4. Eficiência: O igfa alcança forte retenção sem o custo de memória de buffers de replay ou o custo computacional da estimativa da matriz de Fisher, baseando-se no rastreamento de subespaço de baixo posto.
5. Procedimento de Decisão: O framework oferece um diagnóstico pré-voo: ao medir a sobreposição de suporte da tarefa e a similaridade do alvo, pode-se determinar se deve-se usar alocação estrutural (igfa/OGD), compartilhamento, ou se um piso de distorção é inevitável, orientando assim a escolha do mecanismo (replay vs. projeção vs. compartilhamento) com base na geometria dos dados, em vez de tentativa e erro.

Os autores enfatizam que, embora o método se destaque no regime de "retenção estrutural", ele não elimina o piso de distorção fundamental causado pela ambiguidade das tarefas; em vez disso, ele aloca de forma ótima o custo desse piso entre o esquecimento e o ajuste diferido.