FGGM: Fisher-Guided Gradient Masking for Continual Learning

Resumo Técnico: Mascaramento de Gradiente Guiado por Fisher (FGGM) para Aprendizado Contínuo

1. Declaração do Problema

O artigo aborda o esquecimento catastrófico em Grandes Modelos de Linguagem (LLMs) durante o Aprendizado Contínuo (CL). À medida que os LLMs são adaptados a um fluxo de novas tarefas, eles tendem a sobrescrever abruptamente parâmetros críticos para tarefas aprendidas anteriormente, levando à perda de conhecimento prévio.

As estratégias de mitigação existentes enfrentam limitações significativas:

• Métodos baseados em replay exigem o armazenamento ou a geração de dados históricos, levantando preocupações de privacidade e escalabilidade.
• Métodos de congelamento de parâmetros (ex: LoRA, Prompt Tuning) frequentemente congelam parâmetros base, o que pode limitar o desempenho em tarefas subsequentes.
• Métodos baseados em regularização como o EWC dependem de dados históricos, enquanto outros, como o Gradiente Ortogonal (OGD), impõem custos de memória proibitivos para o ajuste fino completo de LLMs.
• MIGU, um método recente livre de replay, seleciona parâmetros com base em magnitudes empíricas de saída, mas carece de uma fundamentação teórica para estimar a importância dos parâmetros.

2. Metodologia: Estrutura FGGM

Os autores propõem o Mascaramento de Gradiente Guiado por Fisher (FGGM), uma estrutura que mitiga o esquecimento catastrófico ao selecionar estrategicamente parâmetros para atualizações usando a Informação de Fisher diagonal sem a necessidade de acesso a dados históricos. A estrutura opera em duas fases:

A. Inicialização da Máscara Guiada por Fisher
Para uma nova tarefa $T_t$, o FGGM estima os elementos diagonais da Matriz de Informação de Fisher (FIM) usando os dados da nova tarefa. A entrada diagonal da FIM $\hat{F}^{(t)}_i$ quantifica a importância do parâmetro $\theta_i$ medindo o quadrado do gradiente da log-verossimilhança:
$$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$$
Para lidar com a distribuição não estacionária da importância dos parâmetros entre as camadas, o FGGM emprega limiarização adaptativa. Uma máscara binária $M^{(t)}$ é gerada onde um parâmetro é retido (valor 1) se seu escore de Fisher exceder o quantil $(1-\alpha)$ dos valores de Fisher empíricos, e mascarado (valor 0) caso contrário.

B. Normalização de Máscara via Agregação de Dimensão de Entrada (IA)
Uma inovação fundamental é a normalização das máscaras com base na arquitetura da rede neural. Para camadas totalmente conectadas com matriz de pesos $W \in \mathbb{R}^{D_{out} \times D_{in}}$, os escores de Fisher são agregados ao longo da dimensão de entrada para cada neurônio de saída:
$$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$$
Esta estratégia preserva a integridade funcional dos neurônios de saída como unidades computacionais atômicas. O artigo argumenta que agregar através das entradas (IA) é superior a agregar através das saídas (OA) porque evita a dispersão de sinais de sensibilidade específicos de características e mantém fronteiras de tarefas distintas, enquanto o OA pode borrar as distinções de tarefas e aumentar o esquecimento.

C. Projeção de Gradiente
Durante a retropropagação, os gradientes brutos $g^{(t)}$ são multiplicados elemento a elemento pela máscara binária $M^{(t)}$:
$$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$$
Isso restringe as atualizações apenas aos parâmetros críticos identificados pela informação de Fisher, efetivamente congelando regiões não críticas do espaço de parâmetros.

3. Principais Contribuições

1. Estrutura Inovadora: Introdução do FGGM, um método livre de replay para aprendizado contínuo de LLMs que se baseia na Informação de Fisher teoricamente fundamentada, em vez de observações de magnitude empírica.
2. Estimativa de Importância Teórica: Um mecanismo que mede diretamente a relevância parâmetro-tarefa via Informação de Fisher, permitindo o controle dinâmico de gradiente para equilibrar plasticidade (aquisição de novas capacidades) e estabilidade (retenção de conhecimento pré-existente).
3. Normalização Arquitetural: A proposta de Agregação de Dimensão de Entrada (IA) para alinhar a geração de máscara com a estrutura funcional de camadas feedforward, garantindo uma seleção de parâmetros robusta.
4. Validação Empírica: Demonstração de que o FGGM supera os baselines de estado da arte, incluindo o MIGU, em benchmarks padrão sem comprometer a adaptabilidade do modelo.

4. Resultados Experimentais

Experimentos foram conduzidos no benchmark TRACE (abrangendo capacidades gerais e diversas tarefas downstream) e tarefas de geração de código (HumanEval/BBH) utilizando modelos Qwen2 (escalas de 1.5B e 7B).

• Capacidades Gerais (Estabilidade): No agregado da métrica General (MMLU, BBH, TyDiQA, etc.), o FGGM alcançou 55.75, superando o MIGU (55.21) e superando significativamente o SFT (50.89) e o LoRA (49.48). Notavelmente, o FGGM superou métodos baseados em replay (REP, EWC) nas métricas General apesar de não acessar dados históricos, destacando as vantagens de privacidade e escalabilidade da abordagem.
• Desempenho Geral do TRACE (Plasticidade): O FGGM alcançou 46.00 no TRACE-OP, mostrando uma melhora relativa de 4.4% sobre o MIGU (44.08) e uma melhora relativa de 9.6% sobre o SFT (49.22) na retenção de capacidades gerais enquanto aprende novas tarefas.
• Geração de Código: Em experimentos no benchmark HumanEval, o FGGM consistentemente alcançou maior precisão em todas as métricas de avaliação comparado ao SFT e MIGU, enquanto simultaneamente demonstrou menor esquecimento no benchmark BBH.
• Escalabilidade: A lacuna de desempenho entre o FGGM e o MIGU aumentou conforme o tamanho do modelo cresceu de 1.5B para 7B, indicando a superior escalabilidade do FGGM.
• Estudos de Ablação:
  • Agregação de Dimensão: Remover a Agregação de Dimensão de Entrada (sem IA) reduziu o desempenho General de 55.75 para 54.85. Aplicar a Agregação de Dimensão de Saída (OA) causou uma queda mais severa (53.16), confirmando a necessidade da IA para preservar as sensibilidades específicas da tarefa.
  • Taxa de Mascaramento ($\alpha$): Observou-se um trade-off onde um $\alpha$ menor (mais atualizações) aumentava a plasticidade (TRACE-OP) mas diminuía a estabilidade (General). Os autores definiram $\alpha=0.7$ para uma comparação justa com o MIGU.

5. Significância e Alegações

O artigo afirma que o FGGM estabelece uma solução eficaz para o aprendizado contínuo em LLMs ao oferecer uma abordagem matematicamente fundamentada para a estimativa de importância de parâmetros. Ao contrário de métodos baseados em magnitude como o MIGU, o FGGM utiliza a Informação de Fisher para quantificar a contribuição dos parâmetros para a perda da tarefa.

Os autores enfatizam que o FGGM alcança um equilíbrio dinâmico entre estabilidade e plasticidade sem a necessidade de dados históricos, abordando os gargalos de privacidade e escalabilidade dos métodos baseados em replay. Os resultados sugerem que estratégias de mascaramento de gradiente baseadas em princípios são uma ferramenta versátil e eficaz para manter o desempenho de LLMs ao longo do tempo, particularmente em cenários onde dados históricos estão indisponíveis ou restritos. O artigo conclui que o FGGM representa uma abordagem de estado da arte para estabilidade entre métodos que não acessam dados de tarefas anteriores.