Resumo Técnico: Aprendizado Contínuo Guiado por Atribuição para Modelos de Linguagem de Grande Escala

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) treinados em dados estáticos e de domínio amplo frequentemente sofrem de esquecimento catastrófico quando adaptados a novas tarefas via aprendizado contínuo. Embora estratégias de mitigação existentes — como replay de dados, regularização de parâmetros e congelamento de camadas específicas — tenham demonstrado algum sucesso, elas carecem de uma compreensão mecanística de como o conhecimento e os comportamentos específicos de tarefas estão distribuídos entre os parâmetros internos dos LLMs. Consequentemente, esses métodos não conseguem distinguir efetivamente quais parâmetros devem ser preservados para reter conhecimento prévio e quais devem permanecer plásticos para acomodar novas tarefas. Essa limitação frequentemente leva a interferências, onde atualizações para uma nova tarefa modificam inadvertidamente parâmetros críticos para tarefas anteriores.

Metodologia

Os autores propõem uma estrutura de ajuste fino contínuo guiada por atribuição que aproveita a estimativa de importância de parâmetros para modular as atualizações de gradiente. A metodologia central consiste em duas fases principais:

1. Estimativa de Importância de Parâmetros Element a Elemento

A estrutura adapta a Propagação de Relevância por Camada (LRP) para atribuir o logit do próximo token previsto a parâmetros individuais do modelo dentro de cada camada Transformer.

• Adaptação para Transformers: A LRP padrão atribui relevância a características de entrada. Os autores estendem isso para quantificar a contribuição de parâmetros do modelo (pesos e vieses) em Redes Feed-Forward (FFN) e módulos de Atenção Multi-Cabeça (MHA).
• Atribuição Bilinear: Para lidar com multiplicações de matrizes inerentes aos Transformers (por exemplo, $QK^T$ e $WV$), o método emprega um princípio de atribuição bilinear (inspirado no AttnLRP). Isso trata a multiplicação de matrizes como uma operação bilinear, distribuindo pontuações de relevância entre as ativações de entrada e as matrizes de pesos, satisfazendo uma propriedade de conservação.
• Derivação:
  • FFN: A relevância é propagada através das duas camadas lineares e da função de ativação, derivando pontuações para os pesos $W_1, W_2$ e vieses $b_1, b_2$.
  • MHA: A relevância é propagada através do mecanismo de atenção, derivando pontuações para os pesos de projeção de consulta, chave, valor e saída ($W_Q, W_K, W_V, W_O$).
  • Suporte a LoRA: O método também é formulado para modelos adaptados via LoRA, computando relevância tanto para a base congelada quanto para as matrizes LoRA treináveis ($A, B$).

2. Ajuste Fino Guiado por Atribuição

As pontuações de importância estimadas são usadas para construir um prior específico da tarefa que guia o processo de otimização para novas tarefas.

• Construção do Prior: Para uma nova tarefa $T_t$, o método estima primeiro um mapa de importância específico da tarefa $R(W^{(l,t)})$ agregando pontuações de relevância normalizadas de amostras geradas corretamente.
• Agregação Histórica: Durante o aprendizado da tarefa $T_t$, a estrutura agrega importância de todas as tarefas anteriores ($T_1, \dots, T_{t-1}$) tomando o máximo elemento a elemento de suas pontuações de importância:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• Modulação de Gradiente: O mapa de importância agregado atua como um portão de gradiente. O gradiente padrão $\nabla W$ é modulado da seguinte forma:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • Parâmetros com alta relevância histórica (importantes para tarefas passadas) recebem um valor de portão próximo a 0, resultando em atualizações menores.
  • Parâmetros com baixa relevância histórica recebem um valor de portão próximo a 1, permitindo que sejam atualizados livremente para aprender a nova tarefa.

Contribuições Principais

1. Insight Mecanístico: O artigo fornece uma análise mecanística mostrando que, no aprendizado contínuo sequencial, os conjuntos de parâmetros considerados "importantes" para diferentes tarefas tornam-se altamente sobrepostos no modelo final, ao contrário do ajuste fino independente de tarefa única, onde eles permanecem distintos. Essa sobreposição explica a interferência que causa o esquecimento catastrófico.
2. Estrutura de Atribuição: Introduz uma aplicação inovadora da LRP para atribuir relevância diretamente aos parâmetros do LLM e não apenas às entradas, derivando regras de propagação específicas para componentes Transformer (FFN e MHA).
3. Estratégia de Modulação de Gradiente: O método proposto oferece uma abordagem dinâmica e elemento a elemento para aprendizado contínuo que restringe seletivamente atualizações com base na importância aprendida dos parâmetros, sem exigir replay de dados ou congelamento rígido de parâmetros.

Resultados Experimentais

A estrutura foi avaliada em benchmarks de aprendizado contínuo usando Modelos de Linguagem de Grande Escala (especificamente Llama-3.2-Instruct-3B) sob configurações de ajuste fino supervisionado completo e adaptação baseada em LoRA.

• Desempenho: O método superou consistentemente as linhas de base existentes de aprendizado contínuo (incluindo métodos de regularização, replay e congelamento).
• Retenção vs. Plasticidade: Alcançou retenção superior de desempenho em tarefas aprendidas anteriormente, mantendo ao mesmo tempo desempenho competitivo em novas tarefas.
• Observação: Os experimentos confirmaram que o método proposto reduz efetivamente a interferência entre tarefas, preservando os subconjuntos específicos de parâmetros críticos para o conhecimento prévio.

Significado e Alegações

O artigo alega que, ao ir além de estratégias heurísticas (como replay aleatório ou congelamento de camadas) e, em vez disso, utilizar estimativa de importância baseada em atribuição, o aprendizado contínuo para LLMs pode ser tornado mais eficiente e eficaz. O significado reside em:

• Consciência Semântica: O método leva explicitamente em conta a distribuição interna do conhecimento dentro do modelo, distinguindo entre parâmetros que devem ser preservados e aqueles que podem ser adaptados.
• Generalizabilidade: A estrutura é aplicável tanto a cenários de ajuste fino de parâmetro completo quanto a cenários de ajuste fino eficiente de parâmetros (LoRA).
• Fundamentação Teórica: Preenche a lacuna entre explicabilidade (métodos de atribuição) e otimização (aprendizado contínuo), oferecendo uma maneira principiante de mitigar o esquecimento catastrófico com base nas próprias representações aprendidas pelo modelo.