💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

O artigo propõe o AWARe, um método de ajuste fino que mitiga o esquecimento catastrófico em Grandes Modelos de Linguagem Multimodais ao congelar dinamicamente parâmetros críticos ao conhecimento prévio com base em padrões de ativação, preservando assim as capacidades anteriores enquanto alcança um desempenho superior em tarefas subsequentes sem modificar as arquiteturas do modelo.

Autores originais: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Publicado 2026-08-13

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô brilhante e super inteligente que passou anos lendo todos os livros da biblioteca e observando todas as pinturas do mundo. Este robô, um Modelo de Linguagem de Grande Escala Multimodal (MLLM), é incrível em entender tanto imagens quanto palavras. Mas aqui está a parte complicada: se você tentar ensinar ao robô uma habilidade nova e específica — como resolver um jogo de quebra-cabeça ou escrever um poema sobre um gato específico — ele frequentemente esquece tudo o mais que sabia. É como se você aprendesse a tocar uma nova música no piano tão intensamente que, de repente, esquecesse como amarrar os sapatos. Esse "esquecimento" é chamado de esquecimento catastrófico, e é uma grande dor de cabeça para os cientistas que querem manter esses modelos de IA úteis e conhecedores.

O artigo que você está prestando a ler aborda este problema com um método inteligente chamado AWARe. Pense no cérebro do robô como uma cidade massiva com bilhões de pequenos trabalhadores (neurônios) realizando diferentes tarefas. Quando o robô aprende algo novo, ele geralmente diz a todos os trabalhadores para mudarem seus hábitos, o que causa o caos e faz com que ele esqueça seus antigos trabalhos. O AWARe sugere uma abordagem mais inteligente: em vez de pedir a todos para mudarem, ele ouve os trabalhadores para ver quem está gritando mais alto (ativando-se mais) quando o robô olha para suas tarefas antigas e familiares. Ele então diz a esses trabalhadores específicos e ocupados: "Vocês permanecem exatamente iguais! Continuem fazendo seu antigo trabalho". Apenas os trabalhadores mais silenciosos e menos ocupados têm permissão para mudar seus hábitos para aprender a nova tarefa. Dessa forma, o robão aprende a nova habilidade sem perder suas memórias antigas.

O Problema: O Erro de "Sobrescrita"

Os Modelos de Linguagem de Grande Escala Multimodais são como estudantes superpoderosos que já se formaram em uma universidade massiva de imagens e textos. Eles conseguem raciocinar, explicar e conversar sobre quase tudo. Mas quando tentamos fazer o "ajuste fino" (fine-tuning) deles — ensinar-lhes um novo trabalho específico, como identificar condições médicas ou responder perguntas sobre um videogame específico — eles frequentemente sofrem de esquecimento catastrófico.

Imagine que você está tentando aprender um novo passo de dança. Se você praticar tanto que esquece como caminhar, isso é esquecimento catastrófico. No mundo da IA, isso acontece porque o processo de aprender a nova tarefa envolve atualizar os "pesos" internos do modelo (os botões e seletores que controlam como ele pensa). Quando o modelo ajusta esses botões para a nova tarefa, ele acidentalmente gira aqueles que sustentavam seu conhecimento antigo, fazendo com que suas habilidades antigas desmoronassem.

A Solução: AWARe (Activation-Weighted Adaptive REtention)

Os autores propõem um método chamado AWARe para consertar isso. Em vez de mudar cegamente todo o cérebro, o AWARe age como um bibliotecário inteligente que sabe exatamente quais livros são mais importantes para manter na estante.

Veja como funciona, passo a passo:

A Fase de "Escuta" (Perfilamento): Antes de ensinar qualquer coisa nova ao robô, os pesquisadores permitem que ele observe um pequeno conjunto de exemplos de "calibração" (como algumas fotos antigas ou perguntas que ele já conhece bem). Eles não olham apenas para a estrutura do céreamente do robô; eles observam como o cérebro se ilumina. Eles medem a ativação — quanta energia cada pequeno trabalhador (neurônio) usa ao processar essas tarefas familiares.
A Decisão de "Congelar": Os pesquisadores descobriram que alguns neurônios são super ativos e críticos para o conhecimento antigo do robô, enquanto outros são mais relaxados. O AWARe identifica os neurônios "barulhentos" (os 30% superiores que são mais ativos) e diz: "Vocês são essenciais! Congelem". Isso significa que suas configurações são travadas e não podem ser alteradas.
A Fase de "Adaptação": Os neurônios restantes (os 70% mais silenciosos) são deixados desbloqueados. Quando o robô aprende a nova tarefa, apenas esses neurônios desbloqueados têm permissão para mudar. Os neurônios travados mantêm as memórias antigas do robô seguras e tranquilas.

Por Que Isso é Algo Importante

O artigo mostra que este método é um divisor de águas por duas razões principais:

É uma Atualização "Sem Complicação": Ao contrário de outros métodos que exigem a construção de novos e complexos complementos para o cérebro do robô ou o armazenamento de enormes bibliotecas de dados antigos (o que consome muita memória), o AWARe trabalha com o cérebro existente do robô. Ele não muda a arquitetura; ele apenas muda quais partes são permitidas a se mover. É como rearranjar os móveis em uma sala sem construir novas paredes.
Funciona Maravilhosamente: Em seus experimentos, a equipe testou o AWARe em modelos como o LLaVA-v1.5 e o Qwen2.5-VL.
- Ao ensinar o modelo a responder perguntas sobre diagramas (IconQA), o AWARe manteve o conhecimento antigo do modelo (como responder perguntas gerais sobre imagens) em 98,4% de sua força original, enquanto ainda aprendia a nova tarefa muito bem.
- Em um teste de aprendizado contínuo onde o modelo teve que aprender cinco tarefas diferentes em sequência (como questões médicas, direção e finanças), o AWARe superou todos os outros métodos, mantendo uma pontuação média 3,18 pontos maior do que o segundo melhor método.

O Que o Artigo Diz (e o Que Não Diz)

Os autores são muito claros sobre o que descobriram e o que não descobriram.

O Que Funciona: Eles provaram que usar a ativação (o quanto um neurônio está trabalhando) é uma maneira melhor de decidir o que congelar do que apenas olhar para o tamanho do peso ou escolher neurônios aleatoriamente. Se você escolher neurônios aleatoriamente, o modelo esquece suas habilidades antigas quase imediatamente. Se você escolher com base em quão "barulhentos" eles são, o modelo permanece inteligente.
O Que Não Funciona (ou não é necessário): Eles mostraram que você não precisa congelar o cérebro inteiro. Congelar apenas os 30% superiores dos neurônios mais ativos em partes específicas do cérebro (as camadas de autoatenção e o conector que liga imagens a textos) é suficiente. Congelar as partes "MLP" (as camadas de pensamento profundo) na verdade prejudica o desempenho, sugerindo que essas camadas foram feitas para serem flexíveis.
O Conjunto de Calibração "Mágico": Uma das descobertas mais legais é que você não precisa dos dados de treinamento originais do robô para descobrir quais neurônios congelar. Você pode usar um conjunto de perguntas gerais e aleatórias (como o conjunto de dados MMMU) para fazer o perfilamento. Mesmo com esses dados genéricos, o AWARe funciona quase tão bem quanto se tivessem usado os dados antigos específicos. Isso torna o método muito prático para uso no mundo real.
Eficiência: O método é incrivelmente eficiente. Em sua melhor configuração, eles atualizaram apenas cerca de 17,5% dos parâmetros totais. Isso significa que o computador não precisa trabalhar tão duro quanto teria que trabalhar se tivesse que atualizar todo o modelo.

A Conclusão

O AWARe sugere que o segredo para impedir que uma IA esqueça não é impedi-la de aprender, mas sim ser seletivo sobre o que ela altera. Ao ouvir quais partes do cérebro estão trabalhando mais arduamente nas tarefas antigas e protegendo-as, podemos ensinar a esses modelos novos truques sem perder sua sabedoria antiga. É uma maneira simples, eficaz e surpreendentemente gentil de manter nossos amigos digitais inteligentes, estáveis e prontos para o que vier a seguir.

Resumo Técnico: AWARe

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) possuem fortes capacidades de generalização e raciocínio derivadas de pré-treinamento em larga escala. No entanto, o ajuste fino desses modelos em tarefas de downstream frequentemente desencadeia o esquecimento catastrófico (CF), onde a otimização para novos objetivos degrada as capacidades ascendentes (upstream) previamente adquiridas. Este problema é particularmente severo em MLLMs devido à complexa interação entre modalidades e à alta dimensionalidade do espaço de parâmetros. Estratégias de mitigação existentes, como o replay de experiência ou métodos baseados em regularização, frequentemente incorrem em um overhead computacional proibitivo ou têm dificuldade em escalar para bilhões de parâmetros. Além disso, métodos de Ajuste Fino de Parâmetros Eficientes (PEFT) como o LoRA, embora reduzam os parâmetros treináveis, não impedem inerentemente a erosão do conhecimento pré-treinado, pois ainda podem interromper recursos ascendentes confiáveis. O desafio central é permitir que os MLLMs se adaptem a tarefas de downstream enquanto preservam robustamente as capacidades pré-treinadas sem incorrer em custos excessivos ou modificações arquiteturais.

Metodologia: AWARe

Os autores propõem o Activation-Weighted Adaptive REtention (AWARe), um framework de ajuste fino que mitiga o esquecimento catastrófico ao controlar dinamicamente as atualizações de parâmetros com base em padrões de ativação. O método é inspirado no princípio de que uma pequena fração de pesos associados a grandes magnitudes de ativação é desproporcionalmente importante para preservar o comportamento do modelo (um conceito observado em estudos de quantização e poda baseadas em ativação).

O AWARe opera em duas fases:

Perfilamento de Conhecimento (Knowledge Profiling):
- O método utiliza um pequeno conjunto de calibração ( $S_{cal}$ ) amostrado de tarefas ascendentes. Se os dados ascendentes não estiverem disponíveis, um benchmark de propósito geral (ex: MMMU) serve como proxy.
- Para uma camada linear alvo com matriz de peso $W$ , o modelo realiza uma passagem direta (forward pass) no conjunto de calibração para obter um tensor de ativação $A$ .
- Estimativa de Saliência: O método calcula um escore de saliência para cada neurônio de saída através de um processo de agregação de três etapas:
  1. Computar a norma L2 das ativações ao longo da dimensão de comprimento da sequência.
  2. Aplicar normalização L2 por amostra através da dimensão oculta para garantir comparabilidade e evitar viés de ativações de escala outlier.
  3. Médiar os valores normalizados através do lote (batch) para gerar um vetor de saliência final $s$ .
- Este processo identifica neurônios que capturam consistentemente características estruturais através de diversas tarefas ascendentes.
Ajuste Fino Restrito (Constrained Fine-tuning):
- Com base nos escores de saliência, uma razão de retenção $\rho$ (ex: 30%) é usada para identificar a fração top- $\rho$ dos neurônios de saída mais salientes globalmente através das camadas alvo.
- Uma máscara de gradiente binária $M_{grad}$ é construída onde as linhas correspondentes aos neurônios de alta saliência são definidas como 0 (congeladas) e as outras como 1 (treináveis).
- Durante a otimização de downstream, os parâmetros associados às regiões salientes são mantidos constantes via atualizações de gradiente mascaradas: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- Seleção de Alvo: O AWARe aplica especificamente esta estratégia às camadas de projeção linear dentro dos mecanismos de autoatenção ( $q\_proj, k\_proj, v\_proj$ ) e ao projetor multimodal ( $mm\_projector$ ). Outros componentes, como blocos MLP e a projeção de saída, permanecem inteiramente congelados. Esta seleção baseia-se na descoberta de que atualizar projeções de autoatenção causa menos esquecimento do conhecimento pré-existente em comparação com blocos MLP.

Principais Contribuições

Framework AWARe: A introdução de um método simples, baseado em ativação, para preservar o conhecimento ascendente crítico durante a adaptação de downstream em MLLMs. Ele reaproveita a saliência de ativação de contextos de compressão e fusão para a mitigação de esquecimento.
Eficiência e Simplicidade: A abordagem não requer mudanças arquiteturais, não introduz módulos adaptadores extras e atualiza apenas um pequeno subconjunto de parâmetros (aproximadamente 17,5% no cenário ideal). Ela evita a necessidade de buffers de replay ou estatísticas de segunda ordem.
Validação Abrangente: Os autores demonstram, através de estudos de ablação e benchmarks, que a saliência baseada em ativação é um critério eficaz para seleção de parâmetros, superando a seleção estática por magnitude de peso ou seleção aleatória.

Resultados Experimentais

Os autores avaliaram o AWARe no backbone LLaVA-v1.5-7B e validaram sua transferibilidade para o Qwen2.5-VL-7B.

Adaptação de Downstream de Tarefa Única: No IconQA (VQA) e COCO-Caption (Legenda de Imagem), o AWARe alcançou um equilíbrio superior entre Retenção de Conhecimento (R) (estabilidade de tarefas ascendentes) e Eficiência de Aprendizado (E) (desempenho na nova tarefa).
- Comparado a baselines de estado da arte (incluindo LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt e SPIDER), o AWARe manteve altas taxas de retenção (ex: $R \approx 98,4$ no IconQA) enquanto alcançava desempenho de downstream competitivo.
- Notavelmente, o uso de um conjunto de calibração de propósito geral (MMMU) em vez de dados ascendentes específicos produziu resultados comparáveis ao uso do conjunto de dados ascendente completo, demonstrando robustez.
Ajuste Fino de Instrução Contínua: No benchmark MLLM-DCL (uma sequência de cinco tarefas: Sensoriamento Remoto, Médico, Direção Autônoma, Ciência, Finanças), o AWARe alcançou o maior desempenho médio em todas as tarefas e o melhor desempenho final após a última tarefa. Ele melhorou as médias gerais em 3,18 e 1,77 pontos sobre o baseline mais forte (DISCO) nas métricas de média e última tarefa, respectivamente.
Estudos de Ablação:
- Estratégia de Seleção: A seleção baseada em ativação superou significativamente a seleção aleatória e a seleção baseada em norma de peso.
- Razão de Retenção: Uma razão de retenção de 30% (congelando o top 30% dos neurônios salientes) forneceu o melhor compromisso entre estabilidade e plasticidade.
- Alvos de Retenção: Aplicar o AWARe tanto às projeções de autoatenção quanto ao projetor multimodal rendeu os melhores resultados. Congelar os blocos MLP inteiramente foi crucial, pois o ajuste fino deles levou a um colapso severo de desempenho nas tarefas ascendentes.

Significância e Alegações

O artigo afirma que o AWARe oferece uma solução prática e eficaz para o esquecimento catastrófico em MLLMs ao alavancar padrões de ativação dinâmicos e dependentes de dados em vez de priors de pesos estáticos. A significância do trabalho reside em:

Agnosticismo de Arquitetura: Ele opera sem modificar as arquiteturas dos modelos, garantindo compatibilidade com motores de inferência existentes.
Custo-Efetividade: Ao congelar parâmetros de alta saliência e atualizar apenas uma pequena fração, ele reduz significativamente o overhead computacional em comparação com o ajuste fino total ou métodos baseados em replay.
Robustez: O método permanece eficaz mesmo quando os dados das tarefas ascendentes são restritos, baseando-se em conjuntos de calibração de propósito geral.
Compromisso Estabilidade-Plasticidade: O AWARe equilibra com sucesso a preservação das capacidades gerais principais com a flexibilidade necessária para a adaptação de tarefas especializadas, abordando um gargalo crítico na implantação prática de MLLMs.

Os autores reconhecem limitações, observando que a qualidade dos dados de calibração pode influenciar as regiões congeladas selecionadas e que mudanças extremas de distribuição podem exigir o ajuste da razão de retenção. No entanto, o framework proposto estabelece um novo baseline para o ajuste fino multimodal estável e eficiente.