🤖 AI

How to Teach Large Multimodal Models New Skills

O artigo demonstra que é possível ensinar novas habilidades a Modelos Multimodais Grandes (LMMs) sem esquecer conhecimentos anteriores, identificando que o ajuste seletivo de camadas específicas (como projeções de atenção ou portas MLP) controla a mudança na distribuição de tokens e supera métodos complexos de mitigação de esquecimento.

Autores originais: Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

Publicado 2026-04-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um super-herói da inteligência artificial chamado "Modelo Multimodal". Ele é incrivelmente inteligente: consegue olhar para uma foto, ler um texto e responder a perguntas sobre quase qualquer coisa do mundo. Ele sabe falar sobre arte, ciência, história e até descrever o que está vendo na sua janela.

O problema é que, quando tentamos ensinar a esse herói uma nova habilidade específica (como contar quantas pessoas estão numa foto ou ler um relógio analógico), ele começa a esquecer tudo o que já sabia. É como se, ao aprender a tocar piano, ele esquecesse como falar português. Isso é chamado de "esquecimento catastrófico".

Este artigo de pesquisa descobriu um segredo incrível sobre como ensinar novas habilidades a esses gigantes sem fazê-los esquecer o passado. Vamos explicar como funciona, usando uma analogia simples.

O Problema: O "Reajuste" que Destrói a Memória

Normalmente, para ensinar algo novo a um modelo, os cientistas ajustam todos os seus parâmetros (todos os seus "neurônios" digitais).

A Analogia: Imagine que o modelo é uma biblioteca gigante. Para adicionar um novo livro de contagem, você decide reorganizar toda a biblioteca: mudar a cor das prateleiras, trocar os rótulos dos livros e mudar a posição de tudo.
O Resultado: O novo livro de contagem fica perfeito! Mas, quando você tenta encontrar um livro de história antigo, ele não está mais onde deveria. A biblioteca inteira foi "reajustada" para o novo livro, e o resto ficou bagunçado. O modelo aprendeu a contar, mas esqueceu como descrever imagens.

A Descoberta: O "Botão de Controle" Específico

Os pesquisadores descobriram que não precisamos mexer em toda a biblioteca. O modelo é feito de duas partes principais que trabalham juntas:

O "Roteador" (Atenção): Decide onde olhar e como conectar as informações (ex: "Olhe para o relógio na foto").
O "Arquivista" (MLP): É quem realmente escreve a resposta final e decide quais palavras usar (ex: "São 3 horas").

O segredo do artigo é: Para aprender algo novo sem esquecer o resto, você só precisa treinar partes muito específicas.

Eles testaram duas receitas simples que funcionaram como mágica:

Receita 1: Treinar apenas o "Roteador" (SA Proj.)

Como funciona: Você ensina ao modelo como olhar para a imagem de forma diferente, mas não muda como ele escreve as respostas.
A Analogia: É como ensinar o herói a usar uma nova lente de óculos para ver melhor os detalhes, mas sem mudar a forma como ele fala.
Resultado: Ele aprende a nova tarefa muito bem e não esquece nada do que já sabia. A biblioteca continua organizada, apenas a lente de leitura mudou.

Receita 2: Treinar apenas o "Arquivista de Entrada" (MLP Gate & Up)

Como funciona: Você ensina ao modelo a reconhecer novos padrões (como "isso é um número"), mas proíbe ele de mudar a parte final que decide a palavra exata a ser dita.
A Analogia: É como dar ao herói um novo caderno de anotações para rascunhar ideias, mas impedir que ele apague o livro de receitas antigo.
Resultado: Ele aprende a nova habilidade quase tão bem quanto se tivesse reorganizado tudo, mas esquece muito menos.

O Grande Segredo: O Viés de Saída

Por que isso acontece? O artigo descobriu que o "esquecimento" não é realmente perda de memória. É um viés de resposta.

O Cenário: Quando treinamos o modelo apenas para "contar", ele começa a achar que toda pergunta é sobre números.
A Analogia: Imagine que você treina um chef apenas para fazer bolo. No dia seguinte, se você pedir uma salada, ele pode tentar colocar açúcar na salada porque ficou "viciado" em pensar em doces. O chef ainda sabe o que é alface, mas ele escolhe erradamente colocar açúcar.
A Solução: Ao treinar apenas as partes certas (como o Roteador ou apenas a entrada do Arquivista), evitamos que o modelo fique "viciado" em um tipo de resposta. Ele aprende a nova tarefa sem mudar sua personalidade básica.

A Recuperação: O Esquecimento é Temporário?

Uma descoberta ainda mais surpreendente é que, às vezes, o modelo "esquece" uma tarefa, mas se recupera sozinho quando aprende a próxima!

O Fenômeno: Se o modelo aprende a contar e esquece como descrever fotos, e logo em seguida aprende a responder perguntas médicas, ele "esquece" de contar e volta a descrever fotos corretamente.
A Explicação: O viés de "pensar em números" foi corrigido pelo novo viés de "pensar em medicina". A memória não foi apagada; ela só estava temporariamente escondida sob um novo hábito.

Conclusão: Como Ensinar sem Esquecer

Para ensinar novas habilidades a esses gigantes da IA sem estragar o que eles já sabem, não precisamos de métodos complexos, relembrar dados antigos ou criar cópias extras do modelo.

Basta escolher quais botões apertar:

Se você quer estabilidade máxima (não perder nada do que já sabe), treine apenas os Roteadores (Atenção).
Se você quer aprender rápido com pouco esquecimento, treine apenas a entrada do Arquivista (MLP Gate & Up).

É como aprender um novo instrumento musical: em vez de reescrever toda a sua memória musical, você apenas ajusta a forma como suas mãos se movem para as novas notas, mantendo a essência da música que você já toca.

1. O Problema: Esquecimento Catastrófico em LMMs

Os Grandes Modelos Multimodais (LMMs), como LLaVA e Qwen2.5-VL, são treinados para gerar respostas em linguagem natural baseadas em imagens e instruções. No entanto, quando esses modelos são adaptados para novas tarefas específicas (como contagem de objetos, leitura de relógios ou diagnósticos médicos) através de fine-tuning sequencial, eles frequentemente sofrem de esquecimento catastrófico.

O problema central é que o ajuste fino em uma nova tarefa tende a degradar as capacidades gerais do modelo em outras áreas (visão-linguagem de propósito geral). A questão de pesquisa é: Como ensinar novas habilidades a LMMs sem apagar as capacidades anteriores?

A maioria das abordagens existentes tenta mitigar isso usando técnicas complexas como replay de dados (armazenar exemplos antigos), expansão de rede (Mixture-of-Experts) ou regularização pesada, o que aumenta o custo computacional e a complexidade.

2. Metodologia e Abordagem Experimental

Os autores propõem um estudo sistemático sobre a dinâmica de aprendizado e esquecimento em LMMs, focando em qual parte do modelo deve ser atualizada durante o ajuste fino.

Configuração Experimental:

Modelos Testados: Três famílias de modelos: LLaVA-OneVision, LLaVA-NeXT (baseado em LLaMA-3) e Qwen2.5-VL.
Tarefas Alvo (Sequenciais): 5 tarefas distintas com formatos de resposta variados:
1. Classificação de pássaros (CUB200).
2. Contagem de objetos (PixmoCount).
3. VQA Médica (PathVQA).
4. Leitura de OCR (TextVQA).
5. Leitura de relógio (TimeClock).
Benchmarks de Avaliação: 8 benchmarks mantidos de fora (held-out) para medir a capacidade geral de visão-linguagem (ex: AI2D, ChartQA, ScienceQA, MMStar).
Protocolo: Ajuste fino sequencial sem replay (os dados das tarefas anteriores não são reutilizados).

Análise Mecanística:

Os autores investigam a arquitetura interna do Transformer (Decoder-only) para entender onde ocorre o esquecimento. Eles dividem o modelo em componentes principais:

Vision Encoder & Projector: Convertem imagens em tokens visuais.
LLM (Language Model):
- SA Proj. (Self-Attention Projections): Camadas $W_Q, W_K, W_V, W_O$ . Atuam como mecanismos de roteamento e combinação de informações contextuais.
- MLP (Feed-Forward Network): Camadas $W_{gate}, W_{up}, W_{down}$ . Atuam como memórias chave-valor que projetam características ativadas de volta para o fluxo residual, influenciando diretamente a distribuição de probabilidade dos tokens de saída.

Hipótese Central: O "esquecimento" não é necessariamente a perda de conhecimento, mas sim um viés na distribuição de saída (output distribution shift). Quando o modelo é ajustado para uma tarefa específica (ex: contagem), ele tende a enviesar a probabilidade de emitir tokens numéricos, prejudicando tarefas gerais (ex: legendagem).

3. Contribuições Principais

A. Descoberta de Recuperação de Desempenho

Um achado surpreendente foi que o desempenho perdido em tarefas de held-out após o ajuste fino em uma tarefa específica pode ser parcialmente recuperado ao ajustar o modelo em uma nova tarefa diferente. Isso sugere que o conhecimento não é permanentemente apagado, mas sim temporariamente inacessível devido a um deslocamento na distribuição de saída.

B. Receitas de Ajuste Fino Seletivo (Tuning Recipes)

Os autores identificaram duas estratégias simples e robustas que aprendem fortemente enquanto limitam o desvio da distribuição de saída:

Atualizar apenas as camadas de Projeção de Atenção (SA Proj.):
- Atualiza $W_Q, W_K, W_V, W_O$ .
- Resultado: Aprendizado forte (+24.9 pontos) com esquecimento quase nulo (-0.6 pontos nos benchmarks de held-out).
- Motivo: Altera o roteamento da informação sem forçar uma mudança drástica na distribuição de probabilidade dos tokens finais.
Atualizar apenas as camadas Gate & Up do MLP (congelando Down):
- Atualiza $W_{gate}$ e $W_{up}$ , mas congela $W_{down}$ .
- Resultado: Aprendizado quase máximo (+30.5 pontos) com esquecimento muito baixo (-2.1 pontos).
- Motivo: Permite ativar novos conceitos (Gate/Up) sem alterar a projeção final que define a distribuição de saída (Down), evitando o viés de tokens específicos.

C. Prova de Conceito: Sonda de Viés de Contagem

Os autores desenvolveram uma sonda simples para medir a probabilidade de o modelo emitir tokens numéricos em tarefas de legendagem geral. Eles demonstraram uma correlação forte (Spearman $\rho = 0.84$ ) entre o aumento desse viés numérico e a queda de desempenho nos benchmarks de held-out. Isso valida a hipótese de que o esquecimento é um deslocamento de distribuição.

4. Resultados Chave

Os resultados foram consistentes em todas as três famílias de modelos (LLaVA-OneVision, LLaVA-NeXT, Qwen2.5-VL):

Ajuste Completo (Full Fine-tuning): Gera o maior aprendizado na tarefa alvo, mas causa o maior esquecimento (-23.3 a -27.4 pontos em held-out).
Vision Encoder: O ajuste apenas no codificador visual traz pouco ganho de aprendizado e causa esquecimento significativo.
SA Proj. vs. MLP Gate&Up:
- SA Proj. é o mais estável, mantendo a performance geral quase intacta.
- MLP (Gate&Up) oferece o melhor equilíbrio entre aprendizado máximo e estabilidade, superando métodos complexos.
Comparação com Métodos Existentes: As receitas seletivas superaram ou igualaram métodos estabelecidos de mitigação de esquecimento, como:
- Learning without Forgetting (LwF): Requer um modelo professor e perda de distilação.
- LoRA: Frequentemente fica atrás no equilíbrio aprendizado-estabilidade.
- Mixture-of-Experts (MoE): Aumenta drasticamente o número de parâmetros e reduz a eficiência de treinamento.
- WiSE-FT: Requer sintonização cuidadosa de coeficientes de interpolação.

Vantagens das Receitas Propostas:

Simplicidade: Não requerem módulos extras, replay de dados ou ajuste de hiperparâmetros complexos por etapa.
Eficiência: O método SA Proj. foi o mais rápido em termos de throughput (1.46 amostras/segundo), superando LoRA e MoE.

5. Significado e Conclusão

Este trabalho oferece uma mudança de paradigma na forma como entendemos o ajuste fino de LMMs:

Mecanismo de Esquecimento: O esquecimento é majoritariamente um fenômeno de deslocamento da distribuição de saída (output distribution shift), não apenas a perda de pesos sinápticos.
Solução Prática: É possível ensinar novas habilidades a modelos multimodais massivos sem retrainamento completo ou armazenamento de dados antigos, simplesmente escolhendo quais componentes atualizar.
Acesso ao Conhecimento: O fato de que o desempenho pode ser recuperado ao treinar em uma nova tarefa sugere que o conhecimento permanece no modelo, apenas "bloqueado" por um viés de saída temporário.

Conclusão: Para ensinar novas habilidades a LMMs sem esquecer o que já sabem, a estratégia ideal é restringir o ajuste fino às camadas de projeção de auto-atenção (SA Proj.) ou às camadas Gate & Up do MLP. Essas abordagens oferecem um equilíbrio superior entre aprendizado de novas tarefas e preservação de capacidades gerais, sendo mais simples e eficientes do que as técnicas de aprendizado contínuo tradicionais.