Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective

Este artigo demonstra, sob uma perspectiva de dados, que o Ajuste Fino por Reforço (RFT) preserva melhor o conhecimento prévio dos Modelos de Linguagem Multimodal do que o Ajuste Fino Supervisionado (SFT), pois utiliza dados de treinamento que, ao se alinharem naturalmente com a paisagem de probabilidade do modelo base, causam menos interferência e esquecimento catastrófico.

O essencial

Imagine que você tem um cérebro superinteligente (um modelo de IA) que já leu quase todos os livros do mundo e conhece tudo sobre o que existe. Ele sabe falar, desenhar, resolver problemas de matemática e identificar objetos em fotos.

Agora, você quer ensinar esse cérebro uma nova habilidade muito estranha: montar um quebra-cabeça de 9 peças onde as imagens estão embaralhadas. Esse modelo nunca viu esse tipo de tarefa antes.

O artigo que você leu investiga duas maneiras diferentes de ensinar essa nova habilidade e descobre algo surpreendente sobre como elas afetam o que o cérebro já sabia.

Aqui está a explicação simples, usando analogias do dia a dia:

1. Os Dois Métodos de Ensino

O paper compara duas técnicas para treinar a IA:

• Método A: SFT (A "Cópia do Professor")
  Imagine que você pega um professor humano (como o GPT-4o), pede para ele resolver o quebra-cabeça, e depois você obriga a IA a copiar exatamente a resposta e o raciocínio do professor.

  • O que acontece: A IA aprende rápido! Em poucas horas, ela já sabe montar o quebra-cabeça.
  • O problema: Para aprender essa nova coisa, ela "esquece" tudo o que sabia antes. É como se, ao decorar a resposta do quebra-cabeça, ela apagasse da memória como identificar um cachorro em uma foto ou como resolver uma conta de matemática. Isso é chamado de Esquecimento Catastrófico.

• Método B: RFT (A "Exploração Guiada")
  Aqui, você não dá a resposta pronta. Você deixa a IA tentar resolver o quebra-cabeça sozinha várias vezes. Se ela erra, você diz "não". Se ela acerta, você dá um "ponto" (recompensa). Ela tenta, erra, acerta e aprende com os próprios erros.

  • O que acontece: Ela demora muito mais para aprender (leva dias de treino em vez de horas).
  • A vantagem: Quando ela finalmente aprende a montar o quebra-cabeça, ela continua lembrando de tudo o que sabia antes. Ela não esqueceu como identificar cachorros ou resolver contas.

2. O Grande Segredo: Não é a Técnica, é o "Alimento"

O grande achado do artigo é que a diferença não está no método de ensino (copiar vs. explorar), mas sim no tipo de "alimento" (dados) que a IA come durante o treino.

• No Método A (Cópia): A IA come "comida pronta" feita por humanos. Essa comida é muito diferente do que ela já estava acostumada a digerir. Para aceitar esse novo sabor, o estômago dela (a memória) reage mal e começa a rejeitar o que ela já conhecia.
• No Método B (Exploração): A IA descobre sozinha que existem "caminhos" dentro do seu próprio cérebro que já funcionavam bem, mas que ela nunca usava para esse fim específico. Ela encontra soluções que já faziam sentido para ela (baixa "perplexidade", ou seja, baixo estranhamento).

A Analogia do Mapa:
Pense no conhecimento da IA como um mapa de uma cidade que ela já conhece muito bem.

• SFT (Cópia): É como alguém colar um novo bairro estranho no mapa de qualquer jeito, rasgando as ruas antigas para caber o novo. O mapa fica útil para o novo bairro, mas você não consegue mais achar sua casa antiga.
• RFT (Exploração): É como a IA andar pela cidade e descobrir que, na verdade, já existia um atalho escondido que ligava o centro ao novo bairro sem precisar destruir nenhuma rua antiga. Ela usa o que já estava lá para construir a nova conexão.

3. A Descoberta Surpreendente: O "Pulo do Gato"

Os pesquisadores fizeram um teste genial:

1. Eles deixaram a IA treinar com o Método B (RFT) até aprender a montar o quebra-cabeça.
2. Pegaram as respostas e o raciocínio que a IA gerou sozinha durante esse treino.
3. Usaram essas respostas para treinar a IA com o Método A (SFT - a cópia).

Resultado: A IA aprendeu o quebra-cabeça tão rápido quanto antes, mas não esqueceu nada do que sabia antes!

Isso prova que o segredo não é o algoritmo complexo de "Reforço", mas sim de onde vêm os dados. Se você treinar a IA com dados que ela mesma gerou (que são mais compatíveis com o que ela já sabe), você evita o esquecimento.

4. Conclusão Simples

O artigo nos ensina que, para ensinar algo novo a uma IA sem fazê-la esquecer o que ela já é boa, não devemos apenas jogar dados novos na cara dela.

Devemos:

1. Deixar a IA explorar e descobrir soluções sozinha (ou gerar dados que façam sentido para ela).
2. Usar essas descobertas para "ensinar" a IA de forma supervisionada.

É como se, em vez de forçar uma criança a decorar uma fórmula nova que ela não entende, você a deixasse brincar até descobrir a lógica por trás dela. Assim, ela aprende a nova fórmula sem esquecer como andar ou falar.

Resumo em uma frase: O jeito como a IA "pensa" e gera suas próprias respostas (mesmo que erradas no começo) protege sua memória antiga muito melhor do que apenas copiar respostas prontas de humanos.

Resumo técnico

Resumo Técnico: Por que o Ajuste Fino por Reforço (RFT) Preserva Melhor o Conhecimento Prévio?

1. O Problema

O ajuste fino de modelos de linguagem grandes (LLMs) e modelos de linguagem multimodais (MLLMs) é essencial para adaptá-los a tarefas específicas. No entanto, existe uma preocupação crescente sobre o esquecimento catastrófico (catastrophic forgetting): a perda drástica de conhecimento prévio adquirido durante o pré-treinamento quando o modelo é treinado em novas tarefas.

• Desafio Principal: A maioria dos estudos foca na melhoria de desempenho em tarefas downstream, ignorando como algoritmos como Supervised Fine-Tuning (SFT) e Reinforcement Fine-Tuning (RFT) afetam a retenção de conhecimento existente.
• Gap de Pesquisa: Não está claro por que o RFT parece ser mais estável que o SFT em cenários de aprendizado contínuo e quais são os mecanismos subjacentes a essa diferença.

2. Metodologia e Configuração Experimental

Os autores propõem uma abordagem sistemática para investigar esse fenômeno, utilizando uma perspectiva baseada em dados e dinâmica de aprendizado.

• Tarefa de Teste (Quebra-Cabeça de Jigsaw):

  • Introduzem "jigsaw puzzles" (quebra-cabeças de imagem) como uma tarefa genuinamente nova, ausente dos corpora de pré-treinamento atuais.
  • O modelo deve reorganizar 9 patches de uma imagem (3x3) em sua ordem correta.
  • Motivação: Modelos de ponta (como GPT-4o e Qwen2.5-VL-72B) obtêm acurácia próxima ao acaso (0%) nessa tarefa, validando-a como um teste justo para medir a aquisição de novo conhecimento sem viés prévio.

• Algoritmos Comparados:

  • SFT (Supervised Fine-Tuning): Treinamento supervisionado padrão. Os autores testaram dois tipos de dados:
    1. Non-Rea: Respostas diretas sem raciocínio.
    2. Rea-4o-Rollout: Trajetórias de raciocínio (Chain-of-Thought) geradas pelo GPT-4o.
  • RFT (Reinforcement Fine-Tuning): Utilização do algoritmo GRPO (Group Relative Policy Optimization) para otimizar o modelo com base em recompensas (precisão, formato e acerto parcial). O modelo gera suas próprias trajetórias de raciocínio.

• Análise Teórica (Dinâmica de Aprendizado):

  • Os autores utilizam a teoria da Dinâmica de Aprendizado (Ren & Sutherland, 2024) para decompor como um exemplo de treinamento ($x_u$) influencia a probabilidade de um exemplo de conhecimento prévio ($x_v$).
  • A análise foca em dois fatores:
    1. Magnitude de Interferência: Medida pelo Lower Bound of Kernel (LBK) derivado do Empirical Neural Tangent Kernel (eNTK). Um LBK maior indica maior interferência e risco de esquecimento.
    2. Direção de Interferência: Analisada através da Perplexidade (PPL) dos dados de treinamento sob a distribuição do modelo base.

3. Principais Contribuições

1. Descoberta de Trade-off Agudo: O SFT permite a aquisição rápida de novas tarefas (com poucos passos de treinamento), mas causa esquecimento catastrófico severo. O RFT aprende mais lentamente (requer mais passos), mas preserva significativamente melhor o conhecimento prévio.
2. A Primazia da Distribuição de Dados: A diferença no esquecimento não é causada apenas pela diferença algorítmica (SFT vs. RFT), mas principalmente pela distribuição dos dados de treinamento.
   • O RFT gera dados que estão naturalmente alinhados com a paisagem de probabilidade do modelo base (baixa perplexidade).
   • O SFT com dados externos (mesmo com raciocínio do GPT-4o) tende a introduzir dados em regiões de alta perplexidade, causando maior interferência.
3. Validação da Hipótese de Baixa Perplexidade: Dados gerados pelo próprio modelo durante o RFT (Rollouts) possuem menor perplexidade sob o modelo base em comparação a dados gerados por GPT-4o. Treinar em regiões de baixa perplexidade minimiza a perturbação do conhecimento prévio.
4. SFT Melhorado com Dados de RFT: Ao usar as trajetórias de raciocínio corretas geradas pelo RFT como dados de treinamento para o SFT (SFT-Rea-GRPO-Rollout), é possível alcançar o desempenho do RFT na nova tarefa com uma fração do tempo de treinamento, enquanto se mantém a retenção de conhecimento superior ao SFT tradicional.

4. Resultados Chave

• Desempenho em Quebra-Cabeças (Jigsaw):
  • O RFT alcançou 66% (3B) e 75% (7B) de acurácia após ~27k passos.
  • O SFT atingiu desempenho similar em apenas 200-400 passos, mas com custo de esquecimento massivo.
• Retenção de Conhecimento Prévio (Benchmarks):
  • SFT (Non-Rea): Colapso severo em tarefas de Grounding (RefCOCO), OCR e VQA geral (ex: queda de 88.8 para 6.1 no RefCOCOval para o modelo 3B).
  • SFT (Rea-4o): Redução do esquecimento em comparação ao Non-Rea, mas ainda significativo.
  • RFT e SFT-Rea-GRPO-Rollout: Preservaram a performance nas tarefas antigas com quedas mínimas (ex: RefCOCOval caiu apenas 0.4 pontos no modelo 3B com RFT).
• Análise de LBK e Perplexidade:
  • Dados Non-Rea apresentaram o maior LBK (maior interferência).
  • Dados Rea-GRPO-Rollout (gerados pelo modelo) apresentaram o menor LBK e a menor perplexidade, confirmando que eles residem em regiões do espaço de linguagem que o modelo já domina parcialmente, facilitando a integração sem "esmagar" o conhecimento antigo.
• Generalização: Os resultados foram consistentes em experimentos adicionais com modelos puramente textuais (Qwen2.5-Instruct) em tarefas de raciocínio matemático (Open-Reasoner-Zero, GSM8K) e QA científica (Sci-MCQ4).

5. Significado e Implicações

• Mudança de Paradigma: O trabalho sugere que a estabilidade no post-training não depende apenas de escolher o algoritmo "certo" (RFT vs. SFT), mas de como os dados de treinamento são construídos.
• Sinergia SFT-RFT: Propõe um fluxo de trabalho híbrido onde uma fase curta de RFT é usada para gerar dados de alta qualidade (alinhados ao modelo e com raciocínio), que são então usados para um ajuste fino supervisionado (SFT) eficiente e estável.
• Direção Futura: Para o treinamento contínuo estável, a prioridade deve ser a seleção de dados que estejam alinhados com a distribuição do modelo base (baixa perplexidade) e que incluam trajetórias de raciocínio, em vez de apenas focar em anotações humanas estáticas.

Em resumo, o RFT preserva o conhecimento prévio porque, através da exploração ativa, ele descobre e reforça regiões do espaço de linguagem que já são compatíveis com o modelo, minimizando a interferência. O SFT tradicional falha porque força o modelo a aprender padrões estáticos que frequentemente colidem com o conhecimento existente.