🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

Este artigo desafia a noção de que "o SFT memoriza e o RL generaliza", demonstrando por meio de análises checkpoint a checkpoint e espectrais que o SFT frequentemente causa esquecimento fora da distribuição, que é subsequentemente restaurado pelo RL, um processo de recuperação ligado à rotação dos vetores singulares e não a mudanças nos valores singulares.

Autores originais: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Publicado 2026-05-12

📖 6 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: A Dança de "Dois Passos" do Treinamento de IA

Imagine que você está ensinando um aluno brilhante, mas inexperiente (um Modelo de Linguagem de Grande Escala) a resolver quebra-cabeças complexos. A receita padrão para transformar esse aluno em um especialista em raciocínio envolve dois passos:

Passo 1: Ajuste Fino Supervisionado (SFT) – Você entrega ao aluno um livro didático com respostas e diz: "Memorize esses padrões e copie o estilo."
Passo 2: Aprendizado por Reforço (RL) – Você coloca o aluno em um jogo onde ele ganha pontos por respostas corretas e perde pontos por erradas, dizendo: "Agora, descubra a lógica por si mesmo para vencer."

Por muito tempo, a comunidade de IA acreditou em uma história simples: "O SFT faz o aluno memorizar o livro didático (bom para problemas conhecidos), e o RL faz o aluno generalizar e pensar criativamente (bom para problemas novos)."

Este artigo diz que essa história está incompleta. Os autores descobriram que, embora o SFT seja ótimo no início, ele na verdade começa a prejudicar a capacidade do aluno de resolver novos tipos de quebra-cabeças se você deixá-lo estudar o livro didático por tempo demais. Então, o RL não necessariamente ensina a eles novos superpoderes; ele principalmente conserta o dano causado pelo SFT.

A Descoberta: O "Pico e o Colapso"

Os pesquisadores observaram o progresso do aluno todos os dias durante o processo de treinamento. Eles encontraram um padrão surpreendente:

A Vitória Inicial: No início absoluto do "estudo do livro didático" (SFT), o aluno fica muito bom em resolver novos tipos de quebra-cabeças (tarefas Fora de Distribuição ou OOD). É como se o aluno de repente entendesse a lógica subjacente da matemática.
O Colapso: À medida que o aluno continua estudando o livro didático, ele começa a ficar pior nos quebra-cabeças novos, mesmo ficando melhor nos problemas específicos do livro didático. Ele se torna tão obcecado pelo formato exato das respostas do livro didático que esquece como aplicar a lógica a situações ligeiramente diferentes.
O Conserto: Quando finalmente mudam para a fase de "jogo" (RL), o desempenho do aluno em novos quebra-cabeças sobe novamente.

A Analogia:
Imagine um chef aprendendo a cozinhar.

SFT Inicial: O chef aprende as regras básicas do sabor. Ele consegue cozinhar uma ótima refeição com qualquer ingrediente.
SFT Tardio: O chef é forçado a memorizar um livro de receitas específico. Ele se torna incrível em fazer aquele prato exato, mas esquece como ajustar os sabores se receber ingredientes diferentes. Ele "esqueceu" sua intuição geral de cozinhar.
RL: O chef é colocado em uma competição onde ganha pontos por comida saborosa, independentemente da receita. Isso o força a parar de seguir cegamente o livro e começar a usar sua intuição novamente. Ele recupera suas habilidades gerais de cozinhar, mas não se torna repentinamente um chef melhor do que era no início de seu treinamento.

A Descoberta Chave: O RL é um "Restaurador", não um "Criador"

O artigo desafia a ideia de que o RL cria novas capacidades de raciocínio do zero. Em vez disso, os autores descobriram:

O SFT Esquece: Se você treinar por tempo demais em dados específicos, o modelo "esquece" sua capacidade de lidar com situações estranhas ou novas.
O RL Recupera: O RL age como um curativo. Ele tapa os buracos que o SFT fez, restaurando o modelo ao nível de desempenho que ele tinha no pico da fase de SFT.
O Teto: O RL raramente torna o modelo melhor do que aquele pico inicial. Ele apenas o traz de volta ao ponto onde estava antes de ficar muito especializado.

A Zona "Cachinhos Dourados":
Os pesquisadores descobriram que o RL só funciona se você começar no momento certo.

Se você começar o RL muito cedo (antes do modelo conhecer o básico), ele falha porque o modelo está muito confuso.
Se você começar o RL muito tarde (depois que o modelo esqueceu tudo), os sinais do "jogo" são muito bagunçados para o modelo aprender com eles.
Existe um "ponto ideal" específico (uma faixa de checkpoints) onde o RL pode curar com sucesso o esquecimento.

O Mecanismo Secreto: A "Bússola Giratória"

Para entender por que isso acontece, os autores olharam dentro do cérebro do modelo usando uma ferramenta matemática chamada Decomposição em Valores Singulares (SVD). Pense no conhecimento do modelo como uma bússola gigante com muitas agulhas apontando em direções diferentes.

O Tamanho das Agulhas (Valores Singulares): Os pesquisadores descobriram que a força dessas agulhas (quanto conhecimento é armazenado) mal muda durante o treinamento. Elas permanecem estáveis.
A Direção das Agulhas (Vetores Singulares): No entanto, a direção para a qual as agulhas apontam muda drasticamente.

A Analogia:
Imagine que o conhecimento do modelo é um mapa.

O SFT não apaga o mapa (o tamanho dos dados permanece o mesmo), mas rota o mapa. Ele gira a bússola para que o "Norte" aponte para os exemplos específicos do livro didático, tornando difícil encontrar o "Norte" para locais novos e diferentes.
O RL gira a bússola de volta. Ele não adiciona novas terras ao mapa; apenas realinha a bússola para que o "Norte" aponte para a lógica geral novamente, permitindo que o modelo navegue em novos terrenos.

Resumo para o Leitor Comum

Antiga Crença: "O SFT memoriza, o RL generaliza."
Nova Realidade: "O SFT esquece (por superespecialização), e o RL recupera (por realinhamento)."
A Lição: Não continue treinando sua IA nos mesmos dados específicos para sempre. Ela perderá sua capacidade de pensar de forma flexível. Se você quiser que ela seja inteligente sobre coisas novas, você precisa parar a fase de "memorização" no momento certo e usar a fase de "jogo" para corrigir o foco, em vez de esperar que o jogo lhe ensine habilidades inteiramente novas do zero.

O artigo conclui que o melhor desempenho para resolver problemas novos e difíceis geralmente ocorre cedo no processo de treinamento, e a segunda etapa (RL) está principalmente lá para nos salvar dos erros que cometemos ao treinar por tempo demais na primeira etapa.

Resumo Técnico: O Ajuste Fino por RL Cura o Esquecimento OOD no SFT

Declaração do Problema

O pipeline padrão de pós-treinamento para Modelos de Linguagem de Grande Escala (LLMs) tipicamente envolve o Ajuste Fino Supervisionado (SFT) seguido pelo Ajuste Fino por Aprendizado por Reforço (RLFT). Uma hipótese predominante no campo é que "o SFT memoriza, o RL generaliza", sugerindo que o SFT leva ao sobreajuste na distribuição de treinamento, enquanto o RL aprimora a generalização Fora de Distribuição (OOD). No entanto, as dinâmicas subjacentes de como o desempenho OOD evolui durante essas duas etapas permanecem obscuras. Especificamente, não é bem compreendido se o RL cria novas capacidades de raciocínio ou meramente recupera capacidades perdidas, nem o mecanismo por trás da degradação OOD durante o SFT está totalmente caracterizado.

Metodologia

Os autores realizam uma análise abrangente, ponto a ponto (checkpoint-wise), do processo de ajuste fino em duas etapas, utilizando dois modelos de código aberto: LLaMA-3.2-11B-Vision e Qwen-2.5-7B.

Configuração Experimental:
- Tarefas: O estudo utiliza ambientes de raciocínio controlados para definir explicitamente divisões Dentro de Distribuição (ID) e Fora de Distribuição (OOD): GeneralPoints (raciocínio aritmético com regras de cartas modificadas), Navegação (raciocínio espacial com deslocamentos de direção) e Cálculo de Determinante de Classificação (álgebra linear).
- Protocolo: Os modelos passam por SFT de parâmetros completos, seguido por RL (usando PPO ou GRPO). Crucialmente, os autores não comparam apenas o checkpoint final do SFT ao checkpoint final do RL. Em vez disso, eles aplicam o RL a partir de vários checkpoints intermediários do SFT para mapear a evolução do desempenho.
- Avaliação: O desempenho é rastreado em tarefas ID e OOD ao longo de toda a trajetória de treinamento.
Análise Mecanística:
- Análise SVD: Os autores realizam a Decomposição em Valores Singulares (SVD) em matrizes de parâmetros chave ( $W_Q, W_K, W_V$ de Atenção Auto e camadas MLP). Eles conduzem estudos de ablação onde restauram valores singulares ou vetores singulares de checkpoints específicos (por exemplo, trocando os vetores singulares de um checkpoint tardio do SFT com os de um checkpoint "pico" inicial) para isolar o impacto das mudanças espectrais no desempenho.
- Análise da Distribuição de Vantagem: Eles analisam a distribuição das estimativas de vantagem durante os rollouts de RL para entender as condições sob as quais o RL recupera com sucesso o desempenho OOD.

Principais Descobertas

1. O Fenômeno "SFT Esquece, RL Recupera"

Contrariando a narrativa simples de "SFT memoriza, RL generaliza", os autores observam uma dinâmica mais matizada:

Pico Inicial do SFT: O desempenho de raciocínio OOD frequentemente atinge seu pico muito cedo no processo de SFT (denotado como $SFT_{MaxOOD}$ ).
Esquecimento OOD: À medida que o SFT continua além desse pico, o desempenho OOD degrada-se significativamente, mesmo enquanto o desempenho ID (perda de treinamento/teste) continua a melhorar. Isso indica que o modelo está se especializando excessivamente no formato ou regras específicos dos dados de treinamento, efetivamente "esquecendo" a capacidade de raciocínio geral necessária para tarefas OOD.
RL como Restaurador: O RL tipicamente não supera o melhor desempenho OOD alcançado pelo SFT inicial. Em vez disso, o RL atua como um mecanismo de recuperação, restaurando a capacidade OOD perdida durante as etapas posteriores do SFT. Essa recuperação é eficaz apenas dentro de uma faixa limitada de checkpoints do SFT (por exemplo, onde a precisão ID está aproximadamente entre 40% e 80%).

2. Mecanismo: Rotação de Vetores Singulares

A análise espectral revela a causa raiz dessas dinâmicas:

Valores Singulares Estáveis: Os valores singulares das matrizes de parâmetros permanecem amplamente estáveis durante as etapas de SFT e RL. O ajuste fino não amplifica ou diminui significativamente a magnitude desses valores.
Vetores Singulares Rotacionando: A degradação e a recuperação do desempenho OOD correlacionam-se fortemente com a rotação dos vetores singulares.
- Durante a fase de "esquecimento" do SFT, os vetores singulares rotacionam para longe das direções associadas à robustez OOD.
- Durante o RL, os vetores singulares rotacionam de volta, restaurando parcialmente o alinhamento do subespaço original.
Evidência de Ablação: Restaurar os vetores singulares de um checkpoint inicial do SFT (quando OOD era alto) para um checkpoint tardio do SFT (quando OOD era baixo) recupera o desempenho OOD, confirmando que a rotação vetorial é o principal motor do esquecimento.

3. Restrições da Distribuição de Vantagem

A eficácia do RL na recuperação do desempenho OOD depende da distribuição dos sinais de vantagem. O RL é mais eficaz quando a distribuição de vantagem é equilibrada (baixa assimetria, alta entropia e baixa divergência KL de uma distribuição normal). Se o checkpoint do SFT for muito avançado (colapso de entropia da política) ou muito inicial (falta de competência na tarefa), os sinais de vantagem tornam-se enviesados ou instáveis, impedindo uma recuperação eficaz.

Significado e Alegações

O artigo alega fornecer uma compreensão mais precisa e mecanicista das dinâmicas de pós-treinamento:

Refinamento do Paradigma: Desafia a visão binária de SFT vs. RL, propondo que o SFT pode esquecer e o RL pode recuperar. O melhor desempenho OOD é frequentemente encontrado em checkpoints iniciais do SFT, não necessariamente após o RL.
Valor Diagnóstico: O estudo destaca que os métodos tradicionais de detecção de sobreajuste (monitoramento da perda ID) falham em capturar o esquecimento OOD, pois a perda ID pode continuar a diminuir enquanto o desempenho OOD cai.
Implicação Algorítmica: As descobertas sugerem uma direção potencial para SFT Protegido, onde as atualizações são ortogonalizadas em relação às direções de vetores singulares de alto rank associadas a capacidades OOD para prevenir sua rotação e subsequente esquecimento. Experimentos preliminares com essa abordagem mostram promessa na preservação da precisão OOD enquanto mantêm o desempenho ID.
Generalização: O padrão de "esquecimento e recuperação" é observado em diferentes modelos (LLaMA, Qwen), diferentes tarefas de raciocínio e diferentes algoritmos de RL (PPO, GRPO, DAPO), sugerindo que é uma propriedade fundamental do processo de ajuste fino em duas etapas.

Em conclusão, os autores argumentam que o RL não é um gerador universal de novas capacidades de raciocínio, mas sim uma ferramenta poderosa para mitigar o esquecimento OOD induzido pelo SFT prolongado, desde que seja inicializado a partir de um checkpoint com uma distribuição de vantagem equilibrada.