Resumo Técnico: Um Bom SFT Otimiza para SFT, um Melhor SFT Prepara para Aprendizado por Reforço

1. Declaração do Problema

O pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) de raciocínio tipicamente segue um paradigma de duas etapas: uma etapa offline de Ajuste Fino Supervisionado (SFT) para produzir um checkpoint inicial, seguida por uma etapa online de Aprendizado por Reforço (RL) para aprimorar ainda mais o desempenho. Uma suposição predominante nas pipelines atuais é que otimizar a etapa de SFT para máxima precisão offline (por exemplo, maximizando a verossimilhança do próximo token ou minimizando a perda na distribuição de treinamento) resultará naturalmente em uma inicialização mais forte para o RL subsequente.

No entanto, os autores demonstram que essa suposição é falha. Eles observam que modelos inicializados a partir de checkpoints de SFT "mais fortes" (aqueles com desempenho offline superior) podem ter desempenho significativamente inferior àqueles inicializados a partir de checkpoints "mais fracos" após sofrerem treinamento de RL idêntico. Esse fenômeno é atribuído a um descompasso de distribuição entre as etapas offline e online:

• SFT Offline: O modelo aprende a partir de dados amostrados de uma política de comportamento ($\pi_\beta$), frequentemente um modelo diferente ou um conjunto de dados estático.
• RL Online: O modelo aprende a partir de trajetórias geradas pela sua própria política-alvo em evolução ($\pi_\theta$).

O SFT padrão aplica supervisão uniforme ao nível do token baseada na distribuição da política de comportamento. Em tarefas de raciocínio de longo horizonte, isso pode reforçar padrões de transição (por exemplo, continuações em becos sem saída) que são altamente prováveis sob a política de comportamento, mas implausíveis sob a política-alvo. Consequentemente, o modelo aprende a associar prefixos a continuações que raramente revisitará durante o RL online, levando a uma inicialização subótima que prejudica a aprendizagem a jusante.

2. Metodologia: PEAR

Para abordar esse descompasso, os autores propõem o PEAR (Algoritmo Inspirado em Avaliação de Políticas para Reponderação de Perda de Aprendizado Offline). O PEAR é um método da etapa de SFT que repondera a perda de treinamento para alinhar melhor o objetivo offline com a distribuição da política-alvo, preparando efetivamente o modelo para a fase de RL online.

Mecanismo Central

O PEAR utiliza amostragem por importância para corrigir o deslocamento de distribuição entre a política de comportamento ($\pi_\beta$) e a política-alvo ($\pi_\theta$). Em vez de tratar todos os tokens no conjunto de dados offline de forma igual, o PEAR repondera a perda de cada token com base na razão de verossimilhança entre a política-alvo e a política de comportamento.

A função objetivo é modificada da seguinte forma:
$$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$$
Onde:

• $\ell_\theta$ é a perda padrão por token (por exemplo, NLL ou divergência KL).
• $\text{sg}[\cdot]$ denota um operador de parada de gradiente, tratando o peso como um coeficiente fixo.
• $\hat{G}_t$ é o peso de importância numericamente estabilizado para o token $t$.

Variantes de Ponderação

O PEAR oferece três granularidades para o cálculo dos pesos $\hat{G}_t$:

1. Ponderação ao Nível de Sequência: Aplica uma única razão de importância global ($w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$) a todos os tokens em uma trajetória. Isso assume que a plausibilidade de toda a sequência sob a política-alvo é uniforme.
2. Ponderação ao Nível de Token (Baseada em Sufixo): Calcula pesos com base na razão de importância de sufixo. Para um token $y_t$, o peso é determinado pela verossimilhança da continuação restante ($y_{>t}$) sob a política-alvo em relação à política de comportamento:
   $$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$$
   Isso reduz o peso de tokens que levam a continuações que a política-alvo é improvável de gerar, focando a aprendizagem em prefixos compatíveis com o comportamento futuro da política-alvo.
3. Ponderação ao Nível de Bloco: Para mitigar a alta variância inerente aos pesos de importância multiplicativos de longo horizonte, a sequência é particionada em blocos. Os pesos são calculados e aplicados uniformemente dentro de cada bloco, trocando alguma granularidade por estabilidade.

Recursos Adicionais

• Exemplos Negativos: O PEAR pode incorporar trajetórias de falha verificadas aplicando um termo repulsivo, afastando o modelo de continuações negativas enquanto mantém a consistência da política.
• Adaptação de Caixa-Preta: Quando a política de comportamento exata $\pi_\beta$ não está disponível (por exemplo, dados de código-fonte fechado), o PEAR pode utilizar um modelo proxy ou um conjunto de proxies para aproximar as log-verossimilhanças da política de comportamento.
• Estabilização Numérica: O método emprega computação no espaço logarítmico e clipping de razões logarítmicas para prevenir instabilidade numérica durante o cálculo de sequências de produtos longas.

3. Contribuições Principais

• Demonstração Empírica do Desacoplamento Offline-Online: O artigo fornece experimentos controlados mostrando que o desempenho offline é um proxy não confiável para o desempenho pós-RL. Objetivos de SFT mais fortes podem levar a resultados finais de RL mais fracos devido ao descompasso de distribuição.
• Algoritmo PEAR: A introdução de um esquema prático de reponderação plug-in que utiliza princípios de avaliação off-policy (OPE) para alinhar o SFT offline com os objetivos do RL online.
• Avaliação Abrangente: Testes extensivos em múltiplas famílias de modelos (Qwen2.5, Qwen3, DeepSeek-distilled) e tamanhos (0,6B a 8B) em tarefas de raciocínio verificáveis (jogos de lógica, benchmarks de matemática).
• Análise de Deriva de Parâmetros: Os autores mostram que modelos inicializados com PEAR sofrem menos deriva de parâmetros durante o treinamento subsequente de RL, sugerindo que o PEAR reduz a necessidade de a fase de RL corrigir desalinhamentos offline-online.

4. Resultados Experimentais

Os autores conduziram experimentos em quebra-cabeças de lógica sintéticos (SynLogic, Enigmata) e benchmarks de raciocínio matemático (AIME-2024/2025, AMC-2023, MATH-500).

• Ganhos de Desempenho: O PEAR superou consistentemente o SFT canônico e outras linhas de base (incluindo SFT regularizado por KL, TALR e vários objetivos baseados em probabilidade) após o RL.
  • No AIME-2025, modelos inicializados com PEAR alcançaram ganhos de Pass@8 de até 30 pontos percentuais em comparação com o SFT padrão (por exemplo, aumentando de 5% para 35% no DeepSeek-Distill-Qwen-1.5B).
  • Nos jogos de lógica SynLogic, o PEAR mostrou melhorias de Pass@1 de até +25 pontos percentuais (por exemplo, de 13,1% para 38,3% no Qwen3-1.7B-Base).
• Generalização: Os benefícios do PEAR transferem-se entre diferentes distribuições de tarefas de RL (por exemplo, treinamento em SynLogic e RL em Enigmata) e diferentes algoritmos de RL (GRPO e DAPO).
• Robustez de Caixa-Preta: Mesmo ao usar modelos proxy para aproximar a política de comportamento, o PEAR supera significativamente o SFT padrão, com proxies fortes igualando o desempenho de caixa-branca.
• Estabilidade: Modelos inicializados com PEAR exibem menor deriva de parâmetros (medida pelo Deslocamento de Espectro Normalizado) durante a fase de RL online em comparação com modelos inicializados com SFT padrão, indicando uma trajetória de aprendizagem mais eficiente.

5. Significado e Alegações

O artigo argumenta que o objetivo da etapa de SFT offline não deve ser meramente maximizar a precisão offline, mas preparar a política para o RL online subsequente.

• Pós-Treinamento Holístico: Os autores afirmam que projetar objetivos de SFT com o RL a jusante em mente é crucial. Otimizar para métricas offline de forma isolada pode ser contraproducente, pois pode reforçar comportamentos que são incompatíveis com as dinâmicas de exploração e otimização da política-alvo.
• Correção de Descompasso: O PEAR serve como uma instanciação concreta do princípio de que o treinamento offline deve corrigir o descompasso de ocupação entre comportamento e alvo. Ao reduzir o peso de continuações implausíveis e aumentar o peso daquelas compatíveis com a política-alvo, o PEAR cria uma inicialização mais eficaz.
• Impacto Prático: Os resultados sugerem que estratégias simples de reponderação baseadas em avaliação off-policy podem produzir melhorias substanciais nas capacidades de raciocínio sem exigir mudanças arquiteturais complexas ou coleta adicional de dados, desde que as probabilidades da política de comportamento estejam acessíveis (ou aproximadas).

Os autores concluem que "uma boa etapa offline não deve otimizar para a precisão offline, mas preparar a política para o RL que se segue", posicionando o PEAR como um passo em direção a pipelines de pós-treinamento de LLMs mais holísticos.