Resumo Técnico: Combinação de Ajuste Fino Supervisionado e por Reforço com Amostragem de Prefixo

1. Declaração do Problema

O pós-treinamento de Modelos de Linguagem de Grande Escala (LLM) é atualmente dominado por dois paradigmas distintos: Ajuste Fino Supervisionado (SFT) e Ajuste Fino por Reforço (RFT). Cada abordagem apresenta limitações específicas:

• SFT destaca-se em imitar dados de demonstração, mas funciona como clonagem comportamental, frequentemente levando a problemas de generalização e questões de robustez. Oferece supervisão densa, mas pode alinhar-se mal com o desempenho em tarefas downstream.
• RFT (por exemplo, PPO, GRPO) melhora o desempenho por meio de exploração e otimização orientada a objetivos, mas sofre com sinais de recompensa esparsos, sensibilidade à política inicial e o risco de aprender comportamentos inesperados (por exemplo, mistura de idiomas). A literatura recente questiona se o RFT pode realmente elevar o teto de capacidade intrínseca de um modelo ou se apenas refina o conhecimento pré-treinado existente.

A questão central de pesquisa abordada é como integrar formalmente a supervisão de processo do SFT com a otimização orientada a objetivos do RFT para aproveitar suas forças complementares: SFT para expandir os limites do conhecimento e RFT para direcionar rumo à resolução robusta de problemas.

2. Metodologia: Prefix-RFT

Os autores propõem o Prefix-RFT, uma abordagem híbrida de pós-treinamento que unifica SFT e RFT dentro de um único framework de otimização.

Visão Unificada

O artigo estabelece que SFT e RFT compartilham uma estrutura de otimização consistente. Ambos atualizam a log-probabilidade de sequências, diferindo principalmente na fonte da sequência (especialista vs. on-policy) e no mecanismo de ponderação (fixo vs. ponderado por vantagem).

Mecanismo Central

O Prefix-RFT incorpora conjuntos de dados de demonstração offline no loop de treinamento do RFT por meio de Amostragem de Prefixo:

1. Construção de Trajetória Híbrida: Para um prompt $x$ e uma demonstração $y^*$ dados, a política $\pi_{\theta}$ gera $N-1$ rollouts on-policy padrão. Para a $N$-ésima sequência, um prefixo $y^*_{<L}$ é amostrado da demonstração. A política então gera uma continuação $y_{\ge L}$, criando uma trajetória híbrida $y^{(N)} = (y^*_{<L}, y_{\ge L})$.
2. Atualização de Gradiente Unificada: A trajetória híbrida é tratada juntamente com os rollouts padrão. A atualização de gradiente combina aprendizado por exploração (tokens on-policy) e imitação (tokens de prefixo).
   • Tokens de Prefixo ($t < L$): Tratados como "imitação", mas ponderados pela vantagem $\hat{A}_t$ estimada a partir de toda a trajetória híbrida. Se a trajetória híbrida gerar uma recompensa alta, o prefixo é reforçado; caso contrário, sua influência é atenuada.
   • Tokens de Continuação ($t \ge L$): Tratados como tokens de "exploração" padrão.
3. Clipping Baseado em Entropia: Para evitar que tokens de demonstração off-policy dominem o gradiente (devido a deslocamentos de distribuição que causam grandes gradientes de verossimilhança logarítmica), o método atualiza apenas os top-$k\%$ (por exemplo, 20%) dos tokens de prefixo com a maior entropia. Tokens de baixa entropia já estão correspondidos pelo modelo ou representam incompatibilidades confiantes que poderiam causar sobrescritas agudas e desestabilizadoras.
4. Agendador de Decaimento Cosseno: Para mitigar o viés posicional (onde os modelos raramente veem o final das sequências) e implementar aprendizado de currículo, o comprimento do prefixo $L$ é controlado por um agendador. O comprimento do prefixo começa longo (alta orientação) e decai para curto (mais autonomia) ao longo do treinamento, mimetizando uma transição de SFT para RFT.

3. Contribuições Principais

• Framework Unificado: O artigo fornece uma unificação teórica de SFT e RFT, demonstrando que podem ser combinados por meio de um objetivo híbrido, em vez de serem tratados como estágios consecutivos.
• Algoritmo Prefix-RFT: Introduz um método simples, porém eficaz, para injetar demonstrações offline no RFT sem restringir rigidamente o modelo, permitindo que ele explore continuações superiores enquanto é guiado por prefixos de especialistas.
• Ponderação Dinâmica e Clipping: Propõe o uso de vantagens ao nível da trajetória para ponderar dinamicamente as atualizações de prefixo e emprega clipping baseado em entropia para estabilizar o treinamento contra deslocamentos de distribuição off-policy.
• Validação Empírica: Demonstra que o Prefix-RFT supera SFT isolado, RFT isolado e baselines sequenciais SFT-então-RFT, bem como métodos híbridos paralelos recentes (por exemplo, UFT, LUFFY, ReLIFT).

4. Resultados Experimentais

Os experimentos foram conduzidos principalmente em tarefas de raciocínio matemático (AIME, AMC, MATH-500, etc.) usando modelos como Qwen2.5-Math (1.5B, 7B) e LLaMA-3.1-8B.

• Desempenho: O Prefix-RFT superou consistentemente todas as baselines em seis benchmarks de raciocínio matemático e três tarefas de raciocínio em domínio geral. Por exemplo, no Qwen2.5-Math-7B, alcançou uma pontuação Pass@1 de 31.8 no AIME 2024 e 26.4 no AIME 2025, superando a melhor baseline (LUFFY) e a abordagem sequencial SFT+RFT.
• Limites de Raciocínio (Pass@k): Crucialmente, o Prefix-RFT foi o único método que elevou significativamente o limite superior de desempenho do modelo. No AIME 2025, alcançou um Pass@2048 de 76,7%, comparado a 70,0% para o modelo base e RFT, indicando que expande as capacidades de raciocínio do modelo, em vez de apenas aumentar a probabilidade de soluções conhecidas.
• Robustez: O método mostrou forte robustez em diferentes escalas de modelo e foi eficaz mesmo com quantidades reduzidas de demonstrações (até 1% dos dados) e qualidade variável dos geradores de demonstração (de modelos de 1.5B a 32B).
• Generalização: Resultados preliminares em geração de código (MBPP+, HumanEval+) confirmaram a aplicabilidade do método além do raciocínio matemático.

5. Análise e Significado

A análise do artigo destaca a natureza complementar de SFT e RFT:

• Ponte entre as Lacunas: O Prefix-RFT sintetiza efetivamente os paradigmas de treinamento distintos. Permite que o modelo aprenda com demonstrações (semelhante a SFT) enquanto mantém o objetivo orientado a objetivos do RFT.
• Transição Dinâmica: O método induz uma transição dinâmica onde o modelo depende fortemente de prefixos no início do treinamento (alta vantagem, prefixos longos) e gradualmente migra para exploração autônoma à medida que suas capacidades melhoram (vantagem diminuída, prefixos mais curtos).
• Aprendizado Direcionado: O modelo aprende mais intensamente com demonstrações em problemas desafiadores (onde enfrenta dificuldades) e depende mais da autoexploração para problemas mais fáceis, validando a natureza adaptativa da abordagem.

Significado:
Os autores afirmam que o Prefix-RFT oferece um "ponto ideal" entre a estabilidade do SFT e o poder exploratório do RFT. Ao integrar formalmente esses paradigmas, o método aborda as limitações da clonagem comportamental (SFT) e a instabilidade do aprendizado por reforço puro (RFT). O trabalho sugere que tratar SFT e RFT como estágios distintos e consecutivos é subótimo, e que uma abordagem integrada pode harmonizá-los efetivamente para empurrar os limites das capacidades de raciocínio de LLMs.

Limitações:
Os autores notam que seus experimentos focam em configurações de raciocínio verificáveis com recompensas de resultado confiáveis. Embora os resultados de geração de código sugiram transferibilidade, a geração aberta mais ampla e configurações com recompensas ruidosas permanecem como trabalho futuro. Além disso, o método depende de demonstrações externas, e a seleção sistemática de múltiplas demonstrações candidatas fica para estudos futuros.