Resumo Técnico: Repensando a Utilização de Trajetórias de Especialistas no Pós-treinamento de LLMs para Raciocínio Matemático

Declaração do Problema

O pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) para raciocínio matemático é atualmente dominado por dois paradigmas: Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL). Enquanto o SFT depende fortemente de trajetórias de especialistas (pares de prompt-solução) para instilar priors de raciocínio via imitação, os métodos de RL (por exemplo, GRPO, DAPO) tipicamente aproveitam sinais de recompensa para explorar caminhos de raciocínio sem utilização direta de trajetórias de especialistas.

Apesar do consenso de que ambos são necessários, o mecanismo ótimo para utilizar trajetórias de especialistas a fim de maximizar o teto de desempenho final permanece não resolvido. O campo enfrenta um "dilema paradigmático":

1. Abordagens Sincronizadas (Syn-SFT-RL): Métodos recentes (por exemplo, UPT, SRFT, LUFFY) integram a perda de imitação diretamente no loop de RL, alegando eficiência superior. No entanto, estes são frequentemente restringidos por escalas limitadas de dados de SFT (por exemplo, ~46K amostras) e carecem de comparação rigorosa contra baselines treinados em conjuntos de dados significativamente maiores.
2. Abordagens Sequenciais (SFT-então-RL): O padrão da indústria envolve um pipeline sequencial. Contudo, os princípios que regem essa abordagem são amplamente empíricos. Questões críticas permanecem sem resposta quanto ao momento ótimo para alternar de SFT para RL, ao impacto da escala de dados versus dificuldade, e se a hipótese "Menos é Mais" (usar dados mínimos de alta qualidade) se mantém verdadeira para maximizar o teto final de raciocínio.

Metodologia: O Framework Plasticidade-Teto

Para abordar essas lacunas, os autores propõem o Framework Plasticidade-Teto, uma abordagem analítica unificada que decompõe o teto teórico de desempenho do pós-treinamento ($A_{post}$) em dois componentes mensuráveis:

1. Desempenho do SFT ($P_{sft}$): O desempenho realizado alcançado após a fase de SFT dada uma alocação específica de computação ($x_{sft}$).
2. Plasticidade do RL ($P_{L_{rl}}$): A melhoria máxima potencial alcançável via RL subsequente, definida como a diferença entre o teto assintótico e a baseline de SFT ($A_{post} - P_{sft}$).

O framework modela o desempenho do pós-treinamento como uma função da computação de RL usando uma lei sigmoide, permitindo a decomposição quantitativa do teto final. Isso permite aos autores avaliar sistematicamente como as propriedades dos dados de SFT (escala e dificuldade) e as dinâmicas de treinamento influenciam tanto a fundação ($P_{sft}$) quanto a margem para melhoria ($P_{L_{rl}}$).

Configuração Experimental

O estudo conduz benchmarks extensivos em Qwen2.5-7B e Llama3.2-3B através de seis benchmarks matemáticos (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) e tarefas fora de domínio (OOD) (GPQA-Diamond, ARC-C).

• Conjuntos de Dados: Os autores curam conjuntos de dados de SFT variando de 1K a 889K amostras únicas, derivados de saídas destiladas do DeepSeek-R1. Estes incluem variantes de escala (S1K, Uniform102K, SFT889K) e variantes de dificuldade (Easy102K, Uniform102K, Hard102K).
• Baselines: O estudo compara SFT-Puro, RL-Puro (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT) e o pipeline Sequencial SFT-então-RL.
• Métricas: O desempenho é medido via precisão pass@1, com custos de computação normalizados para FLOPs (exaFLOPs).

Resultados Principais

1. Seleção de Paradigma: Dominância Sequencial

O pipeline Sequencial SFT-então-RL é estabelecido como o padrão superior.

• Limitações do Syn-SFT-RL: Métodos sincronizados exibem instabilidade de treinamento e convergência prematura. Eles são altamente sensíveis a priors do modelo e não escalam efetivamente quando comparados a baselines sequenciais otimizados em conjuntos de dados maiores.
• A Vantagem "Lento mas Alto": O SFT-Puro demonstra melhoria contínua com treinamento extenso, atingindo um pico significativamente mais alto do que os tetos de métodos RL-Puro ou Syn-SFT-RL. Crucialmente, a transição para RL após a saturação do SFT libera ganhos adicionais, alcançando a fronteira de desempenho mais alta (por exemplo, 78,1 pontos no Qwen2.5-7B versus 74,3 para RL-Puro).

2. Momento Ótimo de Transição: Saturação do SFT

A estratégia ótima para alternar de SFT para RL é aguardar até o Regime Estável ou o Regime de Overfitting Leve da perda de validação do SFT.

• Alternância Prematura: Alternar durante o Regime Adaptativo (subajuste) produz tetos subótimos porque o modelo carece da competência fundamental necessária para que o RL se recupere.
• Overfitting Severo: Continuar o SFT no Regime de Overfitting Severo causa um colapso na plasticidade do RL, prejudicial ao teto final.
• Generalização: Treinar o SFT até a saturação estabelece uma fundação robusta para generalização Fora de Domínio (OOD), contradizendo alegações de que SFT intensivo degrada a generalização.

3. Propriedades dos Dados: Escala e Dificuldade

O estudo refuta a hipótese "Menos é Mais" no contexto de escalonamento SFT-então-RL.

• Escala Domina: A escala de dados é o determinante primário do teto de desempenho final. Enquanto conjuntos de dados pequenos (por exemplo, S1K) alcançam ganhos iniciais rápidos, eles saturam prematuramente. Conjuntos de dados de grande escala (por exemplo, SFT889K) fornecem tanto desempenho de SFT realizado mais alto quanto maior plasticidade de RL preservada, levando a um teto significativamente mais alto.
• Dificuldade como Multiplicador: A dificuldade da trajetória atua como um multiplicador de desempenho. Dados mais difíceis (Hard102K) produzem desempenho de SFT mais alto e mantêm plasticidade comparável a dados mais fáceis, tornando-se a escolha superior quando a escala é fixa.
• Indicador Preditivo: A Perda Mínima de Validação da fase de SFT serve como um indicador confiável e robusto para o teto final de pós-treinamento, correlacionando-se fortemente com o desempenho final ($A_{post}$).

Significado e Contribuições

O artigo afirma transformar a otimização de trajetórias de especialistas de suposições empíricas em um processo sistemático e previsível. Suas contribuições primárias são:

1. O Framework Plasticidade-Teto: Um mecanismo teórico que decompõe o desempenho do pós-treinamento em ganhos realizados de SFT e plasticidade subsequente de RL, fornecendo uma visão unificada para seleção de paradigma.
2. Benchmarking Rigoroso: Estabelecer o pipeline Sequencial SFT-então-RL como o padrão rigoroso para estabilidade e desempenho, superando abordagens sincronizadas e métodos puros.
3. Diretrizes de Escalonamento Acionáveis:
   • Tempo: Iniciar RL na saturação do SFT (Regime Estável).
   • Estratégia de Dados: Priorizar a escala de dados sobre a dificuldade para maximizar o teto; usar a dificuldade para otimizar dentro de restrições de escala limitadas.
   • Monitoramento: Usar a Perda Mínima de Validação como proxy para o teto de desempenho final.

Os autores concluem que essas descobertas fornecem diretrizes acionáveis para extrair o máximo valor das trajetórias de especialistas, especificamente para tarefas de raciocínio matemático usando trajetórias no estilo R1. Eles reconhecem limitações quanto à generalização para tarefas não verificáveis (por exemplo, escrita criativa) ou estilos de trajetória alternativos, deixando estas como questões em aberto para trabalhos futuros.