Resumo Técnico: RASFT (Rollout-Adaptive Supervised Fine-Tuning para Raciocínio)

1. Definição do Problema

O Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning) é a abordagem padrão para adaptar Grandes Modelos de Linguagem (LLMs) a tarefas de raciocínio através da imitação de demonstrações de especialistas offline. No entanto, os autores identificam uma limitação crítica neste paradigma: o raciocínio não é uma simples tarefa de imitação de caminho. Um único problema frequentemente admite múltiplas trajetórias de solução válidas, mas o SFT padrão trata uma única trajetória de especialista offline como o comportamento alvo rígido.

Essa imitação rígida pode levar a dois problemas:

1. Sobreajuste a Formas de Superfície: O modelo pode memorizar a demonstração específica em vez de aprender a distribuição subjacente do raciocínio.
2. Supressão de Capacidade Latente: LLMs pré-treinados frequentemente possuem distribuições de raciocínio latentes e ricas. A sobre-imitação de um único caminho de especialista pode sobrescrever esses priors, enfraquecendo a própria capacidade do modelo de gerar trajetórias de raciocínio diversas e corretas.

Variantes existentes de SFT (ex: DFT, ASFT, ProFiT) tentam mitigar isso reescalonando os sinais de aprendizado ou ancorando-se em modelos de referência, mas permanecem amplamente "internas à demonstração". Elas otimizam com base em sinais dentro da trajetória offline em vez de calibrar a supervisão com base na capacidade real da política atual de resolver o problema.

2. Metodologia: RASFT

Os autores propõem o Rollout-Adaptive Supervised Fine-Tuning (RASFT), um framework consciente da política que equilibra dinamicamente a orientação do especialista com o raciocínio autogerado baseado no desempenho atual do modelo.

Componentes Principais

1. Construção do Pool de Candidatos Locais:
   Para cada prompt de problema $x_i$, o RASFT constrói um pool $G_i$ contendo:

   • A trajetória do especialista offline ($y^e_i$).
   • Trajetórias corretas verificadas geradas pela política atual ($\pi_\theta$) via rollouts on-policy.
   • Nota: Rollouts incorretos são filtrados dos alvos de otimização, mas usados para estimar a dificuldade.

2. Estimativa de Solubilidade ao Nível do Problema ($\zeta_i$):
   O modelo gera $K$ rollouts para um determinado prompt. Um verificador específico da tarefa (ex: correspondência de resposta final para matemática, testes de asserção para código) determina a correção. O índice de solubilidade é calculado como a taxa de sucesso:
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   onde $c_{i,k} \in \{0, 1\}$ indica a correção. Esta pontuação reflete quão bem a política atual consegue resolver o problema.

3. Ponderação Adaptativa:
   O RASFT atribui pesos às trajetórias no pool de candidatos com base em $\zeta_i$:

   • Peso da Trajetória do Especialista ($W_e$): Ajustado dinamicamente. Quando $\zeta_i$ é baixo (o modelo tem dificuldade), a trajetória do especialista recebe um peso maior para fornecer uma orientação corretiva forte. Quando $\zeta_i$ é alto (o modelo é confiável), o peso é atenuado para evitar o ajuste rígido e permitir que o próprio raciocínio do modelo domine.
   • Peso da Trajetória Autogerada ($W_r$): Fixo para rollouts verificados como corretos.

4. Objetivo Regularizado pela Política:
   Para evitar o desvio excessivo da distribuição pré-treinada, o RASFT introduz uma razão inversa truncada (clipped inverse ratio) entre um modelo de referência congelado ($\pi_{ref}$) e a política atual ($\pi_\theta$). A função de perda final combina:

   • Pesos de trajetória normalizados ($\bar{W}_{i,j}$).
   • A razão inversa truncada ($Clip(r_{i,j}(\theta))$).
   • Confiança ao nível de token ($p_{\theta}$).

   O objetivo minimiza uma perda de sequência-para-sequência ponderada:
   $$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
   onde $\omega_{i,j,t}$ é o peso composto.

3. Contribuições Principais

O artigo resume suas contribuições da seguinte forma:

• Identificação de Limitação: Destaca que as variantes de SFT existentes carecem de consciência da política, falhando em distinguir quando a imitação do especialista é necessária versus quando ela se torna um ajuste de caminho rígido.
• Proposta de Framework: O RASFT é introduzido como um framework de SFT adaptável a rollouts que utiliza rollouts on-policy verificados para estimar a solubilidade do problema, equilibrando dinamicamente a orientação do especialista com trajetórias corretas autogeradas.
• Validação Empírica: Experimentos extensos demonstram que o RASFT supera o SFT padrão, variantes de SFT (DFT, ASFT, ProFiT) e métodos representativos de Aprendizado por Reforço (RL) (GRPO, LUFFY) em tarefas de raciocínio matemático e de código.

4. Resultados Experimentais

Experimentos foram conduzidos em seis benchmarks de raciocínio matemático (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) e dois benchmarks de raciocínio de código (HumanEval, MBPP) usando modelos das famílias Qwen2.5 e Llama-3.2.

• Ganhos de Desempenho: O RASFT alcançou consistentemente o melhor desempenho médio.
  • Matemática: No Qwen2.5-Math-1.5B, alcançou um ganho relativo de 10,9% (25,00 $\to$ 27,72) sobre o melhor baseline.
  • Código: No Llama-3.2-3B, alcançou um ganho de 26,9% (24,93 $\to$ 31,63).
  • Comparação com RL: O RASFT melhorou a precisão matemática média em 15,9% (20,25 $\to$ 23,47) comparado ao GRPO.
• Estudos de Ablação:
  • Adaptabilidade de Dificuldade: Remover a ponderação adaptativa causou uma queda no escore médio de 27,72 para 25,53, confirmando que o equilíbrio estático é suboptimal.
  • Rollouts On-Policy: Remover os rollouts (revertendo para pesos de especialista estáticos) levou a uma degradação uniforme, destacando a necessidade de feedback online.
  • Razão Inversa: Remover a razão inversa reduziu o desempenho, confirmando seu papel em prevenir o sobreajuste aos dados offline e preservar os priors pré-treinados.
  • Transferibilidade: O RASFT melhorou o desempenho quando integrado com SFT padrão e ProFiT, sugerindo que é complementar aos métodos de reescalonamento ao nível de token.
• Dinâmica de Treinamento: O RASFT manteve objetivos de treinamento estáveis e menor densidade de atualização de parâmetros nos estágios finais em comparação com outros métodos, indicando uma melhor preservação dos priors de raciocínio pré-treinados.

5. Significância e Alegações

O artigo alega que o RASFT representa uma mudança do ajuste de demonstração estático para a supervisão adaptável à política. Sua significância reside em:

1. Ponte entre SFT e RL: Incorpora os benefícios da exploração online (rollouts) e da ponderação adaptativa tipicamente encontrados em métodos de RL, mas retém a estabilidade e simplicidade do framework de SFT.
2. Calibração Dinâmica: Calibra com sucesso a força da supervisão do especialista com base na capacidade real do modelo de resolver um problema específico, evitando a supressão da própria distribuição de raciocínio do modelo.
3. Robustez: O método é robusto em diferentes escalas de modelos e domínios de tarefas, mostrando ganhos significativos particularmente em benchmarks difíceis (ex: AIME, OlympiadBench) onde a imitação rígida falha.

Limitações Reconhecidas pelos Autores:

• Custo Computacional: O RASFT é mais caro que o SFT padrão devido à geração periódica e verificação de rollouts on-policy.
• Dependência de Verificação: O método depende de sinais de verificação automática confiáveis (ex: respostas finais para matemática, casos de teste para código). Estender isso para tarefas de raciocínio de texto aberto sem sinais claros de correção continua sendo um desafio.