Resumo Técnico: Destilação On-Policy Multi-Rollout via Sucessos e Falhas de Pares

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são frequentemente pós-treinados usando aprendizado por reforço com recompensas verificáveis (RLVR). Neste paradigma, soluções amostradas são pontuadas por verificadores de resposta, testes unitários ou verificadores específicos de tarefa. Embora eficazes, essas recompensas são tipicamente esparças: indicam se uma trajetória inteira teve sucesso ou falha, mas fornecem orientação limitada sobre quais tokens específicos ou etapas de raciocínio causaram o resultado.

A Destilação On-Policy (OPD) aborda a incompatibilidade de distribuição inerente à destilação offline, treinando o estudante em trajetórias amostradas de sua própria política, convertendo julgamentos do professor em sinais densos ao nível de token. No entanto, os métodos existentes de OPD sofrem de uma ineficiência crítica: tratam cada rollout independentemente. Quando múltiplos rollouts são gerados para o mesmo prompt, o sinal do professor para uma trajetória é computado sem acesso às outras tentativas amostradas do mesmo estudante. Este design descarta a estrutura local do grupo de rollouts. Para tarefas intensivas em raciocínio, essa estrutura local é altamente informativa; rollouts bem-sucedidos revelam estratégias de solução válidas, enquanto rollouts falhos expõem caminhos de raciocínio plausíveis, mas incorretos, restrições ausentes ou erros de execução. Tratar rollouts isoladamente impede que o professor compare alternativas para identificar onde uma trajetória mal-sucedida diverge de uma bem-sucedida.

Metodologia: Destilação On-Policy Multi-Rollout (MOPD)

Os autores propõem a Destilação On-Policy Multi-Rollout (MOPD), um framework de destilação condicionado a pares que utiliza explicitamente o grupo local de rollouts do estudante para construir sinais de professor mais informativos.

Mecanismo Central

Para cada prompt $x$, o estudante amostra um grupo de $N$ trajetórias on-policy, $Y(x) = \{y^{(i)}\}_{i=1}^N$. Estas são pontuadas por um verificador $R$ e particionadas em conjuntos de sucesso ($Y^+$) e falha ($Y^-$) com base em um limiar $\tau$.

Ao supervisionar um rollout alvo $y^{(i)}$, a MOPD condiciona a distribuição do professor $q_\phi$ não apenas ao prompt e ao prefixo do alvo, mas também aos rollouts de pares do mesmo grupo (excluindo o próprio alvo). A distribuição do professor torna-se:
$$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
onde $C_i(x)$ é o contexto de par construído a partir de $Y^+_{-i}(x)$ e $Y^-_{-i}(x)$.

Estratégias de Construção de Contexto de Par

O artigo investiga duas estratégias principais para construir $C_i(x)$:

1. Imitação de Pares Positivos: O professor é condicionado apenas às trajetórias de pares bem-sucedidas. Isso trata os rollouts bem-sucedidos como "especialistas de pares", fornecendo evidência positiva para padrões de raciocínio válidos e ancorando o estudante em múltiplos estilos de derivação válidos, em vez de uma única referência.
2. Condicionamento Contrastivo Sucesso–Falha: O professor é condicionado tanto às trajetórias de pares bem-sucedidas quanto às falhas. Pares bem-sucedidos indicam a que o alvo deve se assemelhar, enquanto pares falhos servem como evidência negativa estruturada, identificando caminhos de solução enganosos a serem evitados. Essa abordagem contrastiva ajuda o professor a distinguir entre trajetórias corretas e incorretas superficialmente semelhantes, particularmente em tarefas com recompensas terminais esparsas.

O objetivo de treinamento minimiza a divergência (KL Reverso para matemática, Jensen-Shannon para outros) entre a distribuição do estudante e a distribuição do professor condicionada a pares ao longo da sequência de tokens.

Contribuições Principais

1. Inovação de Framework: A MOPD é o primeiro framework a condicionar explicitamente o professor ao espaço local de tentativa e erro de um grupo multi-rollout de um estudante, transformando a supervisão de trajetória independente em um processo de aprendizado comparativo.
2. Utilização de Evidência Dual: O método aproveita tanto pares bem-sucedidos (evidência positiva) quanto pares falhos (evidência negativa). Os autores demonstram que pares falhos não são meramente ruído, mas fornecem sinais estruturados sobre erros plausíveis, restrições e erros de formatação.
3. Análise de Qualidade do Sinal: O artigo introduz uma análise direta da qualidade do sinal do auto-professor, medindo o quão bem diferentes construções de contexto alinham as pontuações do professor com recompensas de verificador de verdade fundamental. Isso evita confusões associadas a testes simples de recuperação de resposta.
4. Validação Empírica: Experimentos extensivos em programação competitiva, raciocínio matemático, QA científica e uso de ferramentas demonstram melhorias consistentes sobre baselines on-policy padrão (GRPO, SDPO).

Resultados Experimentais

Os autores avaliaram a MOPD em quatro famílias de tarefas:

• Raciocínio Matemático (AIME2024/2025, HMMT25): A MOPD melhorou substancialmente o mean@8 em comparação com a SDPO. Notavelmente, a SDPO, que depende de feedback rico do ambiente, teve desempenho inferior em tarefas matemáticas onde apenas recompensas binárias de verificador estão disponíveis, enquanto a supervisão aumentada por pares da MOPD provou ser altamente eficaz.
• Programação Competitiva (LiveCodeBench v6): A MOPD alcançou resultados state-of-the-art entre os métodos comparados, atingindo 61,82 mean@8 e 67,23 pass@8 no Qwen3-8B, superando a SDPO e a GRPO.
• Science QA e Uso de Ferramentas: A MOPD alcançou o melhor desempenho em todos os subdomínios (Biologia, Química, Física, Materiais) e benchmarks de uso de ferramentas.

Principais Descobertas da Análise

• Superioridade de Contexto Misto: O contexto "2 Sucessos + 1 Falha" consistentemente alcançou o maior alinhamento com recompensas de verificador em métricas de classificação (Spearman, Kendall's $\tau$) e discriminação (Precisão Pares, AUC de Sucesso).
• Papel das Falhas: Embora pares bem-sucedidos sejam o principal motor da qualidade do sinal, adicionar um par falho a um contexto apenas de sucesso afina significativamente as fronteiras de decisão (por exemplo, aumentando a Precisão Pares de 0,32 para 0,40).
• Diversidade: A MOPD gera soluções com diversidade lexical (Distinct-1/2) e estrutural (distância Jaccard AST) significativamente maior em comparação com as baselines, sugerindo que o condicionamento a pares encoraja a exploração de diversas estratégias de solução.
• Eficiência: A sobrecarga computacional da MOPD é modesta, com o tempo total por passo aumentando apenas 9,1% no LiveCodeBench e 33,3% no Science QA em comparação com a SDPO.

Significado e Alegações

O artigo argumenta que a destilação on-policy eficaz deve explorar o comportamento de tentativa e erro multi-rollout do estudante, em vez de tratar rollouts como amostras isoladas. Ao condicionar o professor aos sucessos e falhas de pares, a MOPD transforma o professor em um modelo de diagnóstico local capaz de reconhecer erros específicos da instância e distinguir falhas plausíveis de soluções corretas.

Os autores afirmam que os ganhos surgem de uma supervisão mais fiel e adaptativa à instância. O contexto misto de sucesso–falha alinha melhor as pontuações do professor com recompensas de verificador, indicando que o método aproveita com sucesso a informação estruturada disponível dentro de um único grupo de amostragem. Essa abordagem preenche a lacuna entre aprendizado por reforço (que usa vantagens relativas ao grupo) e destilação (que usa supervisão ao nível de token), oferecendo um caminho para melhorar as capacidades de raciocínio em modelos menores sem a necessidade de professores externos maiores ou modelagem de recompensa complexa.

O trabalho conclui que, embora o condicionamento a pares introduza um comprimento de contexto adicional, as melhorias resultantes em correção, diversidade e estabilidade de treinamento justificam o custo, particularmente em domínios onde recompensas verificáveis estão disponíveis, mas são esparsas.