Resumo Técnico: Destilação On-Policy com Seleção de Rollouts do Professor por Melhor de N (BRTS)

1. Declaração do Problema

A destilação on-policy (OPD) emergiu como um método pós-treinamento eficiente em dados para Modelos de Linguagem de Grande Escala (LLMs), onde um modelo estudante é supervisionado em suas próprias trajetórias amostradas utilizando os log-probabilidades por token do professor. Embora a OPD mitigue o viés de exposição ao alinhar a supervisão com os estados que o estudante realmente visita, implementações padrão sofrem com sinais de supervisão de alta variância.

A limitação central identificada é dupla:

1. Contextos de Estudante Ruidosos: A supervisão é computada em prefixos gerados por um estudante imperfeito, que pode desviar para estados de raciocínio ruidosos onde o feedback local do professor é menos informativo.
2. Rollouts Estocásticos do Professor: A OPD padrão geralmente depende de um único rollout do professor por prompt. Como o professor é estocástico, uma única trajetória amostrada pode estar incorreta, ser pouco informativa ou estar mal alinhada com o comportamento de raciocínio atual do estudante. Isso resulta em orientação pouco confiável, particularmente em prompts difíceis onde as amostras de saída do professor variam significativamente em correção e estilo.

Consequentemente, a OPD padrão corre o risco de propagar sinais de professor errôneos ou falhar em expor o estudante a caminhos de raciocínio completos e corretos, limitando sua eficácia em benchmarks de raciocínio desafiadores.

2. Metodologia: Framework BRTS

Os autores propõem o BRTS (Seleção de Rollouts do Professor por Melhor de N), um framework projetado para curar trajetórias de professores confiáveis antes de serem usadas para supervisão dentro do loop de OPD. O BRTS amplia a destilação padrão de contexto de estudante com um ramo de supervisão de contexto do professor construído a partir de uma trajetória de professor selecionada e de alta qualidade.

2.1 Curadoria de Trajetórias Consciente de Correção e Alinhamento

Para cada prompt, o BRTS amostra um conjunto de $N$ rollouts do professor sem condicionamento ($\{y_{T,i}\}_{i=1}^N$). O processo de seleção segue uma hierarquia de prioridades:

1. Prioridade 1: Correção. O sistema filtra rollouts onde a resposta final extraída corresponde à verdade fundamental ($y^*$).
2. Prioridade 2: Alinhamento com o Estudante. Se múltiplos rollouts corretos existirem, o BRTS seleciona aquele com a maior sobreposição em nível de token com o conjunto de $K$ melhores candidatos do estudante. Isso garante que a trajetória selecionada seja compatível com a distribuição de raciocínio atual do estudante.
3. Recuperação Guiada pela Verdade Fundamental (Nível 2). Se todas as amostras do professor sem condicionamento falharem (ou seja, nenhuma estiver correta), o BRTS invoca um passo de recuperação. Ele constrói um prompt modificado que injeta silenciosamente a resposta da verdade fundamental como um sinal de validação, enquanto instrui o professor a produzir uma derivação natural. Um novo rollout é amostrado; se estiver correto, é selecionado. Se isso também falhar, o sistema recua para o rollout sem condicionamento com a maior sobreposição com o estudante.

2.2 Supervisão de Contexto do Professor

O objetivo de treinamento combina dois componentes de perda:

• Perda de Contexto do Estudante ($L_{stu-ctx}$): O objetivo padrão de OPD, minimizando a divergência KL reversa entre as distribuições do estudante e do professor condicionadas ao prefixo gerado pelo estudante. Isso corrige o estudante nos estados que ele realmente visita.
• Perda de Contexto do Professor ($L_{tea-ctx}$): Uma perda auxiliar computada na trajetória de professor selecionada ($y'$). Aqui, ambas as distribuições do estudante e do professor são condicionadas ao prefixo do professor. Isso expõe o estudante a um caminho de raciocínio coerente e correto que pode estar fora da região de alta probabilidade atual do estudante.

A perda total é definida como:
$$L_{total} = L_{stu-ctx} + \lambda L_{tea-ctx}$$
onde $\lambda$ é um coeficiente de ponderação (definido empiricamente como 10).

2.3 Direção dos $K$ Melhores Candidatos

Para implementar essas perdas de forma eficiente, o BRTS utiliza agregação dos $K$ melhores:

• Para o ramo de contexto do estudante, o conjunto de tokens candidatos é derivado dos $K$ melhores tokens do estudante sob o prefixo do estudante.
• Para o ramo de contexto do professor, o conjunto candidato é derivado dos $K$ melhores tokens do professor sob o prefixo do professor selecionado. Isso permite que o ramo auxiliar supervise tokens preferidos pelo professor que o estudante pode não considerar atualmente, mantendo um conjunto candidato compacto.

3. Contribuições Principais

O artigo resume suas contribuições da seguinte forma:

1. Identificação de Supervisão de Alta Variância: Os autores destacam que a supervisão padrão de contexto do estudante na OPD é limitada por prefixos de estudantes ruidosos e rollouts estocásticos do professor, tornando o sinal do professor pouco confiável em prompts difíceis.
2. Introdução do BRTS: Um framework leve para selecionar e destilar trajetórias de professores confiáveis. Ele emprega uma regra de seleção "correção primeiro, alinhamento segundo" e inclui um fallback guiado pela verdade fundamental para amostras sem condicionamento falhas.
3. Melhoria Empírica: O BRTS supera significativamente a OPD padrão em benchmarks de raciocínio difíceis. O artigo fornece análises diagnósticas demonstrando como a qualidade dos candidatos do professor, a cobertura de recuperação e as escolhas de backbones influenciam o desempenho.

4. Resultados Experimentais

Os experimentos foram conduzidos no AIME 2024, AIME 2025 e AMC 2023 usando um modelo estudante de 1,5B (DeepSeek-1.5B) e várias configurações de professores (JustRL-1.5B e DeepSeek-R1-Distill-Qwen-7B).

• Ganhos de Desempenho: O BRTS melhora consistentemente sobre a linha de base apenas estudante. Os ganhos são mais pronunciados no conjunto de dados mais difícil AIME 2025. Por exemplo, no AIME 2024, o uso de quatro candidatos de professores alcançou uma precisão média de 0,4000, comparado a 0,3917 para a linha de base.
• Impacto da Recuperação de Nível 2: O passo de recuperação guiado pela verdade fundamental (Nível 2) proporciona melhorias substanciais em prompts difíceis onde a amostragem sem condicionamento falha. No AIME 2025, adicionar o Nível 2 aumentou a precisão por votação majoritária de 0,2748 (apenas Nível 1) para 0,3133.
• Picos de Treinamento Precoce: O BRTS alcança um pico de desempenho mais alto nas etapas iniciais de treinamento em comparação com as linhas de base, sugerindo convergência mais rápida e um melhor trade-off entre computação e desempenho.
• Robustez: O método permanece eficaz ao trocar backbones de professores (por exemplo, usando um professor de 7B para um estudante de 1,5B) e não é frágil a perturbações leves de prompt, que na verdade ajudam a desconectar as amostras do professor.
• Custo Computacional: A sobrecarga é modesta; aumentar o conjunto de candidatos do professor de 1 para 2 adiciona aproximadamente 59 segundos por etapa de treinamento em 8×GPUs B200, o que é considerado aceitável dados os ganhos de desempenho.

5. Significado e Afirmações

O artigo afirma que o BRTS aborda um gargalo crítico na destilação on-policy: a falta de confiabilidade dos sinais estocásticos do professor em tarefas difíceis. Ao estruturar a supervisão do professor para ser tanto consciente de correção (filtrando erros) quanto consciente de alinhamento (correspondendo à distribuição do estudante), o BRTS transforma rollouts estocásticos do professor em supervisão estruturada e de alta qualidade.

Os autores posicionam o BRTS não como um substituto para a OPD, mas como um aumento necessário que permite aos estudantes aprender com caminhos de raciocínio completos e confiáveis sem incorrer no esquecimento catastrófico frequentemente associado ao ajuste fino supervisionado padrão ou à alta variância da OPD padrão. O método é apresentado como uma extensão escalável e leve que melhora as capacidades de raciocínio, particularmente em domínios onde respostas de verdade fundamental estão disponíveis para verificação.