💬 NLP

SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling

Este artigo introduz o Sign-Gated On-Policy Distillation (SG-OPD), um método que aprimora a destilação on-policy ao empregar um verificador binário para controlar os sinais do professor por meio de amostragem em fases e verificações de consistência de sinal, melhorando significativamente o desempenho em benchmarks de raciocínio matemático de nível de competição.

Autores originais: Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

Publicado 2026-06-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um jovem aprendiz (o Estudante) a resolver enigmas matemáticos complexos. Você tem um matemático mestre (o Professor) que conhece as respostas, mas o aprendiz está apenas começando e frequentemente se perde.

O artigo apresenta um novo método de ensino chamado SG-OPD. Para entender por que isso é especial, vamos observar os problemas dos métodos antigos e como o SG-OPD os resolve.

O Problema: Duas Maneiras pelas Quais os Métodos Antigos Falham

Anteriormente, pesquisadores tentaram duas abordagens principais, mas ambas tinham armadilhas ocultas:

O Problema do "Fantasma" (Descompasso de Trajetória):
Imagine que o aprendiz é tão novo que suas primeiras tentativas de resolver um enigma são completamente selvagens e erradas. Se você forçá-lo a copiar a solução perfeita do Mestre imediatamente, as instruções do Mestre não farão sentido para o aprendiz porque o ponto de partida dele é muito diferente. É como tentar ensinar cálculo a uma criança pequena mostrando a ela uma tese de doutorado. O "sinal" do professor é abafado pelo ruído porque o aluno está muito atrasado.
O Problema do "Conselho Ruim" (Confiabilidade do Token):
Mesmo quando o aprendiz está no caminho certo, o Mestre não é perfeito em cada etapa individual. Às vezes, o Mestre pode preferir uma palavra ou número específico que, na verdade, leva o estudante para longe da resposta correta, mesmo que o resultado final pareça ok. Se o estudante copiar cegamente cada movimento do Mestre, ele pode aprender a tomar um caminho errado apenas porque o Mestre disse para fazer aquilo, para só depois perceber que era um beco sem saída.

A Solução: SG-OPD (O Treinador Inteligente)

Os autores propõem o SG-OPD, que atua como um treinador inteligente que usa um Verificador Binário (um simples verificador de "Correto/Incorreto") para decidir quando confiar no Mestre e quando ignorá-lo. Isso acontece em duas etapas:

1. A Fase de Aquecimento: "A Rede de Segurança" (Amostragem de Professor em Fases)

A Metáfora: Quando o aprendiz está apenas começando (o "início a frio"), ele está vagando no escuro. O treinador traz alguns exemplos verificados do caderno do Mestre — apenas aqueles que o verificador diz serem definitivamente corretos.
Como funciona: No início, o estudante aprende com esses exemplos seguros e verificados do Mestre para ganhar base. À medida que o estudante melhora, o treinador para gradualmente de mostrar as notas do Mestre e o força a praticar por conta própria. Isso preenche a lacuna entre as tentativas desordenadas iniciais do aluno e a lógica perfeita do Mestre.

2. A Fase Passo a Passo: "O Sinal de Confiança" (Portão de Consistência de Sinal)

A Metáfora: Agora o estudante está resolvendo problemas por conta própria. O treinador observa cada palavra (token) que o estudante escreve.
- Cenário A (Acordo): O estudante escreve um passo, o verificador "Correto/Incorreto" diz "Bom trabalho!" (sinal positivo) e o Mestre também diz "Bom trabalho!" (sinal positivo).
  - Ação: O treinador grita: "Vá em frente!" e diz ao estudante para amplificar esse passo ainda mais. Isso é chamado de Extrapolação.
- Cenário B (Conflito): O estudante escreve um passo, o verificador diz "Bom trabalho!" (sinal positivo), mas o Mestre diz "Eu não gosto dessa palavra, mude-a" (sinal negativo).
  - Ação: O treinador diz: "Espere, não ouça o Mestre aqui." O estudante ignora o feedback negativo do Mestre sobre este passo específico e mantém a direção que o verificador aprovou. Isso é chamado de Interpolação.

Por Que Funciona Melhor

O artigo testou isso em competições matemáticas difíceis (como AIME e HMMT). Aqui está o que eles descobriram:

Melhores Pontuações: O SG-OPD superou consistentemente os métodos padrão. Em média, ele melhorou a "taxa de aprovação" (obter a resposta correta pelo menos uma vez) por uma margem significativa em comparação ao método antigo.
Estabilidade: Quando os pesquisadores tentaram tornar os métodos antigos "mais agressivos" (empurrando o estudante para aprender mais rápido), os métodos antigos colapsaram e falharam. O SG-OPD, no entanto, permaneceu estável e continuou melhorando porque sabia exatamente quando confiar no Mestre e quando ignorá-lo.
Sem "Colapso": Em alguns treinamentos de IA, forçar demais faz o modelo parar de explorar e apenas repetir as mesmas respostas entediantes. O SG-OPD conseguiu pontuações altas enquanto ainda mantinha o processo de pensamento do estudante diverso e criativo.

Resumo

SG-OPD é uma estratégia de ensino que usa um verificador "Correto/Incorreto" para agir como um filtro. Ele usa o conhecimento do Mestre para fazer o estudante começar com segurança, mas usa o verificador para decidir, passo a passo, se o conselho do Mestre é realmente útil ou se está levando o estudante pelo caminho errado. Isso permite que o estudante aprenda de forma mais rápida e precisa do que antes.

Resumo Técnico: Destilação On-Policy com Portão de Sinal (SG-OPD)

1. Definição do Problema

O artigo aborda as limitações da Destilação On-Policy (OPD), uma técnica onde um modelo estudante é treinado em suas próprias trajetórias usando supervisão densa por token de um modelo professor mais forte. Embora a OPD frequentemente supere a destilação off-policy e o aprendimento por reforço (RL) padrão, os autores identificam que sua eficácia depende de duas suposições implícitas que frequentemente falham na prática, particularmente em cenários de forte-para-fraco (ex: destilar um modelo de raciocínio grande para um menor):

Alinhamento Frágil de Trajetória: Em cenários de cold-start, os rollouts de um estudante fraco frequentemente residem longe do suporte de trajetória do professor. Consequentemente, o sinal de reverse-KL (o núcleo da OPD) é dominado por ruído em vez de supervisão informativa, levando a um treinamento instável no início.
Confiabilidade Não Uniforme por Token: Mesmo em rollouts verificados como corretos por um verificador externo, as preferências do professor por token podem contradizer a direção "correta pelo verificador". O professor pode atribuir baixa probabilidade a tokens que são, de fato, necessários para um caminho de solução válido. Amplificar cegamente o gradiente de reverse-KL nesses tokens penaliza trajetórias válidas.

2. Metodologia: SG-OPD

Os autores propõem a Destilação On-Policy com Portão de Sinal (SG-OPD), um framework que utiliza um verificador binário como um sinal de confiança para o professor em dois níveis complementares de granularidade: nível de amostra e nível de token.

A. Nível de Amostra: Amostragem de Professor em Fases (PTS)
Para abordar a falha de alinhamento de trajetória no cold-start, a SG-OPD introduz uma perda auxiliar baseada em rollouts do professor verificados.

Mecanismo: Durante os estágios iniciais do treinamento, o mini-lote é dividido. Uma fração de prompts é amostrada do professor ( $\pi^*$ ), e apenas as trajetórias verificadas como corretas são retidas. Estas servem como uma "âncora" via perda de Entropia Cruzada (CE).
Animação (Annealing): Esta orientação do professor é ponderada por um cronograma de cosseno de três fases ( $\alpha(t)$ ). Ela começa alta durante o cold-start para reduzir a lacuna de distribuição e decai para zero, garantindo que a distribuição assintótica de treinamento permaneça totalmente on-policy (gerada pelo estudante).

B. Nível de Token: Portão de Consistência de Sinal
Para abordar a falha de confiabilidade por token, a SG-OPD roteia as atualizações com base no acordo entre o sinal de resultado do verificador e o sinal de preferência do professor.

Sinais:
- $a_1(t)$ : A vantagem ao nível de resultado de um verificador binário (ex: estilo GRPO), indicando se a trajetória está correta.
- $a_2(t)$ : A vantagem de reverse-KL do professor (sinal de OPD).
O Portão: Um portão binário $g_t$ $g_{t}$ é definido como $1[a_1(t) \cdot a_2(t) > 0]$ $1 [a_{1} (t) \cdot a_{2} (t) > 0]$ .
- Tokens de Consenso ( $g_t=1$ ): O verificador e o professor concordam sobre a direção. Estes tokens passam por extrapolação (atualização amplificada) usando uma força de extrapolação mais alta ( $\lambda_{high}$ ).
- Tokens de Conflito ( $g_t=0$ ): Os sinais discordam (ex: o professor suprime um token que leva a uma resposta correta). Estes tokens passam por interpolação (atualização suavizada) ou são mascarados, evitando que o estudante seja afastado de soluções verificadas.
Estabilidade: Um peso de clipping desconectado (detached clipping) é aplicado para evitar que vantagens discrepantes dominem o gradiente.

O objetivo final combina a perda de gradiente de política com portão ao nível de token com a perda de âncora de professor por amostragem em fases.

3. Principais Contribuições

Identificação de Modos de Falha: O artigo identifica e analisa explicitamente dois limites estruturais da OPD: a fragilidade do alinhamento de trajetória no cold-start e a confiabilidade não uniforme das preferências do professor mesmo em trajetórias corretas.
Framework SG-OPD: A proposta de um framework de duas granularidades que trata um verificador binário como um sinal de confiança. Ele combina Amostragem de Professor em Fases para estabilizar o cold-start e o Portão de Consistência de Sinal para extrapolar ou interpolar seletivamente as atualizações de tokens com base no acordo de sinal.
Validação Empírica: Experimentos extensos em benchmarks de raciocínio matemático de nível de competição demonstram que a SG-OPD supera consistentemente a OPD padrão e as variantes extrapoladas (ExOPD), particularmente em regimes onde a extrapolação uniforme causa colapso no treinamento.

4. Resultados Experimentais

Experimentos foram conduzidos usando Qwen3-1.7B como estudante e Qwen3-4B-Non-Thinking-RL-Math (passo 500) como professor, avaliados em quatro benchmarks: AIME24, AIME25, HMMT25-Feb e HMMT25-Nov.

Ganhos de Desempenho: A SG-OPD alcançou as pontuações médias mais altas em todas as métricas.
- avg@32: 29,53% (um aumento de +1,98 sobre a OPD e +1,54 sobre a ExOPD).
- pass@32: 59,17% (um aumento de +7,50 sobre a OPD e +5,00 sobre a ExOPD).
Estudos de Ablação:
- O Portão de Consistência de Sinal foi encontrado para ampliar a "faixa segura" para a força de extrapolação. Enquanto a extrapolação uniforme (ExOPD) colapsou em altos $\lambda$ (ex: $\lambda=1,8$ ), a SG-OPD manteve ou melhorou o desempenho na mesma força.
- A PTS sozinha melhorou o desempenho sobre a OPD, mas a combinação de PTS e o Portão de Sinal gerou ganhos quase aditivos, confirmando sua ortogonalidade.
Dinâmica de Treinamento: A SG-OPD alcançou recompensas de treinamento mais altas e manteve uma entropia de política mais alta em comparação com a OPD e a ExOPD, indicando que o mecanismo de portão amplifica o consenso sem colapsar a exploração.

5. Significância e Alegações

O artigo afirma que a SG-OPD fornece uma abordagem mais robusta e estável para a destilação on-policy ao lidar explicitamente com o desalinhamento entre as trajetórias do estudante e as preferências do professor.

Sinal de Confiança: Demonstra que um verificador binário pode servir como um sinal de confiança confiável para o professor, permitindo que o modelo "recue" onde o professor é não confiável (tokens de conflito) e "avance" onde eles concordam (tokens de consenso).
Estabilidade: O método permanece estável em forças de extrapolação que fazem os métodos de extrapolação uniforme divergirem, efetivamente transformando regimes "não treináveis" em regimes de alto desempenho.
Escopo: Os autores observam que a validação atual é limitada ao raciocínio matemático com verificadores binários. Eles sugerem que a abordagem se generaliza para outras tarefas de estilo verificador (ex: código com testes unitários), mas reconhecem que certificados de nível de processo (verificação passo a passo) seriam uma extensão necessária para tarefas onde o passo intermediário é útil, mas a resposta final está errada.

O trabalho é apresentado como uma melhoria metodológica ao pipeline de destilação, oferecendo uma solução para modos de falha estruturais específicos observados em configurações de destilação forte-para-fraco.