🤖 AI

DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

O artigo apresenta o DASH (Divergence-Adaptive Supervision Horizons), um método que aprimora a autodestilação on-policy para modelos de raciocínio ao ajustar adaptativamente os pesos de supervisão ao nível de token com base na evolução temporal das divergências entre professor e aluno, melhorando assim o desempenho em benchmarks matemáticos sem exigir passagens de ida adicionais.

Autores originais: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Publicado 2026-08-07

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores estão aprendendo a resolver quebra-cabeças complexos, como problemas matemáticos avançados ou escrita de código de computador, praticando repetidamente. Este campo é chamado de Aprendizado por Reforço (Reinforcement Learning), onde o computador (o "aluno") tenta diferentes respostas e recebe um simples "sim" ou "não" ao final para ver se estava certo. O problema é que, se o aluno percorre um caminho longo e sinuoso para chegar lá, esse único "sim" ou "no" não diz quais passos específicos foram bons e quais foram ruins. É como receber um "B" em um exame final sem saber quais questões você errou. Para corrigir isso, pesquisadores usam um truque chamado "Auto-destilação On-Policy". Pense nisso como o aluno pedindo a um "professor privilegiado" (que conhece o gabarito secreto) para avaliar cada passo da jornada do aluno conforme ele avança. Isso fornece ao aluno um fluxo denso de feedback em vez de apenas um no final. Mas há um detalhe: a maneira padrão de usar esse professor trata cada passo de feedback exatamente da mesma forma, como se um erro cometido no início fosse tão importante quanto um erro cometido no final, independentemente de como o desempenho do aluno estava mudando ao longo do caminho.

Este artigo introduz um novo método chamado DASH (Divergence-Adaptive Supervision Horizons) para corrigir esse ponto cego. Os pesquisadores descobriram que a abordagem padrão é muito rígida; ela não presta atenção na história dos erros do aluno. Às vezes, um pequeno erro no início pode levar a um desastre total mais tarde, enquanto um erro semelhante mais tarde pode ser inofensivo. O DASH atua como um editor inteligente que observa toda a sequência de feedback. Se o aluno estiver se afastando do conselho do professor de uma forma que sugira um problema crescente, o DASH amplifica o peso desses sinais para corrigir o curso. Se o aluno estiver indo bem, ele diminui esses sinais. O artigo mostra que, ao fazer esses ajustes, o DASH ajuda o aluno a aprender muito mais rápido e melhor do que antes, melhorando suas pontuações de raciocínio matemático em diferentes tamanhos de modelos sem precisar de poder computacional extra ou de um professor mais inteligente.

O Problema: O Avaliador "Tamanho Único"

No mundo do treinamento de IA para raciocinar, temos um modelo aluno e um modelo professor. O aluno gera uma longa cadeia de pensamentos (um "rollout") para resolver um problema. O professor, que tem acesso à solução correta, observa o aluno e diz: "Ei, nesta palavra específica, você deveria ter escolhido esta outra palavra". Isso é chamado de supervisão ao nível de token.

O método padrão, chamado OPSD (On-Policy Self-Distillation), coleta todos esses pequenos sinais de "você está errado" do professor e os tira a média. É como um professor dando a um aluno um boletim onde cada erro conta exatamente o mesmo, não importa quando aconteceu.

Os autores perceberam que isso é um pouco absurdo. Imagine um aluno resolvendo um problema de matemática.

Cenário A: O aluno comete um pequeno erro de cálculo no passo 1, mas se corrige e o resolve no passo 2. A "divergência" (a lacuna entre aluno e professor) foi alta por um momento, mas depois desapareceu.
Cenário B: O aluno comete exatamente o mesmo pequeno erro no passo 1, mas continua piorando e piorando, entrando em uma espiral de erro até chegar a uma resposta completamente errada no passo 10.

No OPSD padrão, ambos os cenários recebem exatamente a mesma "penalidade" por aquele primeiro passo. O sistema não percebe que, no Cenário B, aquele primeiro erro foi o início de um desastre, enquanto no Cenário A, foi apenas um tropeço menor. O método padrão trata o erro local de forma isolada, ignorando o histórico de como o aluno se comportou até aquele momento e o futuro de onde esse erro poderia levar.

A Solução: DASH, o Treinador Adaptativo

Os autores propõem o DASH para dar ao sistema de avaliação uma memória e um senso de contexto. Em vez de apenas tirar a média dos erros, o DASH pergunta: "Como este erro específico se encaixa na história de toda a resposta?"

Aqui está como o DASH funciona, usando uma analogia simples:

Imagine que o aluno está caminhando por um caminho e o professor está segurando uma corda presa à cintura do aluno. A "divergência" é o quanto o aluno está se afastando do caminho ideal do professor.

Medindo a Lacuna: O DASH observa o quão longe o aluno está do professor em cada passo.
O Mecanismo de "Portão" (Gate): Em vez de apenas puxar o aluno de volta com a mesma força todas as vezes, o DASH usa um "portão" especial.
- Se o aluno estiver indo pior do que a média (a lacra está aumentando), o portão se abre amplamente. Isso significa que o feedback do professor para os passos futuros recebe um sinal mais forte para puxar o aluno de volta com força. Ele diz: "Ei, esta é uma tendência ruim! Precisamos prestar atenção extra para corrigir este caminho".
- Se o aluno estiver indo melhor do que a média (a lacuna é pequena), o portão se fecha um pouco. O feedback do professor ainda está lá, mas não grita tão alto porque o aluno já está no caminho certo.
Olhando para Trás: O DASH usa um truque inteligente chamado "agregação reversa" (backward aggregation). Ele começa no final da resposta e trabalha de volta para o início. Ele pergunta: "Se eu olhar para o fim deste caminho, o quanto este passo específico contribuiu para a bagunça (ou sucesso) final?" Ele então ajusta o peso do feedback para aquele passo com base no que aconteceu depois dele.

Isso cria um sistema dinâmico onde a "importância" de um erro não é fixa. Um erro que leva a uma longa sequência de erros recebe um peso pesado. Um erro que é corrigido rapidamente recebe um peso mais leve.

O Que Eles Descobriram

Os pesquisadores testaram essa ideia em três tamanhos diferentes de modelos de IA (1,7 bilhão, 4 bilhões e 8 bilhões de parâmetros) usando três benchmarks matemáticos difíceis (AIME 2024, AIME 2025 e HMMT Fevereiro 2025).

Os Resultados: O DASH consistentemente venceu o método padrão (OPSD) em todos os campos. Para o menor modelo (1.7B), a precisão média saltou de 41,87% para 45,07%. Para os modelos maiores, os ganhos também foram claros, com o modelo de 8B passando de 64,80% para 66,40%.
O "Porquê": Através de uma série de experimentos, eles provaram que a melhoria não foi apenas porque adicionaram mais "ruído" ou mudaram a matemática aleatoriamente. Eles testaram o que aconteceria se usassem um portão fixo (como o método antigo) versus um portão inteligente e variável. O portão inteligente (DASH) foi o vencedor. Eles também verificaram se a direção da lógica importava (por exemplo, devemos punir grandes lacunas mais ou menos?). Eles descobriram que sua lógica específica — punir grandes lacunas abrindo o portão mais amplamente para permitir mais correção — era a chave.
Eficiência: A melhor parte é que o DASH não precisa de um professor superinteligente ou de poder computacional extra. Ele apenas reutiliza a informação que o método padrão já estava calculando, mas a processa de uma forma mais inteligente. É como pegar um monte de dados brutos e organizá-los melhor, em vez de coletar mais dados.

A Conclusão

O artigo sugere que, ao ensinar a IA a raciocinar, não devemos apenas contar erros; devemos entender a história dos erros. Ao tornar a supervisão "adaptativa" — alterando o quanto ouvimos o professor com base em como o aluno está se saindo ao longo do tempo — podemos ajudar a IA a aprender de forma muito mais eficaz. O DASH mostra que um pouco de contexto faz muita diferença, transformando um sistema de supervisão rígido em um treinador flexível e inteligente que sabe quando ser rigoroso e quando ser condescendente.

Resumo Técnico: DASH - Horizontes de Supervisão Adaptativos à Divergência para Autodestilação On-Policy de Modelos de Raciocínio

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) melhorou as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) ao utilizar sinais automaticamente verificáveis (ex: correção da resposta). No entanto, o RLVR padrão baseia-se em recompensas esparsas ao nível da sequência, criando um desafio de "atribuição de crédito temporal", onde é difícil distinguir a contribuição das decisões individuais ao nível do token para o resultado final.

Para mitigar isso, a Autodestilação On-Policy (OPSD) foi introduzida. Na OPSD, um modelo estudante gera uma resposta, enquanto o mesmo modelo, condicionado a informações privilegiadas (como uma solução de referência), atua como um professor para fornecer supervisão distributiva densa ao nível do token.

A Limitação Central: Embora a OPSD alivie a esparsidade do sinal, o artigo identifica que a OPSD padrão ("vanilla") subutiliza a estrutura temporal do rollout. A OPSD vanilla agrega discrepâncias distributivas locais (divergências) usando coeficientes uniformes ( $1/T$ ) para cada token, independentemente de:

A posição do token.
O histórico de discrepâncias que levou até aquele token.

Os autores argumentam que, na geração autorregressiva, a mesma magnitude de divergência local pode ocorrer em contextos temporais vastamente diferentes (ex: após um longo histórico de raciocínio correto vs. após uma série de erros). Como a divergência escalar local sozinha não consegue distinguir esses contextos, a atribuição de um peso uniforme impede que o sinal de supervisão se adapte à sequência de discrepância realizada.

2. Metodologia: Horizontes de Supervisão Adaptativos à Divergência (DASH)

Para abordar a incapacidade da OPSD vanilla de se adaptar aos perfis de divergência temporal, os autores propõem o DASH. O método introduz um mecanismo para ajustar dinamicamente os pesos de supervisão ao nível do token com base em como as divergências locais evoluem durante a geração.

Componentes Principais

Gaps de Divergência Relativos à Sequência:
Em vez de usar valores de divergência local bruta ( $d_t$ ) diretamente, o DASH calcula o gap entre o sinal de destilação local e a média da sequência ( $\bar{r}$ ):
$g_t = r_t - \bar{r}$
onde $r_t$ é a divergência KL local truncada no passo $t$ .
Portões de Propagação Adaptativos ( $\lambda_t$ ):
Esses gaps são mapeados para portões de propagação adaptativos usando uma função sigmoide com um parâmetro de sensibilidade $\kappa$ :
$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$
- Lógica: Se a divergência local estiver abaixo da média da sequência ( $g_t < 0$ ), o portão $\lambda_t$ é maior, permitindo que sinais futuros se propaguem mais para trás. Se a divergência estiver acima da média ( $g_t > 0$ ), o portão é menor, restringindo a propagação. Isso cria um "horizonte de supervisão" que se adapta à sequência.
Agregação Multi-Passo para Trás (Backward):
O DASH substitui a agregação uniforme da OPSD vanilla por uma recursão para trás que constrói um sinal agregado dependente da trajetória ( $A_t$ ):
$A_T = r_T$
$A_t = r_t + \lambda_t A_{t+1} \quad \text{para } t = T-1, \dots, 1$
O loss final é a média desses sinais agregados:
$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$

Insight Estrutural

Os autores derivam uma decomposição de gradiente de horizonte fixo para o objetivo esperado, mostrando que o gradiente exato contém um termo de trajetória onde os coeficientes dependem de divergências futuras. Embora o DASH não estime explicitamente divergências futuras ou utilize gradientes de função de score, ele mimetiza essa estrutura dependente de ordem ao usar a sequência de discrepância realizada para condicionar os pesos do termo de destilação direta.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Identificação de uma Lacuna Temporal: Os autores caracterizam uma limitação na OPSD vanilla, onde a atribuição de pesos uniformes às divergências locais torna o objetivo invariante a diferentes arranjos temporais dos mesmos valores de divergência, impedindo a adaptação à estrutura temporal.
Proposta do DASH: Um novo método que utiliza gaps de divergência relativos à sequência para construir portões de propagação adaptativos. Isso permite que a supervisão de destilação densa explore a evolução temporal das discrepâncias locais através de agregação multi-passo.
Validação Empírica: Experimentos abrangentes em três benchmarks de raciocínio matemático (AIME 2024, AIME 2025, HMMT 2025) e três escalas de modelos (Qwen3-1.7B, 4B, 8B) demonstram que o DASH supera consistentemente as execuções correspondentes da OPSD vanilla e outros baselines de destilação recentes.

4. Resultados Experimentais

Os autores conduziram experimentos usando modelos Qwen3 Instruct (1.7B, 4B, 8B) em tarefas de raciocínio matemático.

Ganhos de Desempenho: O DASH alcançou as pontuações mais altas em todas as nove configurações de benchmark-modelo em comparação com os baselines (Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD).
- No Qwen3-1.7B, o DASH melhorou a acurácia média de 41.87% (OPSD) para 45.07% (+3.20 pontos).
- No Qwen3-4B, melhorou de 63.60% para 65.00% (+1.40 pontos).
- No Qwen3-8B, melhorou de 64.80% para 66.40% (+1.60 pontos).
Estudos de Ablação:
- Adaptativo vs. Fixo: Substituir os portões adaptativos por coeficientes fixos ( $\lambda$ ) melhorou o desempenho em relação à OPSD vanilla, mas permaneceu inferior ao DASH, confirmando que adaptar-se à sequência específica de discrepância é crucial.
- Direção do Portão: Reverter o sinal da função de portão (Gap Inverso) resultou em baixo desempenho, validando a hipótesa de design específica de que a propagação deve permanecer aberta após pequenas discrepâncias e ser restrita após grandes discrepâncias.
- Alocação de Coeficiente vs. Escala: Desvincular o perfil de coeficiente relativo da escala média mostrou que os principais ganhos vêm da alocação condicionada à discrepância, e não meramente de um aumento na escala geral de supervisão.
Escolhas de Design:
- Sensibilidade ( $\kappa$ ): Uma sensibilidade moderada ( $\kappa=5$ ) produziu os melhores resultados, equilibrando uma adaptação insuficiente e respostas excessivamente agudas.
- Métrica de Divergência: A divergência KL direta superou a JSD simétrica e a KL reversa.
- Suporte de Vocabulário: O suporte ao vocabulário total foi ideal; a compressão para os top-1 tokens causou quedas significativas de desempenho.

5. Significância e Alegações

O artigo afirma que o DASH oferece uma melhoria significativa na autodestilação on-policy ao alavancar a estrutura temporal das discrepâncias professor-aluno sem exigir overhead computacional adicional.

Eficiência: O DASH reutiliza as distribuições do professor e do aluno que já são computadas pela OPSD padrão. Ele não requer passagens forward adicionais do professor ou do aluno, tornando os ganhos computacionalmente eficientes.
Generalização: As melhorias foram consistentes através de diferentes escalas de modelos e benchmarks, sugerindo que o método não está confinado a capacidades ou datasets específicos.
Insight: O trabalho fornece novos insights sobre como a supervisão densa deve ser alocada em raciocínios de longo horizonte, indo além da ponderação uniforme para horizontes adaptativos e conscientes da sequência.

Os autores concluem que, ao adaptar os pesos ao nível do token à sequência de discrepância realizada, o DASH aborda efetivamente o desafio de atribuição de crédito temporal inerente às abordagens de RLVR e OPSD padrão.