Resumo Técnico: Fluxo Oculto Privilegiado para Autodestilação On-Policy

Declaração do Problema

A autodestilação on-policy (OPSD) é uma técnica para treinar modelos de raciocínio onde um modelo estudante amostra seus próprios rollouts e é supervisionado por um professor "privilegiado". Este professor possui a mesma arquitetura de modelo, mas é condicionado a informações adicionais, como uma solução de referência verificada, enquanto o estudante vê apenas o prompt do problema.

Os objetivos de OPSD existentes focam exclusivamente em alinhar a distribuição de saída (as probabilidades do próximo token) entre o estudante e o professor privilegiado. Embora isso alinhe as previsões finais, falha em supervisionar a computação interna que produz essas previsções. Especificamente, o contexto privilegiado influencia os estados ocultos intermediários e a trajetória desses estados através das camadas da rede. Os métodos atuais apenas restringem o cabeçalho de saída final, deixando o "fluxo oculto" — como as representações internas do modelo evoluem passo a passo ao longo do rollout — sem restrições. O artigo postula que destilar este processo interno poderia melhorar o desempenho do raciocínio sem alterar a configuração fundamental de treinamento on-policy.

Metodologia: Fluxo Oculto Privilegiado (PHF)

Os autores propõem o Privileged Hidden Flow (PHF), um método que aumenta o OPSD padrão ao destilar o movimento dos estados ocultos em vez dos estados em si.

Mecanismo Central

Em vez de forçar o vetor oculto do estudante $h^S_{\ell,t}$ a corresponder ao vetor do professor $h^T_{\ell,t}$ na mesma posição de token (correspondência ponto a ponto), o PHF combina as transições entre as posições de token.

1. Definição de Transição: Para um conjunto de posições geradas selecionadas $W = \{w_1, \dots, w_m\}$, a transição oculta local é definida como a diferença entre posições vizinhas: $\Delta h_{\ell,i} = h_{\ell, w_{i+1}} - h_{\ell, w_i}$.
2. Normalização: Estas transições são normalizadas para direções unitárias para focar na geometria do movimento, em vez da magnitude.
3. Componentes de Perda:
   • Perda de Direção ($L_{dir}$): Alinha a direção das transições do estudante com as transições do professor em cada camada.
   • Perda de Geometria ($L_{geo}$): Corresponde à matriz de Gram das direções de transição. Isso captura a estrutura relacional da trajetória (por exemplo, quais passos são paralelos, ortogonais ou opostos) em vez de coordenadas absolutas.
   • Relação de Camadas Adjacentes ($L_{adj}$): Calcula a relação entre as direções de transição em camadas adjacentes ($\ell$ e $\ell+1$) para garantir que a transformação do movimento através da profundidade seja consistente com o professor.

Invariâncias Estruturais

Uma contribuição teórica fundamental do PHF são suas propriedades de invariância, que abordam o problema do "drift representacional", onde as coordenadas ocultas mudam durante o treinamento:

• Invariância de Offset: A perda não é alterada se um offset constante for adicionado a toda a trajetória, tanto do estudante quanto do professor.
• Invariância de Escala: A perda é invariante à multiplicação escalar positiva das transições (antes da normalização).
• Invariância Ortogonal: O termo de geometria é invariante a transformações ortogonais independentes dos conjuntos de transição do estudante e do professor.

Estas propriedades permitem que o PHF supervisione a forma e a direção do processo de raciocínio sem exigir que o estudante e o professor ocupem exatamente os mesmos pontos no espaço oculto de alta dimensão.

Receita de Treinamento

• Fonte do Professor: O professor privilegiado é uma Média Móvel Exponencial (EMA) do estudante online, condicionado à solução de referência.
• Agregação: O método agrega a perda de transição através de todas as camadas, em vez de selecionar um subconjunto, e combina a perda de transição local com a relação de camada adjacente.
• Objetivo: A perda final é $L_{PHF} = L_{OPSD} + \alpha L_{Flow}$, onde o coeficiente $\alpha$ é fixo em 0.05 em todas as escalas.
• Restrições: O método utiliza uma janela fixa de 128 posições geradas para gerenciar a memória e não introduz modelos de recompensa, roteamento de correção ou rollouts adicionais.

Principais Contribuições

1. Objetivo de Transporte de Transição Privilegiada: Introduz uma nova perda que combina as transições de token para token normalizadas e sua geometria de trajetória, indo além da correspondência de estado ponto a ponto.
2. Caracterização Teórica: Prova que a perda de transporte possui invariâncias algébricas exatas para offsets de trajetória e transformações ortogonais, distinguindo-se da correspondência de estado oculto padrão.
3. Agregação de Todas as Camadas: Demonstra que a média da perda de transição sobre todas as camadas, combinada com uma relação de camada adjacente fixa, produz melhorias consistentes sem exigir seleção manual de camadas.
4. Validação Empírica: Valida a receita fixa em três escalas de modelo (Qwen3-1.7B, 4B e 8B) sob o protocolo oficial de raciocínio matemático OPSD.

Resultados Experimentais

Os autores avaliaram o PHF nos benchmarks AIME 2024, AIME 2025 e HMMT 2025 usando a métrica Average@12 (correção média sobre 12 amostras por problema).

• Ganhos de Desempenho: Sob um cronograma de treinamento fixo de 100 passos, o PHF melhorou o agregado Average@12 em relação à linha de base reproduzida do OPSD:
  • Qwen3-1.7B: +2.2 pontos (40.83 $\to$ 43.06)
  • Qwen3-4B: +1.5 pontos (61.89 $\to$ 63.39)
  • Qwen3-8B: +1.7 pontos (64.26 $\to$ 65.94)
• Consistência: Os ganhos foram positivos em todas as escalas e em quase todas as células individuais dos benchmarks.
• Estudos de Ablação:
  • Direção vs. Geometria: Nem as variantes de apenas direção, nem as de apenas geometria igualaram a receita completa do PHF em todas as escalas, indicando que ambos os componentes são necessários.
  • Seleção de Camadas: Um controle de "camadas selecionadas" (correspondendo a um pequeno subconjunto escolhido manualmente) teve um desempenho inferior à agregação de todas as camadas, apoiando a decisão de tirar a média através da profundidade.
  • Correspondência Ponto a Ponto: O artigo observa que a correspondência de estado oculto ponto a ponto é um controle de fronteira competitivo, mas é menos robusta ao drift representacional do que a abordagem baseada em transição.

Significância e Alegações

O artigo afirma que o PHF oferece uma melhoria modesta, mas significativa, ao quadro OPSD ao utilizar a informação privilegiada de forma mais estrutural.

• Supervisão ao Nível de Processo: A principal significância é demonstrar que as referências privilegiadas induzem um "processo oculto" específico (como o modelo se move através de seu próprio rollout) que pode ser destilado. O PHF captura este processo sem exigir que o estudante corresponda às coordenadas ocultas absoltas do professor.
• Compatibilidade de Implantação: Ao contrário de métodos que exigem modelos de recompensa ou verificadores externos no momento do teste, o PHF mantém a configuração de implantação OPSD: o modelo avaliado é o estudante online, e nenhuma informação privilegiada é necessária durante a inferência.
• Eficiência: O método adiciona apenas um coeficiente de perda escalar e uma janela de armazenamento de estado oculto, evitando o overhead computacional de rollouts adicionais ou mecanismos de roteamento complexos.
• Escopo das Alegações: Os autores são explícitos ao afirmar que sua evidência é limitada a uma receita fixa, uma família de modelos específica (Qwen3) e tarefas de raciocínio matemático. Eles não alegam que o ajuste de fluxo oculto melhora todos os aspectos do raciocínio (ex: qualidade da prova ou calibração) ou que é uma solução universal, mas sim que fornece um deslocamento positivo consistente quando aplicado à autodestilação on-policy.