Resumo Técnico: Aprendizado a partir de Feedback Linguístico via Destilação Variacional de Políticas

Declaração do Problema

O Aprendizado por Reforço a partir de Recompensas Verificáveis (RLVR) impulsionou avanços recentes nas capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) ao otimizar contra a correção objetiva e baseada em resultados. No entanto, os métodos padrão de RLVR (por exemplo, GRPO) dependem de sinais de resultado esparsos e binários (correto/incorreto). Essa esparsidade cria um gargalo severo de atribuição de crédito: um erro aritmético menor em uma derivação complexa recebe a mesma recompensa zero que uma alucinação completamente sem sentido. Consequentemente, algoritmos on-policy enfrentam gargalos extremos de exploração em problemas difíceis onde as taxas de sucesso iniciais estão próximas de zero, desperdiçando informações latentes em trajetórias de "quase-acerto".

Para abordar isso, métodos recentes de auto-destilação on-policy (por exemplo, SDPO, OPSD) utilizam feedback textual rico (por exemplo, erros de compilador, críticas automatizadas) para gerar supervisão densa em nível de token. No entanto, essas abordagens sofrem de uma falha crítica: tratam o "auto-professor" condicionado ao feedback como uma função fixa e passiva. O professor depende inteiramente de sua capacidade zero-shot para interpretar o feedback. À medida que a política do aluno melhora, a capacidade do professor de distinguir entre erros de raciocínio cada vez mais sutis estagna, pois ele nunca é explicitamente treinado para refinar sua interpretação diagnóstica. Isso leva a um efeito de teto onde o aluno é privado de gradientes significativos.

Metodologia: Destilação Variacional de Políticas (VPD)

Os autores propõem a Destilação Variacional de Políticas (VPD), um framework que formaliza o aprendizado a partir de feedback linguístico como um problema de Expectativa-Maximização (EM) Variacional. Diferentemente da destilação passiva, a VPD co-evolui tanto as políticas do aluno quanto do professor dentro de uma única rede neural com pesos compartilhados.

A Formulação Variacional

O framework trata a política ótima $\pi^*$ (a distribuição inclinada pela recompensa) como um alvo intratável. A VPD introduz uma rede professora parametrizada $q_\phi(y|x, C)$, condicionada a feedbacks diagnósticos densos $C$, para servir como uma posterior aproximada tratável para $\pi^*$. Essa formulação decompõe o treinamento em dois passos alternados:

1. Passo E (Refinamento do Professor):

   • Objetivo: Treinar ativamente o professor para interpretar feedback linguístico e aproximar a distribuição ótima inclinada pela recompensa.
   • Mecanismo: O professor é otimizado para distinguir entre trajetórias bem-sucedidas e falhas, dada a crítica textual. Como o feedback $C$ é único para cada trajetória, a otimização de preferência emparelhada padrão (como DPO) é inaplicável. Em vez disso, a VPD emprega Otimização de Classificador Binário (BCO), um framework de otimização de preferência não emparelhada.
   • Prior de Referência Dinâmica: Crucialmente, o professor não é ancorado a um modelo base estático. Para evitar deslocamento de distribuição e garantir que o professor permaneça um crítico útil para as capacidades atuais do aluno, a prior de referência é dinamicamente ancorada à política atual do aluno ($\pi_{ref} \leftarrow \pi_\theta$). Isso impõe uma região de confiança adaptativa, garantindo que a distribuição-alvo do professor permaneça alcançável pelo aluno.

2. Passo M (Otimização do Aluno):

   • Objetivo: Internalizar a orientação refinada e densa do professor na política do aluno não condicionada.
   • Mecanismo: O aluno minimiza a divergência KL em nível de token contra o professor atualizado $q_\phi$ em seus próprios rolos on-policy. Como o aluno opera sem o feedback privilegiado $C$ no momento da inferência, ele deve aprender implicitamente as correções de raciocínio descobertas pelo professor.

Arquitetura e Eficiência

• Rede de Pesos Compartilhados: Tanto o aluno ($\pi_\theta$) quanto o professor ($q_\phi$) são instanciados dentro de uma única rede ($\phi = \theta$). A distinção é puramente contextual: o professor é invocado ao anexar feedback diagnóstico $C$ ao prompt, enquanto o aluno depende exclusivamente da entrada $x$. Isso elimina a enorme sobrecarga de memória de paradigmas de múltiplos modelos.
• Atualizações Assimétricas: O framework suporta frequências de atualização assimétricas (por exemplo, múltiplos passos M por passo E), atuando de forma semelhante a uma rede-alvo em RL para estabilizar o processo de destilação.

Contribuições Principais

1. Formalização da EM Variacional: O artigo formaliza o aprendizado on-policy a partir de feedback linguístico como um procedimento de EM Variacional. Isso introduz uma atualização explícita do professor, consciente do feedback (ausente em métodos anteriores de auto-destilação), implementada via otimização de preferência não emparelhada (BCO).
2. Região de Confiança Dinâmica: Ao ancorar dinamicamente o professor à política atual do aluno, a VPD impõe uma região de confiança adaptativa que garante uma destilação KL on-policy estável, evitando os deslocamentos catastróficos de distribuição observados em métodos que usam priores estáticos.
3. Estudo Empírico Abrangente: Os autores avaliam a VPD em três fontes distintas de feedback diagnóstico:
   • Verificadores determinísticos de ambiente (LiveCodeBench).
   • Rolagens de irmãos contrastivos (SciKnowEval).
   • Auto-crítica autônoma via um juiz LLM.
4. Caracterização de Limites: O artigo testa rigorosamente o framework em cenários de início frio de modelos base e tarefas de raciocínio matemático rígido para estabelecer os limites fundamentais da auto-destilação impulsionada por feedback em comparação com o RL esparsopuro.

Resultados Experimentais

Avaliado em benchmarks que abrangem programação competitiva (LiveCodeBench), raciocínio científico (SciKnowEval) e raciocínio matemático (Math500, AIME), a VPD supera consistentemente o RLVR padrão (GRPO) e as bases de auto-destilação existentes (SDPO).

• Geração de Código (LiveCodeBench): A VPD alcançou uma taxa de aprovação state-of-the-art de 49,62% no Qwen3-8B, superando o GRPO (45,61%) e o SDPO (47,33%). O método manteve com sucesso uma margem de recompensa crescente entre respostas corretas e incorretas, enquanto o sinal de orientação do SDPO degradou-se ao longo do tempo.
• Raciocínio Científico (SciKnowEval): A VPD estabeleceu novos resultados state-of-the-art em múltiplos modelos (Qwen3-1.7B, 8B e OLMo3-7B). Por exemplo, no Qwen3-8B, a VPD alcançou 77,15% de precisão média comparada aos 74,44% do SDPO. Notavelmente, a VPD eliminou a degradação tardia no treinamento (queda na precisão de validação) frequentemente observada no SDPO e em bases híbridas.
• Auto-crítica: Mesmo ao usar auto-crítica autônoma (onde o modelo julga suas próprias falhas sem pares positivos), a VPD superou significativamente o SDPO (78,14% vs. 74,87% no Qwen3-8B).

Limites Fundamentais e Início Frio

O artigo identifica regimes específicos onde a auto-destilação luta em relação ao RL esparsopuro:

• Inícios Frios de Modelos Base: Quando aplicado a modelos base fundacionais (por exemplo, Qwen3-4B-Base) que carecem de alinhamento de seguimento de instruções, métodos de auto-destilação (incluindo VPD) lutam porque o modelo não consegue interpretar efetivamente o feedback diagnóstico. Embora a VPD atrase significativamente o colapso de treinamento observado no SDPO, o RL puro (GRPO permanece o paradigma mais eficaz para elicitar raciocínio emergente nesses cenários de início frio.
• Raciocínio Matemático: Em benchmarks matemáticos estritos (DAPO-Math, Math500), a VPD novamente atrasa o colapso de treinamento, mas acaba tendo desempenho inferior ao GRPO puro. Os autores hipotetizam que a natureza estrita e não permissiva das derivações matemáticas torna a auto-destilação vulnerável a "envenenamento" por orientação intermediária ruidosa ou imprecisa do professor, enquanto o RL esparsopuro encoraja uma exploração mais ampla para encontrar caminhos rigorosos.

Significado e Alegações

O artigo alega que a VPD representa uma mudança principial de tratar o feedback linguístico como um heurístico estático para tratá-lo como um componente aprendível e co-evolutivo do processo de otimização. Ao incorporar a auto-destilação dentro de um framework EM rigoroso com uma região de confiança dinâmica, a VPD extrai significativamente mais valor do feedback linguístico do que métodos passivos, oferecendo dinâmicas de otimização estáveis e ganhos de desempenho consistentes.

No entanto, os autores mantêm uma postura modesta em relação aos limites últimos da abordagem. Eles afirmam explicitamente que, embora a VPD mitigue as limitações da auto-destilação, o RL esparsopuro permanece o paradigma mais eficaz para os domínios lógicos mais desafiadores e para a inicialização de modelos base. O trabalho ilumina os limites fundamentais da auto-destilação impulsionada por linguagem, sugerindo que, embora seja uma ferramenta poderosa para refinar o raciocínio, ela pode não substituir totalmente o poder exploratório do RL baseado em resultados em todos os contextos.