Resumo Técnico: Verossimilhança Privilegiada Não é Automaticamente Valor

Declaração do Problema

Na autodestilação on-policy para modelos de linguagem de grande escala (LLMs), pesquisadores frequentemente tentam atribuir crédito ao nível de token usando informações "privilegiadas" disponíveis apenas durante o treinamento (ex: soluções de referência, críticas de hindsight ou feedback do ambiente) para reclassificar os próprios rollouts de um modelo. A hipótese central é que, se um token se torna mais provável quando condicionado a informações privilegiadas, ele representa um passo "correto" ou "útil".

No entanto, este artigo argumenta que uma mudança na verossimilhança do token (verossimilhança privilegiada) não é automaticamente equivalente ao crédito de resultado (valor de ação). Os autores identificam uma lacuna crítica: um escore de verossimilhança de token pode ser estruturalmente bem formado e ativo sem, de fato, rastrear o sucesso da tarefa ou induzir atualizações de parâmetros úteis. O artigo busca separar formalmente três questões distintas que são frequentemente confundidas em métodos existentes de autodestilação:

1. O escore rastreia o sucesso da tarefa?
2. Os rollouts são comparados sob uma regra de pontuação consistente?
3. Qual comportamento a perda de treinamento reforça?

Metodologia e Estrutura

Os autores propõem um framework formal para analisar a autodestilação privilegiada, distinguindo entre escores de verossimilhança de token e valores de ação.

Definições Formais

• Escore de Verossimilhança Privilegiada ($d$): Mede como a probabilidade de um pontuador para um token $v$ muda quando o contexto de texto muda de um contexto base $c^-$ para um contexto privilegiado $c^+$ (ex: uma crítica).
  $$d(s, v) = \log q(v | s, c^+) - \log q(v | s, c^-)$$
• Valor de Ação ($Q^\pi_U$): O utilidade terminal esperada se o próximo token for definido como $v$ e a geração continuar sob a política $\pi$.

O artigo estabelece que $d$ e $Q^\pi_U$ não são inerentemente equivalentes. Para que $d$ represente $Q^\pi_U$, condições específicas (como equivalência positivo-afim) devem ser atendidas, o que não é garantido por feedbacks de texto livre.

Os Três Verificadores (The Three Checks)

A metodologia gira em torno de três perguntas diagnósticas específicas:

1. Q1: A preferência do professor rastreia o sucesso da tarefa?
   O artigo investiga se os tokens favorecidos pelo contexto privilegiado realmente levam a melhores resultados finais. Ele distingue entre correção de ranking e a identificação do valor específico de uma ação de token. Os autores provam que razões de verossimilhança só representam crédito principado se as variáveis de condicionamento forem condicionais de resultado coerentes derivadas de uma distribuição conjunta, o que críticas de texto livre frequentemente não são.

2. Q2: Os rollouts são comparados sob a mesma regra de pontuação?
   Os autores destacam um problema de "autodepedência": se um rollout $Y$ gera seu próprio feedback $C(Y)$, e $Y$ é então pontuado por $C(Y)$, o escore mede tanto a qualidade da solução quanto o quão bem $Y$ corresponde à sua própria descrição. Para abordar isso, eles introduzem o cross-fitting, onde o feedback é gerado de um outro rollout do mesmo problema (um doador) para pontuar o rollout alvo. Isso remove a autodepedência direta, mas não garante que o escore seja útil.

3. Q3: Qual comportamento a perda de treinamento reforça?
   Mesmo que um escore rastreie o sucesso, a perda de treinamento determina como esse escore atualiza o modelo. O artigo analisa como diferentes funções de perda (ex: Forward KL, Reverse KL, recompensas limitadas) transformam escores de token em gradientes de parâmetros. Eles demonstram que invariantes escalares (como preservar o sinal ou o peso total de um escore) não garantem uma direção de atualização de parâmetro útil, especialmente quando o modelo está confiante em um token.

Configuração Experimental

• Modelo: gpt-oss-20b (20 bilhões de parâmetros).
• Dataset: AIME 2025 (problemas da Mathematical Association of America).
• Geração de Feedback: Um juiz LLM externo lê o problema, a solução de referência, o resultado do verificador e o traço completo para escrever uma explicação "útil" ($C^+$) e uma contraparte "plausível, mas incorreta" ($C^-$).
• Pontuação (Scoring): Um checkpoint congelado ou anterior do modelo calcula as diferenças de verossimilhança de token baseadas nesses textos de feedback.
• Variantes de Treinamento: O estudo compara um controle de apenas resultado (usando apenas rótulos de correção final) contra cinco variantes que incorporam escores de token (variantes aditivas com ponderação de entropia, clipping de fonte e variantes regularizadas por KL).

Principais Resultados

Os experimentos fornecem evidências concretas de que escores de verossimilhança privilegiada frequentemente falham em agir como um crédito de resultado útil neste cenário.

1. Resultados de Q1 (Rastreamento de Sucesso):

   • O escore de token aditivo implementado performou próximo ao acaso na distinção entre trajetórias corretas e incorretas.
   • AUC (Área Sob a Curva): 0.505 (95% CI: [0.483, 0.524]), o que é estatisticamente indistinguível de um chute aleatório (0.5).
   • Após ajustar pela extensão da resposta, o escore favoreceu levemente trajetórias incorretas (AUC = 0.474).
   • Os resíduos de professor de um lado só foram negativos para ambos os rollouts (corretos e incorretos), indicando que o professor reduz a pontuação de ambos, apenas menos para os corretos.

2. Resultados de Q2 (Construção de Feedback):

   • Remover a autodependência via cross-fitting (feedback retido) não melhorou a capacidade do escore de rastrear resultados. O AUC para o feedback mascarado retido permaneceu próximo ao acaso (0.512 bruto, 0.485 ajustado por comprimento).
   • Escores derivados do "próprio rollout" de feedback pareceram mais fortes (AUC ~0.588), mas mostraram-se autodependentes, medindo a correspondência entre a solução e sua própria crítica, em vez de utilidade objetiva.

3. Resultados de Q3 (Comportamento de Treinamento):

   • Degradação de Performance: Todas as cinco variantes de treinamento com escore de token subperformaram significativamente o controle de apenas resultado.
   • Lacuna de Acurácia: O controle de apenas resultado alcançou 64.2% de acurácia (avg@4). As variantes com escore de token alcançaram acurácias variando de 24.2% a 33.9%, representando uma queda de performance de 30.4 a 40.0 pontos percentuais em relação ao controle.
   • Mecanismo: As variantes de escore de token moveram-se para uma maior entropia de token e maior divergência KL da política de referência, enquanto o controle de apenas resultado melhorou a acurácia sem esses deslocamentos. Os escores de token pareceram reforçar tokens irrelevantes de alta entropia em vez de passos de raciocínio corretos.

Principais Contribuições

1. Distinção Formal: O artigo fornece um framework formal separando escores de verossimilhança de token de valores de ação, provando que mudanças de verossimilhança não implicam automaticamente crédito de resultado.
2. Framework de Três Verificadores: Organiza a avaliação da autodestilação privilegiada em três verificações distintas (rastreamento de sucesso, construção de feedback e comportamento de perda), demonstrando que passar em uma não implica passar nas outras.
3. Provas Teóricas:
   • Prova que o termo de informação mútua condicional na decomposição forward-KL é constante em relação ao estudante sob alvos fixos, o que significa que não é um gradiente de tarefa.
   • Demonstra que preservar o sinal escalar ou o peso total dos escores de token não preserva o gradiente de parâmetro esperado.
4. Demonstração Empírica: Usando experimentos pareados no AIME 2025, o artigo mostra que um sinal de verossimilhança privilegiada estruturalmente sólido pode ser ativo e, ainda assim, fornecer utilidade nula ou negativa, levando a uma degradação significativa de performance comparado ao treinamento de apenas resultado.

Significância e Alegações

O artigo afirma que verossimilhança privilegiada não é automaticamente valor. Os autores enfatizam que tratar um sinal de verossimilhança como crédito requer validação rigorosa de:

• Se o escore realmente correlaciona com o sucesso da tarefa.
• Se a construção do feedback evita loops de autodependência.
• Se a função de perda específica reforça o comportamento desejado.

Os autores afirmam modestamente que estes resultados não provam que todos os métodos de autodestilação falham, mas sim que o mecanismo específico de usar verossimilhança privilegiada como um sinal direto de crédito é frágil e frequentemente ineficaz sem passar pelos três verificadores. Os achados sugerem que métodos bem-sucedidos devem validar explicitamente o alinhamento entre o sinal de verossimilhança e o resultado da tarefa, em vez de assumir que a preferência do professor sob hindsight é um proxy para contribuição.

O artigo conclui que, embora as distinções formais se apliquem genericamente, os resultados numéricos são específicos para a configuração gpt-oss-20b e AIME 2025. No entanto, os modos de falha identificados (autodependência, desalinhamento de gradiente induzido pela perda e falta de rastreamento de resultado) servem como diagnósticos críticos para pesquisas futuras em autodestilação on-policy.