Resumo Técnico: Auto-Distilação com Portão Condicionada por Habilidades para Raciocínio de LLM

1. Declaração do Problema

O raciocínio de Modelos de Linguagem Grandes (LLM) é frequentemente aprimorado por meio de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), como a Otimização de Política Relativa em Grupo (GRPO). Embora o RLVR exija apenas um verificador e nenhuma anotação em nível de token, ele sofre com sinais de recompensa esparsos, atrasados e quase uniformes em todas as trajetórias de raciocínio. A auto-distilação (SD) on-policy aborda isso ao utilizar um contexto "professor" mais forte para fornecer supervisão densa em nível de token. No entanto, os métodos de SD existentes geralmente dependem de informações privilegiadas (PI) confiáveis, como respostas de referência ou trajetórias bem-sucedidas, que podem não estar disponíveis em regimes de supervisão fraca (por exemplo, quando existe apenas um verificador).

O artigo investiga se a PI pode ser derivada, em vez disso, de um banco de habilidades baseado em experiência—uma coleção de princípios concisos e reutilizáveis em linguagem natural e padrões de erro. O desafio central é que as habilidades recuperadas não são inerentemente confiáveis; elas podem ser irrelevantes, desatualizadas ou enganosas para um problema específico. Além disso, imitar cegamente um professor condicionado a uma habilidade potencialmente errada pode degradar o desempenho. A questão central é: As habilidades derivadas de experiência podem servir como informações privilegiadas apenas durante o treinamento, sem assumir que toda habilidade recuperada é confiável?

2. Metodologia: Auto-Distilação com Portão Condicionada por Habilidades (SGSD)

Os autores propõem o SGSD, um framework que trata a auto-distilação baseada em habilidades como um problema de validação de hipótese do professor em vez de imitação incondicional. O método opera em um único modelo de política $\pi_\theta$ atuando como aluno e professor sob diferentes contextos.

2.1 Construção do Banco de Habilidades Estruturado

O SGSD mantém um banco estruturado $B = \{G, E\}$ contendo:

• Habilidades Gerais ($G$): Princípios de raciocínio reutilizáveis (o que fazer).
• Erros Comuns ($E$): Padrões de erro, causas e estratégias de evitação (o que evitar).
  O banco é inicializado por meio de um processo de "início frio" onde trajetórias bem-sucedidas são resumidas em habilidades e trajetórias falhas em erros. Durante o treinamento, o banco é atualizado online, mesclando novos candidatos de rolagens recentes.

2.2 Pool de Múltiplos Professores Condicionados por Habilidades

Para um problema dado $x$, o sistema recupera os $K$ melhores pares de habilidade-erro. Cada par $(g_k, e_k)$ é concatenado com o problema para formar um contexto de professor único $c_k(x) = g_k \oplus e_k \oplus x$.

• Aluno: Amostra uma rolagem $y$ usando apenas o prompt simples $x$.
• Professores: Um pool de $K$ professores, cada um compartilhando os mesmos pesos de política (stop-gradient) mas condicionado a um par específico de habilidade-erro recuperado. Todos os professores avaliam a mesma rolagem do aluno.

2.3 Polaridade do Professor Validada pelo Resultado

Em vez de assumir que todos os professores estão corretos, o SGSD valida sua postura contra o resultado do verificador $r \in \{-1, 1\}$.

1. Cálculo da Lacuna: Calcule a lacuna de log-probabilidade $\Delta^{(k)}_t$ entre o professor $k$ e o aluno para cada token.
2. Estimativa Robusta de Suporte: Calcule uma pontuação de suporte robusta $\tilde{a}_k$ mascarando tokens não relacionados ao raciocínio, limitando lacunas extremas e fazendo uma média.
3. Inferência de Polaridade: Determine a polaridade do professor $\rho_k$ com base no alinhamento entre o suporte do professor ($\tilde{a}_k$) e o resultado ($r$):
   • Útil: O professor apoia um sucesso ou suprime um fracasso ($\rho_k = +1$).
   • Enganoso: O professor apoia um fracasso ou suprime um sucesso ($\rho_k = -1$).
   • Incerto: Se a pontuação de suporte estiver próxima de zero, o professor é ignorado ($\rho_k = 0$).

2.4 Objetivo de Distilação com Portão Robusto

A função de perda final agrega as discordâncias ponderadas e conscientes da polaridade:
$$L_{SGSD}(x) = \sum_{k=1}^{K_x} \alpha_k(x) \rho_k \bar{\ell}^{(k)}$$
Onde $\bar{\ell}^{(k)}$ é uma perda com portão $\ell_{gate}(\Delta)$ projetada para:

• Ser próxima de zero quando professor e aluno concordam (lacunas negligenciáveis).
• Crescer para discordâncias moderadas (região informativa).
• Saturar para incompatibilidades extremas para evitar que logits de outliers dominem o gradiente.
  A derivada dessa perda garante que a atualização seja limitada e se comporte como uma aproximação local de KL reverso na região informativa, enquanto suprime sinais extremos.

3. Contribuições Principais

1. Formulação: O artigo introduz o conceito de usar habilidades derivadas de experiência como informações privilegiadas para raciocínio matemático, enquadrando o problema como validação de hipótese do professor em vez de imitação padrão.
2. Framework (SGSD): Um framework de auto-distilação com múltiplos professores e condicionado por habilidades que infere a polaridade do professor a partir do alinhamento entre o suporte do professor e os resultados das rolagens, utilizando um objetivo com portão robusto para lidar com sinais ruidosos ou conflitantes.
3. Validação Empírica: Demonstrado em múltiplos benchmarks de raciocínio matemático (AIME24, AIME25, HMMT25), mostrando que o SGSD supera consistentemente o GRPO e permanece competitivo com a auto-distilação condicionada a respostas (OPSD), apesar de operar sob uma suposição de PI mais fraca (habilidades vs. respostas de verdade).

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos Qwen3 (1.7B, 4B, 8B) treinados no DAPO-Math-17K e avaliados em benchmarks de estilo competitivo.

• Desempenho: No Qwen3-1.7B, o SGSD melhorou a precisão média entre AIME24, AIME25 e HMMT25 de 37,4% para 43,7%. Isso representa uma melhoria de 6,2% sobre o GRPO e uma melhoria de 1,7% sobre o OPSD (que usa respostas de referência confiáveis).
• Estabilidade: Diferentemente do OPSD, que mostrou degradação nos estágios posteriores do treinamento, o SGSD manteve melhorias estáveis. Isso é atribuído ao mecanismo de validação por resultado filtrando sinais de habilidades enganosas.
• Ablações:
  • Remover a validação de polaridade levou ao colapso do desempenho, confirmando que seguir cegamente as habilidades é prejudicial.
  • Usar um único professor foi inferior ao pool de múltiplos professores, destacando o valor de hipóteses diversas.
  • A estimativa robusta de suporte (mascaramento, limitação, limiarização) foi crítica para a estabilidade.
  • Adicionar respostas de referência ao professor condicionado por habilidades causou quedas de desempenho, sugerindo que misturar PI confiável e não confiável cria direções de atualização inconsistentes.

5. Significado e Afirmações

O artigo afirma que o SGSD demonstra que habilidades derivadas de experiência podem fornecer supervisão densa útil mesmo quando sua direção não é pré-verificada, desde que sua polaridade seja validada contra evidências on-policy.

• Suposição Mais Fraca: O SGSD alcança resultados competitivos com métodos condicionados a respostas (OPSD) assumindo apenas a existência de um verificador e um banco de habilidades, em vez de soluções de referência de verdade.
• Mecanismo: O sucesso depende de tratar habilidades recuperadas como hipóteses a serem validadas em vez de instruções a serem seguidas. O objetivo com portão extrai efetivamente discordâncias informativas entre professor e aluno, enquanto suprime ruído e sinais extremos.
• Limitações: Os autores observam que o método é atualmente avaliado principalmente no raciocínio matemático com verificação automática. Extensões para geração aberta exigiriam juízes calibrados. Além disso, a construção do banco de habilidades depende de um início frio simples e mesclagem hierárquica, o que pode se beneficiar de estratégias mais adaptativas em trabalhos futuros.

Em resumo, o SGSD oferece um caminho para aprimorar o raciocínio de LLM em cenários onde respostas de verdade estão indisponíveis, aproveitando a própria experiência evolutiva do modelo para gerar e validar seus próprios sinais de ensino.