Resumo Técnico: CANON (Consensus-Anchored Self-Distillation)

Declaração do Problema

Grandes modelos de linguagem (LLMs) demonstraram melhorias nas capacidades de raciocínio por meio de Aprendizado por Reforço (RL) com recompensas verificáveis. No entanto, essa abordagem padrão pressupõe o acesso a respostas de ouro para verificação, as quais não estão disponíveis em cenários não supervisionados ou sem rótulos. Embora a "autoconsistência" (amostragem de múltiplas soluções e seleção da maioria dos votos) sirva como um proxy não supervisionado confiável para a precisão, os métodos existentes que aproveitam esse sinal são limitados em sua eficiência e densidade de informação. As abordagens atuais sem rótulos tipicamente reduzem o sinal de consenso a:

1. Um filtro para selecionar soluções para ajuste fino supervisionado (SFT).
2. Uma fonte de preferências pareadas para alinhamento.
3. Um escalar de pseudo-recompensa para RL.

Esses métodos descartam a rica informação ao nível de token contida nas soluções que concordam. Além disso, abordagens baseadas em RL frequentemente exigem centenas de passos de otimização apoiados por novas gerações, resultando em altos custos computacionais. O desafio central abordado por este artigo é como transformar o próprio consenso do modelo em um sinal de supervisão denso ao nível de token sem rótulos de ouro, permitindo uma autodestilação eficiente que rivalize com métodos condicionados por ouro.

Metodologia: CANON

Os autores propõem o CANON (Consensus-Anchored self-distillatiON), um método de pós-treinamento sem rótulos que converte a maioria dos votos em supervisão densa. O framework opera em três etapas por prompt não rotulado:

1. Extração de Consenso: Dado um prompt $x$, o modelo amostra $N$ soluções (rollouts). A resposta majoritária é identificada, e a solução mais confiante dentro do conjunto majoritário (maior log-probabilidade média de token) é selecionada como a solução de consenso ($s_x$).
2. Construção do Professor: Um snapshot congelado do modelo ($\bar{\pi}$), capturado no início do epoch de treinamento, atua como o professor. Este professor é condicionado ao prompt $x$ e à solução de consenso $s_x$ (inserida via template). Crucialmente, o professor não gera; ele apenas pontua.
3. Destilação Densa: O modelo estudante ($\pi_\theta$) gera seus próprios rollouts $y^{(i)}$ condicionados apenas ao prompt. O estudante é treinado para corresponder às distribuições de próximo token do professor sobre esses mesmos rollouts. O objetivo minimiza a Divergência de Jensen–Shannon (JSD) de vocabulário completo entre a distribuição do estudante e a distribuição do professor em cada posição de token:
   $$L(\theta) = \mathbb{E}_{x \sim D} \frac{1}{N} \sum_{i=1}^{N} \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} D_{JS} \left( \pi_\theta(\cdot | x, y^{(i)}_{<t}) \parallel \bar{\pi}(\cdot | x, s_x, y^{(i)}_{<t}) \right)$$

Distinções Chave:

• Supervisão Densa: Ao contrário de recompensas escalares, o CANON fornece uma distribuição completa de próximo token para cada token em cada rollout, incluindo aqueles que discordam do consenso.
• Professor Congelado: O professor é um snapshot estático, evitando a coadaptação degenerada entre professor e estudante.
• Eficiência: O método requer apenas uma passagem de geração (a mesma passagem usada para a autoconsistência em tempo de inferência) e um epoch de treinamento, evitando os ciclos repetidos de geração do RL.

Contribuições Principais

1. Framework CANON: Um novo método sem rótulos que destila um professor ancorado no consenso para o modelo, transformando a maioria dos votos em supervisão densa ao nível de token.
2. Eficiência e Desempenho: Uma comparação controlada demonstrando que o CANON domina as alternativas existentes sem rótulos (como fine-tuning de autoconsistência e RL em tempo de teste) na fronteira de precisão-computação, alcançando ganhos comparáveis a professores condicionados por ouro a uma fração do custo computacional.
3. Transferibilidade: Evidência de que as melhorias se transferem para benchmarks mantidos fora (held-out) e mais difíceis, igualando o desempenho de métodos de treinamento que utilizam rótulos de ouro.
4. Análise de Mecanismo: Uma análise mostrando que os ganhos não são meramente decorrentes do afunilamento da distribuição (concentração de probabilidade em respostas existentes), mas envolvem uma expansão genuína de capacidade, resolvendo problemas anteriormente não resolvidos em múltiplas tentativas.

Resultados Experimentais

Os autores avaliaram o CANON em benchmarks de raciocínio matemático (AMC 2023, AIME 2024/2025, MATH500) e científico (GPQA-Diamond) usando várias famílias de modelos (Qwen, SmolLM, Gemma, LFM).

• Desempenho Transdutivo (Treinamento em Tempo de Teste): No benchmark AMC, o CANON melhorou o pass@1 em 10,5 pontos (de 66,0 para 76,5) usando apenas 1,2 GPU-horas. Isso superou significativamente as linhas de base de RL sem rótulos (ex: TTRL, SCRL), que exigiram de 6 a 10 GPU-horas e alcançaram ganhos de apenas 4 a 5 pontos. O CANON aproximou-se do desempenho de um professor "oráculo" condicionado a soluções verificadas por ouro (76,9 vs. 76,5).
• Transferência Indutiva: Quando treinado em prompts AMC não rotulados e avaliado em benchmarks mantidos fora (AIME 2024/2025, GPQA), o CANON manteve ganhos significativos, superando o RL sem rótulos e igualando o RL com recompensa de ouro. Por exemplo, no AIME 2024, o CANON melhorou o avg@32 em 7,0 pontos sobre o modelo base, enquanto o TTRL melhorou em 4,2 pontos.
• Eficiência Computacional: O CANON alcançou resultados comparáveis ao GRPO com recompensa de ouro (que exigiu 19,2 GPU-horas) em apenas 1,2 GPU-horas (aproximadamente 1/16 da computação).
• Cobertura e Capacidade: A análise de pós-treinamento revelou que a precisão do voto majoritário do modelo aumentou, e o pass@32 melhorou significativamente em benchmarks difíceis. O modelo resolveu problemas que nunca havia resolvido em 32 tentativas, indicando que os ganhos vão além da simples concentração de probabilidade.

Significância e Alegações

O artigo alega que o CANON demonstra que o próprio consenso de um modelo pode servir efetivamente como contexto privilegiado para a autodestilação, um papel tradicionalmente preenchido apenas por rótulos de ouro. Ao ancorar um professor a uma solução de consenso, o método extrai sinais de supervisão densos que são computacionalmente eficientes e altamente eficazes.

Os autores enfatizam que as melhorias não são meramente um resultado do "afunilamento" da distribuição de saída em problemas já solucionáveis. Em vez disso, o método permite que o modelo resolva problemas que anteriormente falhava, sugerindo uma expansão genuína da capacidade de raciocínio. O trabalho estabelece que, para pequenos modelos de instrução em domínios com respostas extraíveis (como matemática e ciência de múltipla escolha), a autodestilação baseada em consenso pode igualar ou aproximar a eficácia do treinamento supervisionado por ouro, operando inteiramente sem rótulos.

Limitações Notadas pelos Autores:

• O método requer uma resposta final extraível para formar um consenso, limitando-o a domínios de saída verificável.
• Oferece pouco benefício em pares modelo-benchmark "saturados", onde o modelo já atinge alta precisão.
• Pode reforçar erros se as amostras coludirem em uma resposta confiante, porém errada, embora esse modo de falha tenha sido observado em apenas ~2,7% dos prompts analisados.
• O regime transdutivo assume o acesso a prompts de teste antes de responder, o que pode não ser adequado para casos de uso interativos, embora os resultados indutivos sugiram que a suposição pode ser relaxada.