Resumo Técnico: Destilação Auto-Verificada

Declaração do Problema

O artigo aborda o desafio de melhorar ainda mais Modelos de Linguagem de Grande Porte (LLMs) pós-treinados para tarefas de raciocínio sem acesso a professores externos, feedback de ferramentas ou soluções de verdade absoluta. Embora muitas abordagens bem-sucedidas de pós-treinamento dependam de dados supervisionados provenientes de traços rotulados por humanos, respostas geradas por professores ou treinamento de verificadores em soluções conhecidas como corretas, esses recursos são caros, difíceis de escalar ou indisponíveis para os problemas de raciocínio mais difíceis (por exemplo, questões de matemática ou ciência não resolvidas).

A questão central investigada é: Um modelo de raciocínio já pós-treinado pode melhorar ainda mais usando apenas a si mesmo? Especificamente, um modelo pode gerar soluções candidatas para questões semente não rotuladas, verificar de forma confiável quais dessas soluções estão corretas sem verdade absoluta externa e, em seguida, usar apenas as soluções verificadas para refinar suas próprias capacidades?

A dificuldade principal reside no problema da "consistência gerador-validador": uma abordagem ingênua de auto-treinamento corre o risco de reforçar os próprios erros do modelo se este gerar uma solução incorreta, julgá-la erroneamente como válida e, em seguida, treinar sobre esse raciocínio falho.

Metodologia: Destilação Auto-Verificada

Os autores propõem a Destilação Auto-Verificada, um algoritmo de refinamento de pós-treinamento que constrói um conjunto de dados supervisionado auto-curado a partir de questões semente não rotuladas. O processo consiste em três etapas:

1. Geração: A partir de um modelo pós-treinado $p_\theta$, o sistema amostra $n$ soluções candidatas para cada questão semente não rotulada. Não se assume que essas candidatas estejam corretas.
2. Auto-Verificação: As candidatas são filtradas usando um pipeline de auto-verificação baseado em prompts e multiestágio, inspirado no benchmark Questões Não Resolvidas (UQ). Diferentemente da correspondência padrão de respostas, este pipeline utiliza validadores "livres de oráculo" para triar respostas. A verificação é uma cascata de três estágios:
   • Consistência de Ciclo: O modelo infere a questão a partir da resposta candidata e verifica se ela corresponde à questão semente original.
   • Factualidade: O modelo verifica erros factuais, aritméticos ou lógicos na resposta.
   • Corretude: O modelo realiza uma verificação total de corretude para garantir que a solução resolva o problema completa e precisamente.
   • Mecanismo de Consenso: Para cada estágio, o validador é chamado $v$ vezes. Uma candidata é aceita apenas se passar em todos os três estágios em todas as $v$ chamadas repetidas do juiz (votação unânime).
3. Treinamento: O modelo é treinado via Ajuste Fino Supervisionado (SFT) no conjunto de dados de soluções aceitas e auto-geradas.

Os hiperparâmetros-chave incluem $n$ (número de gerações por questão, controlando a exploração) e $v$ (força de verificação, controlando a rigorosidade).

Contribuições Principais

1. Algoritmo de Destilação Auto-Verificada: O artigo introduz um método para melhorar modelos de raciocínio partindo exclusivamente de questões semente não rotuladas, eliminando a necessidade de professores externos, feedback de ferramentas ou soluções de verdade absoluta.
2. Estudo Controlado de Construção de Dados Sintéticos: Os autores abalam sistematicamente o pipeline de construção de dados, demonstrando que:
   • Simplesmente treinar em dados auto-gerados não filtrados pode prejudicar o desempenho (particularmente em programação).
   • Verificação mais forte (maior $v$) e geração mais ampla (maior $n$) são necessárias para produzir dados de treinamento de alta qualidade.
   • Um validador multiestágio no estilo UQ (consistência de ciclo + factualidade + corretude) supera significativamente um prompt simples "isso está correto?" sob a mesma força de verificação.
3. Computação em Tempo de Treinamento vs. Tempo de Teste: O artigo introduz UQ-TTC, uma linha de base que aplica o mesmo procedimento de verificação apenas no tempo de inferência (amostrando múltiplas candidatas e verificando-as para cada consulta de teste). Os autores mostram que a Destilação Auto-Verificada (amortizando a computação durante o treinamento) alcança desempenho competitivo ou superior em comparação com o UQ-TTC, exigindo apenas uma única chamada de inferência no tempo de teste.

Resultados Experimentais

O método foi avaliado nos modelos Qwen3 (0.6B, 4B e 8B) em três domínios: Matemática, Ciência e Programação.

• Ganhos de Desempenho: A Destilação Auto-Verificada melhorou as pontuações agregadas de pass@1 em dados retidos em todas as escalas de modelo e domínios.
  • Qwen3-4B: Alcançou os ganhos mais significativos: +16,7 pontos em Matemática (AIME26/HMMT), +11,1 pontos em Ciência (GPQA Diamond/HLE) e +8,3 pontos em Programação (LCBv5/LCBv6).
  • Escalonamento: Ganhos foram observados nos modelos 0.6B e 8B também, embora o modelo 0.6B tenha mostrado melhorias menores e menos consistentes (por exemplo, uma leve queda no HLE), sugerindo que a capacidade do modelo afeta a qualidade dos dados auto-curados.
• Descobertas de Ablação:
  • Força de Verificação: O aumento de $v$ (por exemplo, de 1 para 5) geralmente melhorou os resultados, mas apenas quando acompanhado de geração suficiente ($n$). Um $v$ alto com $n$ baixo resultou em amostras aceitas insuficientes para um treinamento eficaz.
  • Necessidade de Filtragem: Em programação, o treinamento em gerações não filtradas performou pior do que o modelo inicial, enquanto dados filtrados melhoraram o desempenho.
  • Estrutura do Validador: O validador multiestágio completo no estilo UQ produziu uma melhoria média de +8,4 pontos em matemática, comparado a +4,9 pontos para um prompt de corretude simples.
• Eficiência: Em comparação com a linha de base UQ-TTC (que exige até 168 chamadas de inferência por problema de teste), a Destilação Auto-Verificada alcançou resultados melhores ou comparáveis com apenas 1 chamada de inferência por problema de teste.

Significado e Alegações

O artigo afirma que a Destilação Auto-Verificada demonstra que modelos de raciocínio pós-treinados podem melhorar a si mesmos usando apenas prompts não rotulados e suas próprias capacidades internas de verificação.

• Refinamento Leve: O método serve como uma etapa adicional de refinamento leve que não requer supervisão externa cara ou integração de ferramentas.
• Amortização de Computação: Ele mostra que a computação de geração e verificação pode ser efetivamente amortizada nos parâmetros do modelo durante o treinamento, oferecendo uma alternativa mais eficiente à busca e verificação repetidas no tempo de teste.
• Qualidade de Dados sobre Quantidade: Os resultados enfatizam que a qualidade dos dados auto-curados depende fortemente do pipeline de verificação; o auto-treinamento não filtrado é insuficiente e potencialmente prejudicial, enquanto a auto-verificação rigorosa e multiestágio produz sinais de treinamento confiáveis.

Os autores notam limitações, incluindo o risco de reforçar erros sistemáticos se o validador for imperfeito e a dependência da dificuldade e diversidade das questões semente corresponderem à capacidade do modelo. Eles sugerem que trabalhos futuros devem focar em melhores distribuições de questões semente e estratégias de mitigação para erros de verificação.