Resumo Técnico: REVES – Treinamento Aumentado por Revisão e Verificação para Escalonamento em Tempo de Teste

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) implantados em tarefas de raciocínio complexas raramente produzem respostas corretas na primeira tentativa. Fluxos de trabalho do mundo real frequentemente dependem de algoritmos de Escalonamento em Tempo de Teste (Test-Time Scaling - TTS), como revisão sequencial, busca em árvore ou refinamento evolutivo, que geram respostas iterativamente com base em tentativas anteriores e feedback.

O problema central identificado pelos autores é um desalinhamento fundamental entre os objetivos padrão de pós-treinamento e essas dinâmicas de inferência de múltiplos passos:

• Objetivos Padrão: Métodos como RLHF, RLVR e GRPO otimizam uma recompensa esperada de disparo único ($J_{OneShot}$). Eles tratam o modelo como um mapeamento estático de um problema para uma resposta.
• O Desalinhamento: Algoritmos de TTS operam via trajetórias de múltiplos passos. O RL de múltiplos turnos padrão tenta corrigir isso otimizando trajetórias completas. No entanto, essa abordagem sofre de atribuição de crédito dependente de caminho. Em uma trajetória como "Errado $\to$ Errado $\to$ Correto", o RL padrão atribui crédito positivo aos passos intermediários "Errados" simplesmente porque o resultado final foi bem-sucedido. Isso cria um sinal de aprendizado enviesado que falha em ensinar o modelo a identificar e corrigir especificamente erros intermediários.

Os autores perguntam: Podemos projetar um algoritmo de pós-treinamento que otimize explicitamente a capacidade do modelo de realizar revisão sequencial, em vez de apenas o resultado final de um rollout específico?

2. Metodologia: O Framework REVES

Os autores propõem o REVES (REvision and VErification–Augmented Training), um framework iterativo de dois estágios projetado para otimizar diretamente o objetivo de Revisão Sequencial (SR) ($J_{\phi_{SR}}$).

Fundamentação Teórica

O artigo estabelece que o objetivo SR pode ser exatamente decomposto em uma soma ponderada de probabilidades de recuperação de um passo por estado (Lema 4.1).
$$J_{\phi_{SR}}(\theta) = \sum_{z} \rho_{\theta}(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)} [r^*(x, y')]$$
Onde:

• $z$ representa um estado de revisão (problema + tentativa anterior + feedback).
• $\rho_{\theta}(z)$ é a contagem de visitas esperada ao estado $z$.
• $V_\pi(z)$ é a probabilidade de recuperar do estado $z$ para uma resposta correta em um único passo.

Esta decomposição revela que otimizar $J_{\phi_{SR}}$ não requer atribuição de crédito de trajetória de longo horizonte. Em vez disso, requer maximizar a probabilidade de recuperação em cada estado intermediário.

O Algoritmo de Dois Estágios

O REVES alterna entre aumento de dados e otimização de política:

Estágio I: Aumento de Dados/Prompts Online

1. A política atual $\pi_\theta$ realiza rollouts de Revisão Sequencial em um conjunto de problemas.
2. Filtragem: Apenas trajetórias que recuperam com sucesso dentro de um orçamento $K$ são retidas.
3. Desacoplamento: Para cada trajetória bem-sucedida, as respostas intermediárias de "quase acerto" (incorretas) são convertidas em dois tipos de prompts de treinamento:
   • Prompts de Revisão: "Dado o problema $x$ e a tentativa anterior $y_{prev}$ (que é incorreta), produza uma solução corrigida."
   • Prompts de Verificação: "Dado o problema $x$ e a resposta proposta $y$, julgue se ela está correta."
4. Isso cria um conjunto de dados aumentado onde o modelo aprende a recuperar de estados de erro específicos e a se auto-verificar.

Estágio II: Otimização de Política de Turno Único

1. A política é treinada no conjunto de dados aumentado usando RL de turno único padrão (ex: GRPO ou PPO).
2. Como os dados são desacoplados em pares de (estado $\to$ recuperação) de turno único, o treinamento evita a alta variância e o viés da atribuição de crédito de trajetória de múltiplos turnos.
3. A política atualizada é então usada para gerar novos dados aumentados para o próximo epoch, garantindo que a distribuição de treinamento permaneça alinhada com os modos de falha atuais do modelo.

Eficiência e Regras de Parada

• Eficiência Off-Policy: A geração de dados (Estágio I) pode rodar de forma assíncrona e paralela ao treinamento, evitando o gargalo computacional de rollouts síncronos de múltiplos turnos.
• Parada em Tempo de Teste: Como verificadores de verdade absoluta (ground-truth) costumam estar indisponíveis no tempo de teste, o REVES emprega regras de parada substitutas:
  • Matemática: Usa métricas de "Confiança de Cauda" (Tail Confidence) para detectar quando a confiança do modelo se estabiliza ou cai.
  • Programação: Usa resultados de execução de casos de teste públicos como um proxy de recompensa.

3. Principais Contribuições

1. Conceitual: O artigo enquadra o escalonamento em tempo de teste como um problema de meta-RL. Eles provam (Teorema 3.1) que melhorar a probabilidade de recuperação de um passo em entradas de Revisão Sequencial garante teoricamente ganhos de desempenho para qualquer algoritmo de TTS que utilize revisão (incluindo MCTS e busca evolutiva), desde que a distribuição de treinamento cubra as entradas de implantação.
2. Metodológica: Os autores propõem o REVES, que recategoriza erros intermediários como estados de treinamento desacoplados. Ao converter respostas de "quase acerto" em prompts de revisão e verificação, o método isola o sinal de aprendizado para a recuperação local em vez do sucesso da trajetória global.
3. Empírica: O método demonstra melhorias consistentes em diversos domínios (programação, matemática, puzzles) e generaliza para tarefas fora da distribuição sem treinamento específico.

4. Resultados Experimentais

Os autores avaliaram o REVES em vários benchmarks usando modelos que variam de 3B a 7B parâmetros (Qwen2.5, Qwen3, DeepSeek-R1-Distill).

• Programação (LiveCodeBench): O REVES alcançou +6.5 pontos sobre a linha de base de RL de disparo único e +4.0 pontos sobre o treinamento de múltiplos turnos padrão. Mostrou robustez através de diferentes orçamentos de tempo de teste.
• Matemática (AIME24/25, MATH500): Sob "Parada Oracle" (interrupção imediata ao encontrar a resposta correta), o REVES mostrou ganhos substanciais na capacidade de revisão sequencial. Esses ganhos persistiram sob regras de parada de "Auto-Confiança", indicando que a capacidade aprendida se transfere para a implantação prática.
• Circle Packing: Um modelo Qwen3-4B treinado com REVES igualou os resultados Estado da Arte (SOTA) (soma dos raios de 2.635983) anteriormente alcançados por sistemas de busca evolutiva muito maiores construídos sobre Gemini-2.0 Pro/Flash e Qwen3-8B. Isso foi alcançado com um modelo base menor e significativamente menos rollouts.
• Generalização Out-of-Distribution: Modelos treinados apenas em dados de matemática e código mostraram melhorias significativas em puzzles de satisfação de restrições (n_queens, mini_sudoku) onde a correção é definida inteiramente por restrições do problema, demonstrando forte generalização entre tarefas.
• Transferência para Outros Algoritmos de TTS: Como previsto pelo Teorema 3.1, modelos treinados com REVES melhoraram o desempenho de outros algoritmos de TTS baseados em revisão, incluindo MCTS, variantes de AB-MCTS e Mind Evolution.

5. Significância e Alegações

O artigo afirma que o REVES aborda uma lacuna crítica no treinamento de LLMs: o desalinhamento entre os objetivos de treinamento de disparo único e o raciocínio de múltiplos passos em tempo de teste.

• Eficiência: Ao focar na recuperação por estado em vez da otimização de trajetória completa, o REVES reduz o overhead computacional de amostragem de longo horizonte enquanto fornece um sinal de treinamento mais nítido e menos enviesado.
• Escalabilidade: O método escala efetivamente com orçamentos de aumento e permite que modelos menores (4B) igualem o desempenho de sistemas muito maiores em problemas de otimização complexos.
• Generalizabilidade: A abordagem não se limita a domínios específicos; ela melhora a capacidade fundamental do modelo de "pensar novamente" e se corrigir, beneficiando qualquer estratégia de inferência que dependa de revisão.

Os autores concluem que alinhar o treinamento com as mecânicas específicas de escalonamento em tempo de teste (especificamente a revisão sequencial) é um passo necessário para desbloquear o pleno potencial de raciocínio dos LLMs, particularmente em domínios verificáveis como programação, matemática e descoberta científica.