Resumo Técnico: Refinamento de Autoverificação (SVR)

Definição do Problema

Escalar o cálculo em tempo de teste é uma estratégia central para melhorar o raciocínio de modelos de linguagem, contudo, as abordagens atuais enfrentam duas limitações primárias:

1. Alocação Ineficiente de Recursos: Métodos de orçamento fixo (ex: refinamento de múltiplos turnos uniforme ou amostragem de $k$ fixo) desperdiçam computação em entradas fáceis que já foram resolvidas e podem falhar em alocar recursos suficientes para entradas difíceis.
2. Dependência de Sinais Externos: Métodos adaptativos ou de autocorreção existentes frequentemente dependem de verificadores externos, ambientes de execução ou feedback de oráculo (corretude da verdade fundamental) para decidir quando interromper o refinamento. Esses sinais são frequentemente dispendiosos, indisponíveis no momento da implantação ou introduzem um descompasso entre as fronteiras de informação do treinamento e da inferência.

O desafio central é permitir que um modelo aprenda um sinal de controle interno para decidir se retém uma resposta atual ou aloca mais turnos de refinamento, usando apenas sinais gerados pela própria política, sem acesso à corretude da verdade fundamental durante a inferência.

Metodologia: Refinamento de Autoverificação (SVR)

Os autores propõem o Refinamento de Autoverificação (SVR), uma estrutura de aprendizado por reforço de múltiplos turnos livre de oráculo que aprende a usar a autoverificação como uma política de controle de computação.

1. Formulação de Refinamento Adaptativo

O SVR trata o cálculo em tempo de teste como um problema de alocação sequencial. Em cada turno $t$, a política $\pi_\theta$ gera uma saída estruturada $o_t = (r_t, a_t, v_t, c_t)$, consistindo em:

• $r_t$: Traço de raciocínio.
• $a_t$: Resposta da tarefa.
• $v_t$: Veredito discreto (Correto, Incorreto ou Incerteza).
• $c_t$: Pontuação de confiança (estimativa de probabilidade de que $a_t$ esteja correto).

Mecanismo de Inferência:
O controlador em tempo de inferência opera em uma fronteira de informação livre de oráculo. Ele interrompe e retorna a resposta atual $a_t$ se, e somente se:

1. A geração não for truncada ($q_t = 0$).
2. O veredito for Correto ($v_t = C$).
3. A confiança exceder um limiar de implantação $\gamma$ ($c_t \ge \gamma$).

Se essas condições não forem atendidas e o orçamento permanecer, o modelo constrói o próximo prompt usando o problema original, o rascunho retido e o próprio estado de autoverificação da política, sem nunca acessar rótulos de verdade fundamental.

2. Treinamento: Aprendizado por Reforço de Veredito-Confiança Conjunto

O SVR é treinado usando Otimização de Política Relativa de Grupo (GRPO) em trajetórias de horizonte fixo ($T_{tr}$). A corretude da verdade fundamental é usada apenas para construir recompensas de treinamento e nunca é exposta à política durante o processo de refinamento.

O retorno ao nível de trajetória $R_{SVR}$ faz a média de três sinais por turno:

• Recompensa de Solução ($r_{solve}$): Recompensa a corretude absoluta e o progresso entre turnos (ex: corrigir erros ou preservar respostas corretas) enquanto penaliza a regressão e o truncamento.
• Recompensa de Autoverificação ($r_{verify}$): Um objetivo composto projetado para alinhar o par veredito-confiança com a corretude empírica:
  • Calibração: Um objetivo do tipo Brier para alinhar a confiança $c_t$ com a corretude $y_t$.
  • Penalidade de Excesso de Confiança: Penaliza vereditos Correto de alta confiança em respostas incorretas.
  • Detecção de Erro: Recompensa vereditos Incorreto explícitos em respostas erradas.
  • Prontidão de Parada: Incentiva alta confiança em respostas corretas para facilitar a parada precoce.
• Recompensa de Formato ($r_{fmt}$): Garante a formatação válida da resposta da tarefa e estruturas de autocorreção analisáveis.

Design Chave de Treinamento:

• Coleta de Horizonte Fixo: Durante o treinamento, todas as trajetórias executam os turnos completos de $T_{tr}$, independentemente dos vereditos intermediários. Isso evita que a parada precoce errônea corte a exposição da política aos estados de refinamento necessários.
• Escopo de Otimização: A perda de gradiente de política é aplicada apenas aos tokens finais de conclusão da trajetória. Os turnos intermediários contribuem para o retorno da trajetória (supervisionando o sinal de autoverificação), mas não são tratados como amostras de otimização independentes.

3. Inferência

Na inferência, a política treinada é implantada com um agendador adaptativo. O modelo gera turnos sequencialmente, avaliando a condição de parada após cada turno. O horizonte de treinamento $T_{tr}$ e o orçamento de implantação $T_{max}$ são independentes; $T_{tr}$ garante cobertura de supervisão suficiente, enquanto $T_{max}$ limita o custo de pior caso.

Principais Contribuições

1. Estrutura de Ciclo Fechado Livre de Oráculo: O SVR introduz um método onde uma única política aprende tanto a refinar respostas quanto a gerar o sinal estruturado de autoverificação (veredito + confiança) necessário para o controle em tempo de inferência, eliminando a necessidade de verificadores externos ou feedback de oráculo durante a implantação.
2. Objetivo de RL de Veredito-Confiança Conjunto: Os autores desenvolvem um objetivo de múltiplos turnos que agrega qualidade de solução, autoverificação ciente de calibração e prontidão de parada em um único retorno de trajetória. Isso treina a política para produzir sinais de parada acionáveis sem otimizar diretamente o custo de inferência realizado durante o treinamento.
3. Validação Empírica: A estrutura demonstra que a autoverificação aprendida pode servir como um sinal de controle interno eficaz para alocação adaptativa de computação, alcançando uma relação precisão-computação superior em comparação com bases de orçamento fixo e orientadas por oráculo.

Resultados Experimentais

O método foi avaliado usando Qwen3.5-2B em sete benchmarks de raciocínio matemático (Countdown, GSM8K, MATH500, AIME26, AMC23, OlympiadBench, MinervaMath).

• Desempenho: O SVR alcançou uma precisão média macro de 0,563 nos 7 benchmarks.
• Eficiência: Requer uma média de apenas 2,99 turnos de inferência por exemplo.
• Comparações:
  • Superou a base de múltiplos turnos não-oráculo mais forte (Murphy) em 7,5 pontos percentuais de precisão.
  • Superou uma referência de orçamento fixo guiada por oráculo (que usa feedback de corretude externo) em 4,4 pontos percentuais enquanto consumia significativamente menos tokens.
  • Igualou a precisão do votação majoritária de 10 amostras GRPO consumindo aproximadamente metade do custo de tokens.
• Estudos de Ablação:
  • Remover o bloco de recompensa de autoverificação ($R_{verify}$) reduziu a precisão em ~3,5 pontos, confirmando a necessidade do sinal de controle.
  • Remover o componente de "prontidão de parada" aumentou os turnos médios para 3,83 e reduziu a precisão em 6,9 pontos, destacando a importância de treinar o modelo para reconhecer quando está pronto para parar.
  • O SVR de turno único (sem refinamento iterativo) caiu significativamente em precisão, provando que o refinamento iterativo é essencial.
  • Usar apenas vereditos ou apenas confiança resultou em desempenho subótimo em comparação com o sinal conjunto.

Significância e Alegações

O artigo afirma que o SVR demonstra que a autoverificação aprendida pode substituir efetivamente os sinais de oráculo externos para controlar o cálculo em tempo de teste. Ao tratar a autoverificação estruturada não meramente como uma descrição post-hoc de incerteza, mas como um sinal de nível de política, o SVR permite que os modelos:

• Retenham respostas intermediárias corretas que poderiam ser sobrescritas por um refinamento adicional.
• Aloquem computação adaptativamente com base na dificuldade da instância, evitando o desperdício das abordagens de orçamento fixo.
• Operem de maneira "livre de oráculo" na inferência, tornando a abordagem implantável em configurações onde verificadores externos não estão disponíveis.

Os autores observam que, embora o SVR melhore significativamente a fronteira de precisão-computação, reduzir os Erros de Parada Prematura (PSE) em problemas difíceis continua sendo um desafio em aberto, pois o modelo ainda ocasionalmente encerra o refinamento em respostas incorretas com alta confiança. O trabalho sugere que a integração da autoverificação na própria política de raciocínio é um caminho viável para um raciocínio eficiente e adaptativo sem supervisão externa.