Process Supervision via Verbal Critique Improves Reasoning in Large Language Models

Título: Supervisão de Processo via Crítica Verbal Melhora o Raciocínio em Grandes Modelos de Linguagem (LLMs)

1. O Problema

O escalonamento do poder de computação no tempo de inferência (inference-time compute) para o raciocínio de LLMs tem sido tradicionalmente realizado ao longo de três eixos estabelecidos:

1. Profundidade da Cadeia (Chain Depth): Aumentar o número de tokens por trajetória de raciocínio (ex: Chain-of-Thought).
2. Amplitude da Amostra (Sample Breadth): Gerar múltiplas trajetórias paralelas e agregá-las (ex: Self-Consistency, Tree-of-Thoughts).
3. Avaliadores de Passo Aprendidos (Learned Step-scorers): Treinar Modelos de Recompensa de Processo (PRMs) para avaliar a correção de cada passo, exigindo custos de treinamento e dados rotulados.

Os autores identificam que um quarto eixo, largamente negligenciado, é a granularidade da supervisão verbal externa. A maioria dos métodos existentes utiliza críticas apenas no nível do resultado final (outcome-level), o que pode conflitar o crédito de erros em passos intermediários específicos com falhas na estratégia geral. Além disso, métodos baseados em PRMs exigem treinamento, limitando sua aplicabilidade em modelos de caixa-preta.

2. Metodologia: Supervisão de Processo Verbal (VPS)

O artigo introduz o VPS (Verbal Process Supervision), um framework de tempo de inferência sem treinamento (training-free) que opera através de um loop iterativo de Gerar-Criticar-Refinar.

• Componentes:
  • Ator ($\pi_\theta$): O modelo que gera a trajetória de raciocínio.
  • Supervisor ($C$): Um modelo mais forte (ou com maior esforço de raciocínio) que fornece feedback.
• Mecanismo de Funcionamento:
  1. O ator gera uma trajetória inicial $\tau_0$.
  2. O supervisor analisa a trajetória e produz uma crítica estruturada em linguagem natural ($c$) focada em nível de passo (step-level), em vez de apenas no resultado final.
  3. O ator regenera a trajetória ($\tau_{r+1}$) condicionada à crítica anterior, sem atualizar seus pesos (sem gradientes).
  4. O processo repete-se até a convergência ou atingir um orçamento máximo de rodadas $R$.
• Diferencial Chave: Diferente do Reflexion (que critica apenas o resultado final), o VPS fornece feedback denso e indexado por passo, permitindo que o modelo corrija erros específicos sem descartar sub-trajetórias corretas.

3. Principais Contribuições

1. Identificação de um Novo Eixo de Escalonamento: Formalizam a "granularidade da crítica verbal" como um eixo distinto de escalonamento no tempo de inferência, ortogonal à profundidade, amplitude e pontuação aprendida.
2. Formalização do VPS: Definem o VPS como uma instância de nível de passo, com um operador de atualização de política no espaço de linguagem e caracterização de convergência.
3. Evidência Empírica de Superioridade: Demonstram que, com computação de inferência equivalente, o VPS supera tanto a crítica de nível de resultado (Reflexion) quanto a agregação de amostras (Self-Consistency).
4. Caracterização do Regime de "Resgate": Identificam que a eficácia do VPS é fortemente correlacionada com a lacuna de capacidade entre supervisor e ator (correlação de Pearson $r = +0.90$), funcionando melhor quando o ator é significativamente mais fraco que o supervisor.

4. Resultados Experimentais

Os experimentos foram realizados em três benchmarks de alto nível: GPQA Diamond (raciocínio científico), AIME 2025 (matemática) e LiveCodeBench V6 (programação competitiva).

• Superação do Estado da Arte (SOTA):
  • No GPQA Diamond, a configuração GPT-5.4 (High) | (Low) atingiu 94.9% com $R=4$, superando o SOTA reportado de 94.1% e a linha de base do ator isolado (92.8%), usando apenas refinamento verbal sem atualizações de gradiente.
• Regime de Resgate de Atores Fracos (AIME 2025):
  • O VPS demonstrou amplificação dramática de capacidade. Atores com desempenho isolado de 11.7% a 26.7% foram elevados para 63.3% a 90.0%, com ganhos absolutos de até +63.3 pontos.
• Comparação com Baselines (Computação Equivalente):
  • Vs. Reflexion: O VPS superou o Reflexion (crítica de nível de resultado) em +8.5 a +12.1 pontos em todos os benchmarks, isolando a granularidade como a variável operacional.
  • Vs. Self-Consistency @ 5 (SC@5): O VPS superou a agregação de 5 amostras em +5.0 pontos no GPQA e +8.3 pontos no LiveCodeBench, provando que os ganhos não são devidos apenas ao aumento de computação, mas à qualidade da supervisão.
• Limitações e Fronteiras:
  • O desempenho é não-monotônico em relação ao número de rodadas ($R$); rodadas excessivas podem levar a "super-correção" se o ator já for forte.
  • Existe uma fronteira de domínio: em síntese de código, onde o erro é frequentemente não representável linguisticamente (requer execução para detecção), o VPS puro tem limitações, motivando extensões híbridas (verbal-executável).

5. Significado e Conclusão

O artigo estabelece que a granularidade da crítica é um fator determinante e distinto para o escalonamento de LLMs no tempo de inferência.

• Eficiência: O VPS oferece uma via de melhoria de desempenho sem custos de treinamento ou anotação humana, utilizando apenas a capacidade de um modelo supervisor mais forte.
• Mecanismo: A eficácia depende criticamente da "margem de cabeça" (headroom) do supervisor; ele só é eficaz quando o supervisor consegue identificar erros que o ator não consegue detectar sozinho.
• Futuro: O trabalho sugere que a próxima geração de métodos de raciocínio deve integrar supervisão verbal com feedback executável (para tarefas de código) e mecanismos de parada adaptativa baseados na previsão da lacuna de capacidade.

Em resumo, o VPS demonstra que feedback verbal estruturado em nível de passo é um sinal de recompensa suficiente e escalável para criar loops de auto-improvisão de raciocínio, superando métodos tradicionais de agregação e crítica de nível final.