Resumo Técnico: Alocação Adaptativa de Computação em Tempo de Teste via Estrutura Guiada por Verificador

Declaração do Problema

Os paradigmas atuais para melhorar o desempenho de raciocínio de Grandes Modelos de Linguagem (LLMs) mudaram da escala de parâmetros do modelo para a escala de computação em tempo de inferência. No entanto, os métodos existentes de escalonamento de computação em tempo de teste enfrentam três limitações fundamentais:

1. Alocação Uniforme: Procedimentos de raciocínio dispendiosos são aplicados uniformemente a todos os inputs, desperdiçando computação em problemas fáceis enquanto subalocam exploração para instâncias genuinamente difíceis.
2. Estratégias Fixas: Estratégias de inferência (por exemplo, o número de amostras no Best-of-N ou a profundidade de busca) são tipicamente pré-especificadas e fixas, falhando em adaptar-se com base na qualidade intermediária do raciocínio.
3. Verificação Estática: Embora alguns métodos utilizem verificação intermediária (por exemplo, Modelos de Recompensa de Processo ou PRMs) para guiar a busca, esses sinais estão frequentemente atrelados a procedimentos de inferência fixos. Eles são usados primariamente para reclassificar candidatos completados, em vez de selecionar dinamicamente quais ferramentas de raciocínio invocar ou quanta computação alocar enquanto o raciocínio ainda está em progresso.

O desafio central abordado é como tratar o raciocínio como um processo de decisão iterativo e de nível de trajetória, onde a computação é alocada de forma adaptativa com base na dificuldade do problema e nos sinais de verificação intermediários, em vez de ser uma geração de disparo único ou um procedimento de busca fixo.

Metodologia

Os autores propõem uma estrutura adaptativa guiada por verificador que trata o raciocínio como um processo iterativo de geração e seleção de trajetórias. O sistema opera sem pré-treinamento, ajuste fino (finetuning) ou atualizações de parâmetros, baseando-se, em vez disso, em uma arquitetura de agentes modular impulsionada por templates de prompts condicionados por papéis aplicados a um LLM base.

Arquitetura de Agentes

A estrutura consiste em quatro componentes hierárquicos que operam em cada iteração:

1. Agente de Planejamento ($A_P$): Gera um plano estruturado de alto nível $\pi$ baseado nas características do problema para guiar decisões subsequentes.
2. Agente de Seleção de Ferramentas ($A_T$): Seleciona dinamicamente um subconjunto de ferramentas de raciocínio de um kit de ferramentas (Cadeia de Pensamento, Autorreflexão, Verificador Geral, Verificador Numérico, Reenquadramento, Sumarizador) com base no problema e no plano.
3. Agente de Seleção de Computação ($A_C$): Determina a estratégia de inferência (Best-of-N, Beam Search ou Lookahead Search) e um parâmetro de exploração $m$ (definindo o orçamento, por exemplo, largura do beam ou profundidade do lookahead).
4. Agente de Extração de Resposta ($A_F$): Sintetiza a resposta final a partir da trajetória completada.

Integração do Modelo de Recompensa de Processo (PRM)

Um PRM pré-treinado e especializado em matemática serve como um sinal de controle unificado tanto para a tomada de decisão intra-iteração quanto inter-iteração:

• Controle Intra-Iteração: Durante a geração, o PRM avalia transições de passos individuais ($s_{t-1} \to s_t$) para atribuir pontuações de validade local. Essas pontuações guiam a poda e expansão online (por exemplo, mantendo o prefixo de maior pontuação no Beam Search ou Lookahead) para direcionar o modelo em direção a caminhos localmente consistentes.
• Seleção Inter-Iteração: Através de $K$ iterações independentes, o PRM agrega pontuações de passos em uma recompensa de trajetória $R(\tau) = \frac{1}{T}\sum v_t$. A saída final é selecionada maximizando esta recompensa agregada entre todas as trajetórias completadas.

Métricas de Eficiência

Para avaliar o equilíbrio entre precisão e eficiência, o artigo introduz duas métricas:

• FLOPs Teóricos ($F_{theo}$): Considera a computação total em todas as invocações de modelos (LLM base, módulos controladores e PRM).
• Pontuação de Intensidade de Computação ($S_{CI}$): Penaliza a geração redundante e o overhead de verificação, medindo quão eficientemente os tokens de raciocínio do modelo base são utilizados em relação aos custos auxiliares.

Principais Contribuições

1. Formulação de Nível de Trajetória: O artigo trata o raciocínio adaptativo em tempo de teste como um problema de geração e seleção de nível de trajetória. Ao usar um PRM para fornecer sinais de correção local durante a geração, a estrutura permite a poda online e direciona ativamente o modelo para melhores caminhos de raciocínio conforme eles são formados.
2. Ganhos Empíricos: A abordagem adaptativa supera consistentemente o escalonamento direto de tempo de teste e as estratégias de inferência estáticas.
   • MATH-500: A precisão melhorou de 43,8% para 65,4% para Llama-3.1-8B-Instruct e de 71,2% para 81,4% para Qwen-2.5-7B-Instruct.
   • AIME24: A precisão melhorou de 3,3% para 10,0% (Llama) e de 6,67% para 13,3% (Qwen).
   • AMO-Bench: A precisão dobrou de 2,0% para 4,0% para ambos os modelos.
3. Análise de Eficiência de Computação: O estudo demonstra que os ganhos de desempenho advêm da alocação seletiva de computação para trajetórias de raciocínio de alta utilidade. Embora o método adaptativo incorra em ligeiramente maiores FLOPs teóricos devido ao overhead de controle e verificação, ele alcança uma Intensidade de Computação ($S_{CI}$) significativamente menor em comparação com estratégias fixas que escalam a busca uniformemente, indicando um uso mais eficiente da computação.

Resultados e Descobertas

• Adaptabilidade vs. Estratégias Fixas: A seleção dinâmica de ferramentas e estratégias de computação produz melhorias substancialmente maiores do que simplesmente aplicar a seleção por PRM a estratégias fixas. A estrutura adapta o comportamento de inferência à estrutura do modelo, direcionando cada modelo para caminhos de raciocínio que se alinham com seus pontos fortes (ex: Qwen concentra-se em raciocínio estruturado e verificação numérica, enquanto Llama distribui decisões entre mais ferramentas diversas).
• Dependência de Dificuldade: As melhorias são mais pronunciadas em problemas de dificuldade moderada (Níveis 1–4 do MATH-500). Nos problemas mais difíceis (Nível 5), os ganhos são menores, atribuídos a sinais de verificação menos confiáveis, onde o PRM pode classificar incorretamente trajetórias plausíveis, mas incorretas.
• Insights de Ablação:
  • O número de iterações importa, mas com retornos decrescentes após um número moderado de tentativas.
  • Não existe uma única configuração fixa dominante; as melhores estratégias fixas exigem conhecimento prévio das combinações ideais de ferramentas/estratégias. O método adaptativo alcança desempenho comparável automaticamente.
  • Para problemas altamente desafiadores (ex: AIME24), a diversidade de trajetórias através da seleção multi-ferramenta adaptativa é essencial, enquanto a repetição uniforme ou o aumento dos parâmetros de exploração podem degradar o desempenho.

Significância e Alegações

O artigo afirma que a inferência em tempo de teste adaptativa guiada por verificação é um caminho prático e agnóstico ao modelo para uma computação mais eficiente e confiável de raciocínio. Ao moldar dinamicamente o processo de raciocínio com base em sinais de verificação intermediários, a estrutura converte computação em precisão de forma mais eficaz do que a repetição uniforme ou procedimentos de busca fixos.

Os autores enfatizam que sua abordagem é livre de treinamento (training-free), baseando-se em decisões heurísticas condicionadas por prompts em vez de políticas aprendidas. Embora o estudo foque em raciocínio matemático, a ideia central é apresentada como agnóstica ao domínio, aplicável a qualquer domínio intensivo em raciocínio com etapas intermediárias claras e sinais de verificação não-terminais confiáveis (ex: geração de código com testes unitários, QA de múltiplos saltos com checagem de entailment).

O trabalho destaca que a verificação online (guiando a geração) é mais eficaz do que a reclassificação post-hoc (reranking), e que a adaptatividade permite a concentração de computação em caminhos de alta utilidade, evitando o desperdício associado ao escalonamento uniforme. No entanto, os autores reconhecem modestamente as limitações, particularmente a dependência da qualidade do PRM, que pode degradar nos problemas mais difíceis, onde os sinais de verificação são ruidosos. Direções futuras sugeridas incluem verificação consciente da dificuldade e políticas aprendidas conscientes do orçamento.