Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification

1. Declaração do Problema

Agentes de Pesquisa Profunda (DRAs) impulsionados por Modelos de Linguagem de Grande Escala (LLMs) estão transformando a descoberta automatizada de conhecimento, mas sofrem com questões de confiabilidade. Modos de falha comuns incluem alucinações, uso incorreto de APIs, dependência de fontes secundárias incompletas e erros de raciocínio.

• Limitações das Abordagens Atuais: Os métodos existentes focam principalmente no aprimoramento das capacidades de política via pós-treinamento (Ajuste Fino Supervisionado ou Aprendizado por Reforço). Embora o "Escalonamento no Tempo de Teste" (por exemplo, amostragem Best-of-N) exista, ele frequentemente falha porque diferentes execuções tendem a repetir os mesmos erros sistemáticos.
• A Lacuna: Há uma falta de frameworks escaláveis e automatizados que permitam que agentes autoevoluam durante a inferência, verificando suas próprias saídas, gerando feedback direcionado e refinando respostas sem treinamento adicional. Além disso, gerar feedback de alta qualidade é difícil, pois requer capacidades de raciocínio sofisticadas.

2. Metodologia

Os autores propõem o DeepVerifier, um framework que aproveita a assimetria da verificação (verificar uma resposta é frequentemente mais fácil do que gerá-la) para permitir a autoaperfeiçoamento iterativo. A metodologia consiste em três componentes principais:

A. Taxonomia de Falhas do DRA

Para guiar a verificação, os autores construíram uma taxonomia sistemática de falhas de agentes baseada em uma análise de 555 pontos de erro do conjunto de dados WebAggregatorQA.

• Estrutura: A taxonomia classifica as falhas em 5 categorias principais e 13 subcategorias.
• Principais Descobertas: O modo de falha mais frequente é "Encontrar Fontes" (por exemplo, consultar evidências erradas, buscas genéricas), seguido por "Raciocínio" (conclusões prematuras, alucinações).
• Uso: Esta taxonomia serve como base para a criação de rubricas estruturadas que orientam o processo de verificação.

B. O Framework DeepVerifier

O DeepVerifier é um pipeline de três estágios e múltiplos módulos projetado para decompor tarefas complexas de verificação:

1. Agente de Decomposição:
   • Em vez de pedir a um LLM que re-solva toda a tarefa complexa (o que é propenso a erros), este agente resume a trajetória original e identifica pontos de erro potenciais com base na Taxonomia de Falhas.
   • Ele formula perguntas de acompanhamento de alta alavancagem direcionadas a vulnerabilidades específicas (por exemplo, "A Fonte X afirma explicitamente a Afirmação Y?").
2. Agente de Verificação:
   • Executa as perguntas de acompanhamento usando ferramentas externas (busca na web, execução de código) para reunir evidências concretas.
3. Agente Julgador:
   • Avalia a resposta original contra o resumo da trajetória, a lista de erros potenciais e as evidências reunidas a partir das perguntas de acompanhamento.
   • Gera uma pontuação baseada em rubrica (1–4) e feedback detalhado e acionável.

C. Escalonamento no Tempo de Teste e Autoevolução

• Loop Iterativo: O agente gera uma resposta $\rightarrow$ o DeepVerifier a verifica $\rightarrow$ Feedback é fornecido $\rightarrow$ O agente tenta novamente/refina a resposta.
• Feedback Guiado por Rubrica: O feedback não é genérico; é derivado da taxonomia de falhas específica, garantindo que o agente saiba exatamente por que falhou (por exemplo, "Você confiou em uma busca genérica em vez de uma fonte primária").
• Sem Treinamento Necessário: Este processo ocorre inteiramente no tempo de inferência, não exigindo atualizações de gradiente no modelo base.

D. Conjunto de Dados DeepVerifier-4K

Para permitir que modelos de código aberto desenvolvam capacidades robustas de verificação, os autores criaram o DeepVerifier-4K, um conjunto de dados de Ajuste Fino Supervisionado (SFT) curado contendo 4.646 pares de prompt-resposta de alta qualidade. Esses pares focam no processo de reflexão e autocrítica, permitindo que modelos abertos (como o Qwen) aprendam a verificar e refinar suas próprias saídas.

3. Principais Contribuições

1. Formalização da Reflexão de Agentes: O artigo formaliza um pipeline de reflexão para DRAs que explora a assimetria de verificação, indo além da avaliação holística para a verificação direcionada de evidências.
2. Taxonomia de Falhas do DRA: A criação de uma taxonomia abrangente e automaticamente construída (5 classes, 13 subclasses) que categoriza sistematicamente as falhas dos agentes, servindo como um modelo para recompensas baseadas em rubricas.
3. Framework DeepVerifier: Um módulo plug-and-play que integra verificação e geração de feedback, superando as linhas de base padrão "Agente como Julgador" e Julgador LLM.
4. Conjunto de Dados DeepVerifier-4K: Um conjunto de dados SFT de alta qualidade lançado para a comunidade aberta para treinar modelos em reflexão e autocrítica, abordando a escassez de dados para essa capacidade específica.

4. Resultados Experimentais

Desempenho de Verificação (Meta-avaliação)

• O DeepVerifier supera significativamente o "Agente como Julgador" vanilla e juízes LLM padrão.
• Métrica: Ele alcança uma melhoria de 12%–48% nas pontuações F1 de meta-avaliação.
• Ablação: A remoção do módulo de decomposição leva a alta precisão, mas baixa recall (perdendo erros sutis). A remoção do módulo de verificação leva a baixa precisão. O pipeline completo equilibra ambos.

Escalonamento no Tempo de Teste (Ganhos de Desempenho)

• Modelos de Código Fechado (Claude-3.7-Sonnet):
  • No benchmark GAIA, a precisão melhorou em 8%–11% (por exemplo, o GAIA-Web subiu de ~52% para ~63,5%).
  • No XBench-DeepSearch, os ganhos atingiram 6%.
  • No BrowseComp (extremamente difícil), os ganhos atingiram 5%.
• Modelos de Código Aberto (Qwen3-8B / DeepVerifier-8B):
  • Modelos ajustados finamente no DeepVerifier-4K mostraram capacidades de reflexão superiores.
  • O DeepVerifier-8B alcançou um ganho de precisão de 5,5% após 10 rodadas de reflexão, superando significativamente o Qwen3-8B base e o CK-Pro-8B (treinado apenas em dados padrão).

Tendências de Escalonamento

• O desempenho geralmente atinge o pico em torno de 3–4 rodadas de feedback.
• Rodadas iniciais corrigem muitos erros (Incorreto $\to$ Correto), mas rodadas posteriores arriscam a supercorreção (Correto $\to$ Incorreto). O framework inclui um mecanismo de parada antecipada quando o verificador aceita uma resposta.

5. Significado e Impacto

• Mudança de Paradigma: O artigo desloca o foco do treinamento exclusivo de agentes melhores para o escalonamento da verificação no tempo de inferência. Ele demonstra que agentes podem se autocorrigir efetivamente sem custos adicionais de treinamento.
• Escalabilidade: A abordagem é agnóstica ao modelo, funcionando efetivamente tanto com APIs poderosas de código fechado quanto com modelos de código aberto ajustados finamente.
• Eficiência de Recursos: Ao decompor a verificação em pequenas subtarefas em vez de re-solver todo o problema, oferece um melhor trade-off precisão-custo em comparação com métodos de força bruta como Best-of-N.
• Contribuição para a Comunidade: O lançamento da Taxonomia de Falhas e do conjunto de dados DeepVerifier-4K fornece uma base crítica para pesquisas futuras em Aprendizado por Reforço (RL) aprimorado por reflexão e desenvolvimento de agentes confiáveis.

Em resumo, este trabalho estabelece que a verificação estruturada e guiada por rubricas é um mecanismo poderoso para escalar a confiabilidade dos Agentes de Pesquisa Profunda, transformando a computação no tempo de inferência em um loop de autoaperfeiçoamento que aumenta significativamente a precisão em tarefas complexas de raciocínio multi-etapa.