Resumo Técnico: De QA Simples para Pesquisa Profunda

Declaração do Problema

Tarefas de pesquisa profunda exigem que agentes de IA vão além da simples recuperação de fatos para integrar conhecimento de domínio, realizar raciocínio de múltiplos passos e produzir respostas de alta qualidade e abertas. No entanto, construir benchmarks confiáveis para essas tarefas é um desafio. Os benchmarks existentes frequentemente dependem de autoria especializada dispendiosa ou de materiais humanos pré-existentes, o que limita a escalabilidade. Por outro vez, métodos de construção totalmente automáticos têm dificuldade em garantir uma verificação consistente e rastreável e muitas vezes carecem do conhecimento específico da tarefa necessário para uma avaliação detalhada. O desafio central abordado é como construir uma coleção diversificada de tarefas de pesquisa profunda profissional com rubricas confiáveis e fundamentadas, sem depender de autoria manual de especialistas.

Metodologia

O artigo introduz um pipeline de construção de benchmark totalmente automático centrado em um loop iterativo de Explorador–Formalizador–Desafiador (Explorer–Formalizer–Challenger). Este pipeline transforma progressivamente perguntas simples em tarefas de pesquisa profunda complexas.

1. Representação da Tarefa

A representação estrutural central de uma tarefa é um Grafo Acíclico Dirigido (DAG).

• Nós: Representam passos de pesquisa atômicos, classificados como evidenciais (recuperando fatos rastreáveis) ou analíticos (realizando inferência ou comparação).
• Arestas: Representam dependências lógicas entre os passos.
• Pontos de Verificação (Checkpoints): Cada nó inclui pontos de verificação verificáveis derivados da interação do agente com o ambiente.
  Esta estrutura permite que o processo de resolução seja explícito, decomponível e rastreável.

2. O Pipeline de Construção

O pipeline itera através de três papéis para evoluir uma consulta simples $q_1$ em uma tarefa de pesquisa profunda $q_T$:

• Explorador (Explorer): Resolve a consulta atual em um ambiente aberto usando ferramentas (ex: busca, web scraping). Ele produz uma trajetória de informações exploradas, evidências e análise. Este passo é projetado para descobrir conhecimento de cauda longa e esparso que se torna descobrível apenas quando as intenções de busca são refinadas.
• Formalizador (Formalizer): Analisa a trajetória do Explorador para atualizar o DAG da tarefa ($G$) e derivar um conjunto correspondente de rubricas verificáveis ($R$).
  • Ele organiza a trajetória em um DAG, garantindo que o grafo seja suficiente para responder à consulta, mas mínimo (removendo nós irrelevantes e fundindo nós semanticamente equivalentes).
  • Ele gera rubricas pontuais para cada nó, fundamentadas na evidência específica encontrada.
  • Ele atribui pesos aos nós com base na estrutura do DAG (propagando pesos das folhas para as raízes) para refletar a importância relativa de diferentes passos de pesquisa.
• Desafiador (Challenger): Identifica pistas exploradas, mas não utilizadas, na trajetória que permanecem logicamente conectadas à tarefa. Ele utiliza essas direções "não utilizadas" para gerar uma consulta mais difícil para a próxima rodada ($q_{t+1}$), expandindo efetivamente o escopo (largura) ou a profundidade de raciocínio da tarefa. Crucialmente, ele mascara checkpoints específicos para evitar que a nova consulta revele o caminho da solução.

Critério de Parada: A evolução para quando a estrutura do DAG (nós e arestas) permanece inalterada por duas rodadas consecutivas, indicando que a tarefa atingiu um ponto de saturação onde nenhum conhecimento adicional relevante pode ser integrado.

3. Design de Consulta

A partir da tarefa convergida final, três formas distintas de consulta são geradas para sondar capacidades complementares:

• Consulta com Dicas ($q^h_T$): A consulta completa e complexa contendo dimensões de análise e restrições. Testa o processamento de informações sob pistas ricas.
• Consulta sem Dicas ($q^o_T$): Uma pergunta concisa e cotidiana derivada da consulta complexa, removendo as restrições. Testa a decomposição e o planejamento sob restrições ocultas.
• Consulta de Tópico Atribuído ($q^a_T$): Um título de pesquisa declarativo. Testa a formação de argumentos sob um tópico direcionado sem enquadramento de pergunta explícito.

Principais Contribuições

1. Um Benchmark Verificável: Os autores construíram um benchmark de 500 tarefas de pesquisa profunda abrangendo 31 tópicos e 10 categorias principais. Cada tarefa é acompanhada por rubricas pontuais fundamentadas em fatos e as três formas de consulta mencionadas acima.
2. Pipeline de Construção Totalmente Automático: Eles introduziram um novo pipeline que expande iterativamente consultas simples em DAGs de passos atômicos. Esta abordagem permite que a consulta, a estrutura da tarefa e as rubricas evoluam juntas sem autoria manual ou materiais de especialistas pré-escritos.
3. Avaliação Granular: O benchmark demonstra que suas rubricas permitem uma avaliação estável, alinhada com humanos e granular, distinguindo o desempenho dos modelos de forma mais eficaz do que julgamentos binários ou rankings relativos.

Resultados

Experimentos foram conduzidos em 10 modelos populares (incluindo GPT-5.6, Claude Sonnet 5, DeepSeek-V4-Pro e várias versões do Qwen) sob dois cenários: Modo Agente (com ferramentas) e Modo Modelo (conhecimento interno apenas).

• Discriminação: O benchmark discrimina claramente entre modelos de diferentes capacidades. Modelos mais fortes (ex: GPT-5.6 Terra) superaram consistentemente os mais fracos em todos os tipos de consulta.
• Gradiente de Capacidade: As pontuações mostraram uma dispersão contínua em vez de agrupamento, indicando que as rubricas fornecem satisfação graduada e fina.
• Impacto das Ferramentas: A remoção das ferramentas causou uma queda significativa no desempenho (diminuição média de 0.14) em todos os modelos e tipos de consulta, confirmando que as tarefas codificam informações de cauda longa não presentes nos dados de pré-treinamento.
• Sensibilidade ao Tipo de Consulta: Os modelos mostraram forças variadas entre os tipos de consulta. Por exemplo, dicas mais fracas ($q^o_T$) deslocaram a lacuna de desempenho para o raciocínio analítico, revelando que modelos menores têm mais dificuldade em decompor objetivos amplos e integrar evidências.
• Alinhamento Humano: Revisões humanas de 100 tarefas amostradas mostraram alta qualidade (sem classificações "ruins") e alta concordância entre revisores. Além disso, o julgamento automatizado por LLMs mostrou alta correlação com as avaliações humanas (Pearson $r \approx 0.90$), validando a confiabilidade das rubricas geradas.

Significância

O artigo afirma que sua principal significância reside em abordar a lacuna entre a necessidade de benchmarks de pesquisa profunda e a dificuldade de construí-los de forma confiável sem especialistas humanos. Ao demonstrar que um processo iterativo, impulsionado por agentes, pode gerar tarefas com rubricas rastreáveis e verificáveis, o trabalho oferece um caminho escalável para avaliar a próxima geração de agentes de IA. O benchmark fornece uma métrica estável e granular para avaliar capacidades de pesquisa profunda, revelando fraquezas específicas em modelos atuais (como a incapacidade de descobrir objetivos ocultos ou integrar evidências sem orientação explícita) que não são capturadas por benchmarks existentes. Os autores veem o custo de construção (usando modelos de fronteira para o pipeline) como um investimento necessário para construir um recurso confiável para a comunidade.