Resumo Técnico: DISCOBENCH para Busca Profunda com Consciência de Clarificação

1. Declaração do Problema

Agentes de busca alimentados por Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para tarefas de busca de informações complexas e de múltiplas etapas. No entanto, os benchmarks de avaliação existentes operam majoritariamente sob a premissa de que as consultas dos usuários são completas, explícitas e factualmente corretas. Essa premissa diverge significativamente de cenários do mundo real, onde os usuários frequentemente fornecem consultas vagas, subespecificadas ou factualmente incorretas devido a limitações de memória ou carga cognitiva.

Em cenários de "busca profunda" envolvendo cadeias de raciocínio complexas, a ambiguidade inicial pode se propagar pelas etapas subsequentes, levando os agentes a trajetórias incorretas e desperdiçando recursos computacionais. Embora a comunidade acadêmica reconheça a importância da ambiguidade na consulta, os benchmarks atuais falham em avaliar adequadamente a capacidade de um agente de identificar proativamente a ambiguidade, fazer perguntas de clarificação eficazes e recuperar caminhos de raciocínio corretos através da interação. Os datasets existentes focam ou em ambiguidade estática (ex: AmbigQA) ou carecem da profundidade da busca na web de domínio aberto e dos efeitos de amplificação da ambiguidade dentro de longas cadeias de raciocínio (ex: InteractComp).

2. Metodologia

2.1 Construção do DISCOBENCH

Os autores introduzem o DISCOBENCH (Deep Interactive Search with ClarificatiOn Benchmark), um dataset projetado para modelar a ambiguidade como um fenômeno dinâmico que surge durante trajetórias de busca de múltiplas etapas. O pipeline de construção consiste em duas fases:

• Fase 1: Preparação de Dados Semente: A equipe coletou tópicos semente de 11 domínios diversos (ex: Cinema/TV, Esportes, Acadêmico, Finanças) usando recursos enciclopédicos e resultados de mecanismos de busca. Eles construíram cadeias de raciocínio multi-salto de alta qualidade (211 amostras) onde as respostas são objetivamente verificáveis e requerem recuperação externa.
• Fase 2: Construção de Dados Ambíguos: Cadeias de raciocínio determinísticas foram transformadas em tarefas interativas através da injeção de ambiguidade. Os autores identificaram "pontos de ambiguidade" onde o relaxamento de restrições leva a múltiplos candidatos plausíveis. Eles substituíram restrições fortes por atributos compartilhados entre entidades candidatas, criando quatro tipos específicos de ambiguidade:
  1. Entidade: Múltiplas entidades satisfazem a mesma descrição.
  2. Versão: Diferentes estados temporais ou de versão.
  3. Critério: Diferentes padrões de avaliação ou critérios de classificação.
  4. Incorreção Factual: Descrições inconsistentes com fatos objetivos.

O dataset contém 211 amostras com 463 instâncias de ambiguidade. Para cada ponto de ambiguidade, fatos discriminativos (pistas) foram gerados para permitir que um simulador de usuário forneça a informação necessária para resolver a ambiguidade.

2.2 Estrutura de Avaliação

A avaliação simula uma interação de múltiplos turnos entre um agente e um simulador de usuário (implementado via LLM). O agente navega por uma sequência de Checkpoints (CPs) estruturados. Em cada checkpoint, o agente deve decidir entre três ações:

1. SEARCH (BUSCAR): Recuperar informações.
2. ASK (PERGUNTAR): Solicitar clarificação ao usuário.
3. ANSWER (RESPONDER): Submeter uma resposta final.

A estrutura avalia os agentes a partir de quatro perspectivas:

• Utilidade da Tarefa: Precisão de ponta a ponta e taxa de passagem nos checkpoints.
• Detecção de Ambiguidade: Precisão de detecção e F1 score (identificar quando um checkpoint é ambíguo).
• Estratégia de Interação: Eficácia da clarificação (precisão da pergunta feita e se ela leva ao avanço do checkpoint).
• Eficiência de Custo: Consumo de tokens e turnos de uso de ferramentas.

Duas configurações de prompting foram usadas: Neutro (sem instrução explícita para procurar ambiguidade) e Guiado (lembrando explicitamente o agente para estar atento à potencial ambiguidade).

3. Principais Contribuições

1. Benchmark DISCOBENCH: Um novo benchmark que modela a ambiguidade como um problema dinâmico e propagável na busca de múltiplas etapas, em vez de uma propriedade estática de uma única consulta. Ele cobre 11 domínios e quatro tipos de ambiguidade.
2. Estrutura de Avaliação com Consciência de Ambiguidade: Um protocolo unificado incluindo um simulador de usuário que revela progressivamente pistas discriminativas, permitindo a avaliação simultânea de detecção, qualidade de clarificação e custo de interação.
3. Insights Empíricos: Experimentos extensos revelando que a detecção de ambiguidade e a clarificação eficaz são capacidades distintas. Os autores identificam um modo de falha crítico onde os agentes buscam repetidamente em vez de pedir clarificação, muitas vezes performando pior do que o palpite direto.

4. Resultados Experimentais

Os autores avaliaram 11 LLMs de fronteira (incluindo GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.7 e vários modelos chineses) no DISCOBENCH.

• Desempenho Limitado: Sob a configuração Neutra, o modelo com melhor desempenho (Doubao-Seed-2.0-Pro) alcançou apenas 43,1% de precisão de ponta a ponta. A maioria dos modelos permaneceu abaixo de 40%.
• Lacuna entre Detecção e Clarificação: Embora o prompting "Guiado" tenha melhorado a detecção de ambiguidade (o F1 aumentou de ~45% para ~65%), ele não melhorou proporcionalmente a precisão de ponta a ponta. Isso indica que reconhecer a ambiguidade é distinto de formular perguntas de clarificação eficazes.
• O Modo de Falha "Search-Heavy Guess" (Palpite com Muita Busca): Uma descoberta significativa é que os agentes frequentemente falham ao realizar recuperação excessiva (SearchHeavyGuess) em vez de pedir ajuda. Esse comportamento rendeu taxas de sucesso (51,9%) menores do que o palpite direto (56,5%). Os autores observam que a recuperação repetida geralmente indica que o modelo está ciente de múltiplos candidatos, mas falha em elevar essa incerteza para um pedido de clarificação.
• Uso de Ferramentas vs. Desempenho: O aumento do uso de ferramentas (mais chamadas de busca) não correlacionou com melhor desempenho. Modelos que buscaram com mais frequência não necessariamente alcançaram maior precisão, sugerindo que a alocação estratégica de ações de recuperação é mais crítica do que o volume.
• Impacto da Ambiguidade: Remover a ambiguidade das tarefas melhorou significativamente a precisão em todos os modelos (de 26,8% a 40,2%), confirmando que a ambiguidade é uma fonte primária de dificuldade na busca profunda.

5. Significância e Alegações

O artigo afirma que os atuais agentes de busca baseados em LLM possuem fortes habilidades de recuperação e raciocínio, mas carecem de consciência de ambiguidade e estratégias de interação proativa. Os autores argumentam que a busca interativa profunda requer mecanismos que conectem explicitamente a incerteza de recuperação com a interação do usuário.

A significância do DISCOBENCH reside em sua capacidade de expor uma lacuna nas capacidades atuais dos agentes: a incapacidade de distinguir entre "buscar por mais informações" e "pedir uma clarificação". Os autores concluem que os futuros agentes de busca devem ser desenvolvidos não apenas com raciocínio mais forte, mas com melhores capacidades de identificar estados subespecificados e solicitar estrategicamente a entrada do usuário para recuperar trajetórias de raciocínio corretas.

O artigo mantém um tom modesto em relação às suas limitações, reconhecendo que o simulador de usuário é baseado em LLM e não em humanos, e que o benchmark atualmente foca em respostas de perguntas objetivas, deixando a ambiguidade de preferência subjetiva para trabalhos futuros.