💻 computer science

Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration

Este artigo apresenta o "Clarify-Then-Search", um benchmark construído sobre dados reais da Baidu que avalia como perguntas de esclarecimento geradas por LLMs melhoram o desempenho de busca profunda ao restaurar restrições de consulta ausentes, demonstrando que tais interações aumentam significamente a utilidade de ponta a ponta, ao mesmo tempo em que revelam modos de falha comuns, como o excesso de perguntas sobre localizações impossíveis de responder.

Autores originais: Deqiang Huang, Jingbo Zhou, Xinjiang Lu, Tong Xu, Hua Wu, Enhong Chen

Publicado 2026-08-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Deqiang Huang, Jingbo Zhou, Xinjiang Lu, Tong Xu, Hua Wu, Enhong Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No vasto cenário da informação digital, os mecanismos de busca evoluíram de simples comparadores de palavras-chave para assistentes complexos capazes de investigação profunda. Esses sistemas, frequentemente chamados de agentes de busca profunda, não apenas retornam uma lista de links; eles navegam ativamente na web, reúnem evidências de múltiplas fontes e sintetizam uma resposta abrangente para a pergunta de um usuário. No entanto, essas ferramentas poderosas têm uma fraqueza crítica: elas têm dificuldade quando o pedido de um humano é vago. Se um usuário pede pelas "melhores universidades", o sistema não sabe se ele se refere às melhores para engenharia, às melhores na Europa ou às melhores para um orçamento específico. Sem esses detalhes ausentes, a busca pode perder o rumo, desperdiçando tempo em informações irrelevantes e entregando uma resposta final que parece incompleta ou errada. A solução parece óbvia: o computador deveria pedir esclarecimentos. Mas construir um sistema que saiba exatamente o que perguntar, e como usar a resposta para melhorar a busca, tem sido difícil de testar. Até agora, os pesquisadores careciam de uma maneira confiável de medir se uma pergunta de esclarecimento realmente ajuda o mecanismo de busca a encontrar informações melhores, ou se é apenas conversa educada que não leva a lugar nenhum.

Uma equipe de pesquisadores da Universidade de Ciência e Tecnologia da China e da Baidu criou um novo campo de testes para resolver este problema. Eles introduziram um benchmark chamado "Clarify-Then-Search" (Esclarecer-Depois-Buscar), um experimento rigoroso projetado para ver se fazer perguntas antes de buscar realmente leva a melhores resultados. A equipe começou com consultas de busca do mundo real do mecanismo de busca Baidu. Para cada caso de teste, eles primeiro fundiram e normalizaram os dados brutos em uma consulta de intenção clara e específica (a "fused_query" ou "consulta_fundida"), como "as melhores universidades para um mestrado em IA na Europa". Eles então deliberadamente tornaram essa intenção vaga ao remover restrições fundamentais como tempo, região ou escopo para criar a solicitação vaga (a "blurred_query" ou "consulta_vaga") que o sistema veria. Isso criou um conjunto de dados pareado para cada caso de teste: a consulta vaga que o sistema deve lidar e a intenção clara que representava o verdadeiro objetivo do usuário.

Para garantir que o teste fosse justo e livre de manipulação, os pesquisadores estabeleceram uma interação rigorosa de duas fases. Primeiro, um modelo "Clarificador" olhou apenas para a consulta vaga e gerou um conjunto de perguntas para fazer ao usuário. Em seguida, um modelo "Respondente do Usuário", que conhecia a intenção verdadeira e clara, respondeu a essas perguntas. Crucialmente, o Respondente do Usuário foi programado para ser honesto: se a intenção verdadeira não contivesse a informação específica solicitada, ele deveria dizer "desconhecido". Ele não poderia inventar detalhes para ser prestativo. Finalmente, um modelo "Reescritor" pegou a consulta vaga original e as respostas recebidas para criar uma nova e melhorada consulta de busca. Esta consulta reescrita foi então alimentada em um sistema de busca profunda fixo chamado WebDancer, que saiu para encontrar a informação real. Os pesquisadores então compararam a resposta final com uma "referência de ouro" construída a partir da consulta de intenção clara para ver quanto da informação correta foi recuperada com sucesso.

Os resultados revelaram que, embora fazer perguntas ajude, isso não é uma solução mágica. Quando o sistema teve permissão para fazer apenas uma pergunta, todos os modelos testados tiveram um desempenho melhor do que se não tivessem perguntado nada. O modelo com melhor desempenho, o GPT-5.2, conseguiu recuperar significativamente mais informações úteis do que a linha de base. No entanto, o estudo descobriu uma falha persistente na forma como esses sistemas pensam. Muitos modelos, particularmente aqueles que tiveram bom desempenho em outras áreas, tinham o forte hábito de perguntar sobre localização ou região, como "Em qual cidade você está procurando?". Nas condições estritas deste teste, onde a intenção verdadeira frequentemente não especificava uma localização, essas perguntas frequentemente resultavam em uma resposta "desconhecido". Isso significava que o sistema perdia um turno perguntando algo que não poderia responder, deixando a consulta reescrita tão vaga quanto a original. Os pesquisadores descobriram que esse viés de "apenas região" era uma das principais razões pelas quais algumas interações falharam em melhorar a busca, mesmo quando as perguntas pareciam naturais e relevantes.

Aumentar o número de perguntas permitidas de uma para duas ou três geralmente melhorou os resultados, mas os benefícios dependiam fortemente da estratégia do modelo. Enquanto o GPT-5.2 liderou com uma única pergunta, um modelo diferente, o ERNIE-4.5-Turbo-128K, alcançou o topo quando autorizado a fazer três perguntas. Isso sugere que alguns sistemas são melhores em escolher uma única pergunta de alto valor, enquanto outros se destacam em uma conversa sustentada que descobre gradualmente os detalhes ausentes. O estudo também mostrou que simplesmente ter mais turnos não garante o sucesso; se as perguntas extras continuarem visando informações que não estão presentes na intenção do usuário, o sistema continuará atingindo becos sem saída. Os sistemas mais eficazes foram aqueles que conseguiram evitar essas perguntas de baixo rendimento e conseguiram obter pelo menos uma peça de informação concreta e utilizável.

Este trabalho fornece uma maneira clara e reproduzível de medir o verdadeiro valor do esclarecimento na busca profunda. Ele vai além de simplesmente verificar se uma pergunta soa educada ou relevante, focando em se a pergunta realmente leva a uma resposta final melhor. As descobertas sugerem que, para os sistemas de busca profunda se tornarem verdadeiramente confiáveis, eles devem aprender não apenas a perguntar, mas a perguntar as coisas certas. Eles precisam reconhecer quando uma pergunta provavelmente renderá uma resposta e quando é melhor prosseguir com a busca usando a informação que já possuem. Ao expor esses modos específicos de falha, o benchmark oferece um roteiro para construir agentes de busca que sejam não apenas mais inteligentes, mas também mais eficientes, garantindo que cada interação aproxime o usuário da verdade que ele procura.

Resumo Técnico: Clarify-Then-Search

Declaração do Problema

Sistemas de busca profunda, que intercalam raciocínio com o uso de ferramentas (ex: pesquisa na web e navegação), são cada vez mais implantados para necessidades complexas de informação. No entanto, esses sistemas exibem fragilidade quando confrontados com consultas de usuários subespecificadas. Logs de busca do mundo real frequentemente revelam omissões de restrições críticas, como escopo temporal, região geográfica, desambiguação de entidades, limiares numéricos ou definições de conceitos. Na busca profunda, tais ambiguidades têm consequências graves a jusante: podem induzir o planejamento da busca ao erro, desperdiçar orçamentos de chamadas de ferramentas em explorações de baixo rendimento, disparar visitas a evidências fora do alvo e propagar-se para respostas finais incompletas ou incorretas.

Embora os Grandes Modelos de Linguagem (LLMs) possuam a capacidade de fazer perguntas de esclarecimento, as avaliações existentes de esclarecimento em busca profunda permanecem limitadas. Benchmarks anteriores focam frequentemente em propriedades ao nível da pergunta (fluência, plausibilidade) em vez de utilidade a jusante, ou sofrem de vazamento de intenção (intent leakage), onde as etapas de reescrita ou recuperação observam indiretamente a intenção de verdade fundamental (ground-truth), tornando difícil atribuir os ganhos de desempenho à qualidade do esclarecimento.

Metodologia: O Benchmark Clarify-Then-Search

Os autores introduzem o Clarify-Then-Search, um benchmark projetado para avaliar a capacidade de LLMs de fazer perguntas de esclarecimento que facilitem a busca profunda sob estritas restrições de informação. O benchmark é construído sobre 518 instâncias curadas derivadas de consultas de busca reais do Baidu.

1. Construção de Dados

Cada instância consiste em um par:

$q^*$ (fused_query): A consulta de intenção subjacente contendo todas as restrições necessárias.
$q$ (blurred_query): Uma versão subespecificada de $q^*$ onde restrições chave (tempo, localização, escopo, etc.) foram removidas.

Para cada $q^*$ , os autores executam uma vez um backbone de busca profunda fixo (WebDancer) para arquivar traços de evidência. A partir desses traços, eles extraem uma referência de ouro estática composta por "nuggets" ponderados e fundamentados em evidências (declarações atômicas, julgáveis, com identificadores de fonte rastreáveis). Este ouro estático é reutilizado em todas as avaliações para garantir a reprodutibilidade.

2. Protocolo de Livro Fechado de Duas Fases

Para evitar o vazamento de intenção e isolar a contribuição do esclarecimento, a avaliação segue um rigoroso protocolo de duas fases:

Fase 1: Esclarecimento e Resposta. Um Clarificador gera $k$ perguntas de esclarecimento ( $k \in \{1, 2, 3\}$ ) baseadas apenas na consulta borrada $q$ . Um User Answerer (UA), atuando como um simulador restrito, recebe a intenção oculta $q^*$ e a pergunta de esclarecimento. O UA deve responder apenas se o atributo solicitado estiver explicitamente presente em $q^*$ ; caso contrário, deve retornar unknown. O UA é proibido de fabricar informações.
Fase 2: Reescrita e Busca. Um Reescritor recebe a consulta borrada $q$ e os pares de Q&A elicitados. Crucialmente, o Reescritor nunca vê $q^*$ . Ele deve reescrever a consulta $\hat{q}$ usando apenas a informação explicitamente elicitada. Se uma resposta foi unknown, o Reescritor deve preservar a ambiguidade em vez de forçar um valor concreto.
Execução: O WebDancer executa uma busca profunda na consulta reescrita $\hat{q}$ .

3. Métrica de Avaliação

O desempenho é medido pelo restore_score_100, uma pontuação de recall de nuggets ponderada (0–100).

Um juiz de cobertura (fixo em ERNIE-4.5-Turbo) compara a saída final da busca contra os nuggets de ouro estáticos.
Os rótulos são atribuídos como full (1.0), partial (0.5) ou none (0.0).
A pontuação é a soma ponderada desses rótulos dividida pelo peso total dos nuggets de ouro.

Principais Contribuições

Formalização de Dados e Tarefa: O artigo formaliza o esclarecimento de busca profunda como um benchmark de ponta a ponta, desde consultas subespecificadas até a restauração de nuggets. Ele libera um conjunto de dados de 518 instâncias com saídas de avaliação padronizadas.
Protocolo Livre de Vazamento: A introdução de um protocolo de livro fechado de duas fases impede que o Reescritor observe a intenção oracle, permitindo comparações controladas de Clarificadores.
Nuggets de Ouro Estáticos: O uso de uma referência de ouro estática, fundamentada em evidências e realizada uma única vez, permite comparações reprodutíveis entre diferentes modelos e orçamentos de esclarecimento ( $k$ ).
Sinais Diagnósticos: O benchmark torna mensuráveis os comportamentos de interação intermediários, incluindo a respondibilidade do User Answerer (UA), taxas de "todos-desconhecidos" em múltiplas voltas e viés de tipo de pergunta, permitando uma análise granular de modos de falha além das pontuações finais.
Artefatos de Reprodutibilidade: Os autores liberam o conjunto de dados, scripts de pipeline, prompts e traços de ferramentas por instância necessários para reproduzir a construção do ouro e a avaliação.

Resultados Experimentais

O estudo avaliou múltiplos LLMs (incluindo GPT-5.2, Claude-Sonnet-4.5, Gemini-2.5-Pro e modelos de pesos abertos como ERNIE-4.5-Turbo-128K, Qwen3 e DeepSeek-V3.2) usando o backend fixo WebDancer.

Melhoria da Linha de Base: Todos os Clarificadores apresentaram melhoria sobre a linha de base sem interação (executar o WebDancer diretamente na consulta borrada) em $k=1$ .
Efeitos do Orçamento: Orçamentos de esclarecimento maiores ( $k=2, 3$ $k = 2, 3$ ) geralmente geraram ganhos adicionais.
- Em $k=1$ , o GPT-5.2 alcançou a maior pontuação média entre todos os modelos. Entre os modelos de pesos abertos, o ERNIE-4.5-Turbo-128K liderou.
- Em $k=3$ , o ERNIE-4.5-Turbo-128K tornou-se o modelo com melhor desempenho geral, superando o GPT-5.2, Claude-Sonnet-4.5 e Gemini-2.5-Pro. Isso sugere que orçamentos maiores recompensam a qualidade sustentada da seleção de perguntas ao longo das voltas.
Diagnósticos e Modos de Falha:
- Altas Taxas de Desconhecido: Um gargalo significativo é a falha de "ganho de informação". Em $k=1$ , o UA retornou unknown em 60–70% dos casos, significando que muitos esclarecimentos de turno único falharam em elicitar restrições fundamentadas na intenção.
- Viés de Apenas Região: Um modo de falha de baixo rendimento consistente foi identificado, onde os modelos frequentemente perguntavam sobre região/localização. Sob o protocolo de livro fechado, essas perguntas frequentemente elicitavam unknown (taxas de desconhecido de 0.75–0.87 para perguntas de apenas região), desperdiçando turnos de esclarecimento sem melhorar a consulta reescrita.
- Benefícios de Múltiplas Voltas: Aumentar $k$ reduziu significamente a probabilidade de uma interação inteira gerar nenhum sinal fundamentado (ex: a taxa de "todos-desconhecidos" do GPT caiu de 0.618 em $k=1$ para 0.189 em $k=3$ ).

Significância e Alegações

O artigo afirma que o Clarify-Then-Search permite uma avaliação resistente a vazamentos e reprodutível de pipelines de esclarecimento-então-busca. Sua principal significância reside na mudança do foco da avaliação de métricas ao nível da pergunta para a utilidade de ponta a ponta (restauração de nuggets) sob restrições de informação realistas.

Os autores enfatizam que, embora o esclarecimento melhore consistentemente a busca profunda em relação a uma linha de base não interativa, melhorar a busca profunda de forma confiável continua sendo um desafio devido a modos de falha sistemáticos. Especificamente, muitos sistemas fazem perguntas excessivas (particularmente sobre regiões) que são impossíveis de responder dado a intenção oculta, levando a interações de baixo rendimento. O benchmark fornece as ferramentas diagnósticas necessárias para analisar por que o esclarecimento tem sucesso ou falha, destacando a necessidade de sistemas futuros decidirem melhor quando perguntar, o que perguntar e como utilizar sinais de esclarecimento de forma eficaz.

Os resultados são apresentados com modéstia em relação às pontuações absolutas, observando que o benchmark é melhor interpretado como uma avaliação controlada da utilidade do esclarecimento sob um pipeline de busca profunda compartilhado, em vez de um ranking de todos os sistemas de busca possíveis independente de backend.