💻 computer science

Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration

Este artículo presenta "Clarify-Then-Search", un referente construido sobre datos reales de Baidu que evalúa cómo las preguntas de aclaración generadas por LLM mejoran el rendimiento de la búsqueda profunda al restaurar restricciones de consulta faltantes, demostrando que tales interacciones aumentan significativamente la utilidad de extremo a extremo al tiempo que revelan modos de falla comunes como el exceso de preguntas de ubicación no respondibles.

Autores originales: Deqiang Huang, Jingbo Zhou, Xinjiang Lu, Tong Xu, Hua Wu, Enhong Chen

Publicado 2026-08-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Deqiang Huang, Jingbo Zhou, Xinjiang Lu, Tong Xu, Hua Wu, Enhong Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje de la información digital, los motores de búsqueda han evolucionado de simples comparadores de palabras clave a complejos asistentes capaces de realizar investigaciones profundas. Estos sistemas, a menudo llamados agentes de búsqueda profunda, no solo devuelven una lista de enlaces; navegan activamente por la web, recopilan evidencia de múltiples fuentes y sintetizan una respuesta exhaustiva a la pregunta de un usuario. Sin embargo, estas poderosas herramientas tienen una debilidad crítica: tienen dificultades cuando la petición de un humano es vaga. Si un usuario pide "las mejores universidades", el sistema no sabe si se refiere a las mejores para ingeniería, las mejores en Europa o las mejores para un presupuesto específico. Sin estos detalles faltantes, la búsqueda puede desviarse del camino, perdiendo tiempo en información irrelevante y entregando una respuesta final que se siente incompleta o errónea. La solución parece obvia: la computadora debería pedir una aclaración. Pero construir un sistema que sepa exactamente qué preguntar, y cómo usar la respuesta para mejorar la búsqueda, ha sido difícil de probar. Hasta ahora, los investigadores carecían de una forma fiable de medir si una pregunta de aclaración realmente ayuda al motor de búsqueda a encontrar mejor información, o si es solo charla cortés que no conduce a nada.

Un equipo de investigadores de la Universidad de Ciencia y Tecnología de China y Baidu ha creado un nuevo campo de pruebas para resolver este problema. Introdujeron un benchmark llamado "Clarify-Then-Search" (Aclarar-Luego-Buscar), un experimento riguroso diseñado para ver si hacer preguntas antes de buscar conduce realmente a mejores resultados. El equipo partió de consultas de búsqueda del mundo real del motor de búsqueda Baidu. Para cada caso de prueba, primero fusionaron y normalizaron los datos brutos en una consulta de intención clara y específica (la "fused_query"), como "las mejores universidades para una maestría en IA en Europa". Luego, desdibujaron deliberadamente esta intención eliminando restricciones clave como el tiempo, la región o el alcance para crear la solicitud vaga (la "blurred_query") que el sistema vería. Esto creó un conjunto de datos emparejados para cada caso de prueba: la consulta vaga que el sistema debe manejar, y la intención clara que representaba el verdadero objetivo del usuario.

Para asegurar que la prueba fuera justa y estuviera libre de manipulación, los investigadores establecieron una interacción estricta de dos fases. Primero, un modelo "Clarificador" observó únicamente la consulta vaga y generó un conjunto de preguntas para hacer al usuario. Luego, un modelo "Respondiente del Usuario" (User Answerer), que conocía la intención real y clara, respondió a esas preguntas. Crucialmente, el Respondiente del Usuario fue programado para ser honesto: si la intención real no contenía la información específica solicitada, debía decir "desconocido". No podía inventar detalles para ser útil. Finalmente, un modelo "Reescritor" tomó la consulta vaga original y las respuestas recibidas para crear una nueva y mejorada consulta de búsqueda. Esta consulta reescrita fue luego introducida en un sistema de búsqueda profunda fijo llamado WebDancer, que salió a buscar la información real. Los investigadores luego compararon la respuesta final contra una "referencia dorada" construida a partir de la consulta de intención clara para ver qué tanta de la información correcta fue recuperada con éxito.

Los resultados revelaron que, si bien hacer preguntas ayuda, no es una solución mágica. Cuando al sistema se le permitió hacer solo una pregunta, todos los modelos probados funcionaron mejor que si no hubieran preguntado nada. El modelo con mejor desempeño, GPT-5.2, logró recuperar significativamente más información útil que la línea base. Sin embargo, el estudio descubrió un fallo persistente en la forma en que estos sistemas piensan. Muchos modelos, particularmente aquellos que funcionaban bien en otras áreas, tenían el fuerte hábito de preguntar sobre la ubicación o región, como "¿En qué ciudad está buscando?". Bajo las estrictas condiciones de esta prueba, donde la intención real a menudo no especificaba una ubicación, estas preguntas resultaron frecuentemente en una respuesta de "desconocido". Esto significaba que el sistema desperdiciaba un turno preguntando algo que no podía responder, dejando la consulta reescrita tan vaga como la original. Los investigadores encontraron que este sesgo de "solo región" era una razón importante por la cual algunas interacciones fallaban al intentar mejorar la búsqueda, incluso cuando las preguntas sonaban naturales y relevantes.

Aumentar el número de preguntas permitidas de una a dos o tres generalmente mejoró los resultados, pero los beneficios dependían fuertemente de la estrategia del modelo. Mientras que GPT-5.2 lideraba con una sola pregunta, un modelo diferente, ERNIE-4.5-Turbo-128K, tomó el primer lugar cuando se le permitieron tres preguntas. Esto sugiere que algunos sistemas son mejores eligiendo una única pregunta de alto valor, mientras que otros sobresalen en una conversación sostenida que descubre gradualmente los detalles faltantes. El estudio también mostró que tener más turnos no garantiza el éxito; si las preguntas adicionales continúan apuntando a información que no está presente en la intención del usuario, el sistema continúa chocando con callejones sin salida. Los sistemas más efectivos fueron aquellos que lograron evitar estas preguntas de bajo rendimiento y lograron eliciar al menos una pieza de información concreta y utilizable.

Este trabajo proporciona una forma clara y reproducible de medir el verdadero valor de la aclaración en la búsqueda profunda. Va más allá de simplemente verificar si una pregunta suena cortés o relevante, enfocándose en si la pregunta realmente conduce a una mejor respuesta final. Los hallazgos sugieren que, para que los sistemas de búsqueda profunda sean verdaderamente fiables, deben aprender no solo a preguntar, sino a preguntar las cosas correctas. Deben reconocer cuándo una pregunta es probable que rinda una respuesta y cuándo es mejor proceder con la búsqueda utilizando la información que ya poseen. Al exponer estos modos de fallo específicos, el benchmark ofrece una hoja de ruta para construir agentes de búsqueda que no solo sean más inteligentes, sino también más eficientes, asegurando que cada interacción acerque al usuario más a la verdad que está buscando.

Resumen Técnico: Clarify-Then-Search

Planteamiento del Problema

Los sistemas de búsqueda profunda, que intercalan el razonamiento con el uso de herramientas (por ejemplo, búsqueda web y navegación), se están desplegando cada vez más para necesidades de información complejas. Sin embargo, estos sistemas muestran fragilidad cuando se enfrentan a consultas de usuario subespecificadas. Los registros de búsqueda del mundo real revelan frecuentemente omisiones de restricciones críticas como el alcance temporal, la región geográfica, la disambiguación de entidades, los umbrales numéricos o las definiciones de conceptos. En la búsqueda profunda, tales ambigüedades tienen consecuencias graves en las etapas posteriores: pueden confundir la planificación de la búsqueda, desperdiciar presupuestos de llamadas a herramientas en exploraciones de bajo rendimiento, activar visitas a evidencia errónea y propagarse hacia respuestas finales incompletas o incorrectas.

Aunque los Modelos de Lenguaje Grande (LLM) poseen la capacidad de hacer preguntas de aclaración, las evaluaciones existentes de la aclaración en la búsqueda profunda siguen siendo limitadas. Muchos benchmarks previos se centran en propiedades a nivel de pregunta (fluidez, plausibilidad) en lugar de la utilidad posterior, o sufren de filtración de intención (intent leakage), donde las etapas de reescritura o recuperación observan indirectamente la intención de la verdad fundamental (ground-truth), lo que dificulta atribuir las mejoras de rendimiento a la calidad de la aclaración.

Metodología: El Benchmark Clarify-Then-Search

Los autores presentan Clarify-Then-Search, un benchmark diseñado para evaluar la capacidad de los LLM para realizar preguntas de aclaración que faciliten la búsqueda profunda bajo estrictas restricciones de información. El benchmark se basa en 518 instancias curadas derivadas de consultas reales de Baidu.

1. Construcción de Datos

Cada instancia consiste en un par:

$q^*$ (fused_query): La consulta de intención subyacente que contiene todas las restricciones necesarias.
$q$ (blurred_query): Una versión subespecificada de $q^*$ donde se han eliminado restricciones clave (tiempo, ubicación, alcance, etc.).

Para cada $q^*$ , los autores ejecutan una vez un esqueleto de búsqueda profunda fijo (WebDancer) para archivar trazas de evidencia. De estas trazas, extraen una referencia de oro estática (static golden reference) que consiste en "nuggets" (enunciados atómicos, juzgables y con identificadores de fuente trazables) ponderados y basados en evidencia. Este "oro estático" se reutiliza en todas las evaluaciones para asegurar la reproducibilidad.

2. Protocolo de Libro Cerrado de Dos Fases

Para prevenir la filtración de intención y aislar la contribución de la aclaración, la evaluación sigue un estricto protocolo de dos fases:

Fase 1: Clarificación y Respuesta. Un Clarificador genera $k$ preguntas de aclaración ( $k \in \{1, 2, 3\}$ ) basándose únicamente en la consulta difusa $q$ . Un Usuario-Respondedor (UA), actuando como un simulador con restricciones, recibe la intención oculta $q^*$ y la pregunta de aclaración. El UA debe responder solo si el atributo solicitado está explícitamente presente en $q^*$ ; de lo contrario, debe emitir unknown (desconocido). El UA tiene prohibido fabricar información.
Fase 2: Reescritura y Búsqueda. Un Reescritor recibe la consulta difusa $q$ y los pares de Pregunta-Respuesta (Q&A) obtenidos. Crucialmente, el Reescritor nunca ve $q^*$ . Debe reescribir la consulta $\hat{q}$ utilizando únicamente la información explicitamente extraída. Si una respuesta fue unknown, el Reescritor debe preservar la ambigüedad en lugar de forzar un valor concreto.
Ejecución: WebDancer ejecuta una búsqueda profunda sobre la consulta reescrita $\hat{q}$ .

3. Métrica de Evaluación

El rendimiento se mide mediante restore_score_100, una puntuación de recuperación de nuggets ponderada (0–100).

Un juez de cobertura (fijo en ERNIE-4.5-Turbo) compara la salida de búsqueda final contra los nuggets de oro estáticos.
Las etiquetas se asignan como full (1.0), partial (0.5) o none (0.0).
La puntuación es la suma ponderada de estas etiquetas dividida por el peso total de los nuggets de oro.

Contribuciones Clave

Formalización de Datos y Tarea: El artículo formaliza la aclaración en la búsqueda profunda como un benchmark de extremo a extremo, desde consultas subespecificadas hasta la restauración de nuggets. Publica un conjunto de datos de 518 instancias con salidas de evaluación estandarizadas.
Protocolo Libre de Filtración: La introducción de un protocolo de libro cerrado de dos fases evita que el Reescritor observe la intención de oráculo, permitiendo comparaciones controladas de los Clarificadores.
Nuggets de Oro Estáticos: El uso de una referencia estática basada en evidencia y generada una sola vez permite comparaciones reproducibles entre diferentes modelos y presupuestos de aclaración ( $k$ ).
Señales Diagnósticas: El benchmark permite medir comportamientos de interacción intermedia, incluyendo la capacidad de respuesta del Usuario-Respondedor (UA), las tasas de "todo-desconocido" en múltiples turnos y el sesgo de tipo de pregunta, permitiendo un análisis granular de los modos de fallo más allá de las puntuaciones finales.
Artefactos de Reproducibilidad: Los autores liberan el conjunto de datos, los scripts del pipeline, los prompts y las trazas de herramientas por instancia necesarios para reproducir la construcción del oro y la evaluación.

Resultados Experimentales

El estudio evaluó múltiples LLM (incluyendo GPT-5.2, Claude-Sonnet-4.5, Gemini-2.5-Pro y modelos de pesos abiertos como ERNIE-4.5-Turbo-128K, Qwen3 y DeepSeek-V3.2) utilizando el backend fijo de WebDancer.

Mejora de la Línea Base: Todos los Clarificadores mejoraron respecto a la línea base sin interacción (ejecutar WebDancer directamente sobre la consulta difusa) en $k=1$ .
Efectos del Presupuesto: Presupuestos de aclaración mayores ( $k=2, 3$ $k = 2, 3$ ) generalmente produjeron mayores ganancias.
- En $k=1$ , GPT-5.2 logró la puntuación media más alta entre todos los modelos. Entre los modelos de pesos abiertos, ERNIE-4.5-Turbo-128K lideró.
- En $k=3$ , ERNIE-4.5-Turbo-128K se convirtió en el modelo con mejor rendimiento general, superando a GPT-5.2, Claude-Sonnet-4.5 y Gemini-2.5-Pro. Esto sugiere que los presupuestos más grandes recompensan una calidad sostenida en la selección de preguntas a través de los turnos.
Diagnósticos y Modos de Fallo:
- Altas Tasas de Desconocido: Un cuello de botella significativo es el fallo de "ganancia de información". En $k=1$ , el UA devolvió unknown en el 60–70% de los casos, lo que significa que muchas aclaraciones de un solo turno fallaron en extraer restricciones basadas en la intención.
- Sesgo de Solo Región: Se identificó un modo de fallo de bajo rendimiento constante donde los modelos preguntaban frecuentemente sobre regiones/ubicaciones. Bajo el protocolo de libro cerrado, estas preguntas a menudo resultaron en unknown (tasas de desconocido de 0.75–0.87 para preguntas de solo región), desperdiciando turnos de aclaración sin mejorar la consulta reescrita.
- Beneficios de Múltiples Turnos: Aumentar $k$ redujo significamente la probabilidad de que una interacción entera no produjera ninguna señal fundamentada (por ejemplo, la tasa de "todo-desconocido" de GPT cayó de 0.618 en $k=1$ a 0.189 en $k=3$ ).

Significado y Reivindicaciones

El artículo afirma que Clarify-Then-Search permite una evaluación resistente a la filtración y reproducible de los procesos de clarificación-luego-búsqueda. Su principal importancia radica en desplazar el enfoque de la evaluación de métricas a nivel de pregunta hacia la utilidad de extremo a extremo (restauración de nuggets) bajo restricciones de información realistas.

Los autores enfatizan que, si bien la aclaración mejora consistentemente la búsqueda profunda sobre una línea base no interactiva, mejorar la búsqueda profunda de manera fiable sigue siendo un desafío debido a modos de fallo sistemáticos. Específicamente, muchos sistemas hacen demasiadas preguntas (particularmente sobre regiones) que son imposibles de responder dado la intención oculta, lo que conduce a interacciones de bajo rendimiento. El benchmark proporciona las herramientas diagnósticas necesarias para analizar por qué la aclaración tiene éxito o falla, destacando la necesidad de que los sistemas futuros decidan mejor cuándo preguntar, qué preguntar y cómo utilizar las señales de aclaración de manera efectiva.

Los resultados se presentan con modestia respecto a las puntuaciones absolas, señalando que el benchmark es mejor interpretado como una evaluación controlada de la utilidad de la aclaración bajo un pipeline de búsqueda profunda compartido, más que como un ranking agnóstico de backend de todos los posibles sistemas de búsqueda.