Resumen Técnico: DISCOBENCH para la Búsqueda Profunda con Conciencia de Clarificación

1. Planteamiento del Problema

Los agentes de búsqueda impulsados por Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más para tareas de búsqueda de información complejas y de múltiples pasos. Sin embargo, los benchmarks de evaluación existentes operan mayoritariamente bajo el supuesto de que las consultas de los usuarios son completas, explícitas y fácticamente correctas. Este supuesto diverge significativamente de los escenarios del mundo real, donde los usuarios frecuentemente proporcionan consultas vagas, insuficientemente especificadas o fácticamente incorrectas debido a limitaciones de memoria o carga cognitiva.

En escenarios de "búsqueda profunda" que involucran cadenas de razonamiento complejas, la ambigüedad inicial puede propagarse a través de los pasos subsiguientes, llevando a los agentes por trayectorias incorrectas y desperdiciando recursos computacionales. Aunque la comunidad académica reconoce la importancia de la ambigüedad en las consultas, los benchmarks actuales no evalúan adecuadamente la capacidad de un agente para identificar proactivamente la ambigüedad, realizar preguntas de clarificación efectivas y recuperar trayectorias de razonamiento correctas mediante la interacción. Los conjuntos de datos existentes se centran ya sea en la ambigüedad estática (por ejemplo, AmbigQA) o carecen de la profundidad de la búsqueda web de dominio abierto y de los efectos de amplificación de la ambigüedad dentro de largas cadenas de razonamiento (por ejemplo, InteractComp).

2. Metodología

2.1 Construcción de DISCOBENCH

Los autores presentan DISCOBENCH (Deep Interactive Search with ClarificatiOn Benchmark), un conjunto de datos diseñado para modelar la ambigüedad como un fenómeno dinámico que surge durante las trayectorias de búsqueda de múltiples pasos. El pipeline de construcción consta de dos fases:

• Fase 1: Preparación de Datos Semilla: El equipo recolectó temas semilla de 11 dominios diversos (por ejemplo, Cine/TV, Deportes, Académico, Finanzas) utilizando recursos enciclopédicos y resultados de motores de búsqueda. Construyeron cadenas de razonamiento de múltiples saltos de alta calidad (211 muestras) donde las respuestas son objetivamente verificables y requieren recuperación externa.
• Fase 2: Construcción de Datos Ambiguos: Las cadenas de razonamiento deterministas fueron transformadas en tareas interactivas mediante la inyección de ambigüedad. Los autores identificaron "puntos de ambigüedad" donde la relajación de las restricciones conduce a múltiples candidatos plausibles. Reemplazaron las restricciones fuertes con atributos compartidos entre las entidades candidatas, creando cuatro tipos específicos de ambigüedad:
  1. Entidad: Múltiples entidades satisfacen la misma descripción.
  2. Versión: Diferentes estados temporales o de versión.
  3. Criterio: Diferentes estándares de evaluación o criterios de clasificación.
  4. Inexactitud Fáctica: Descripciones inconsistentes con hechos objetivos.

El conjunto de datos contiene 211 muestras con 463 instancias de ambigüedad. Para cada punto de ambigüedad, se generaron hechos discriminativos (pistas) para permitir que un simulador de usuario proporcione la información necesaria para resolver la ambigüedad.

2.1 Marco de Evaluación

La evaluación simula una interacción de múltiples turnos entre un agente y un simulador de usuario (implementado mediante un LLM). El agente navega por una secuencia de Puntos de Control (CPs) estructurados. En cada punto de control, el agente debe decidir entre tres acciones:

1. SEARCH (BUSCAR): Recuperar información.
2. ASK (PREGUNTAR): Solicitar una clarificación al usuario.
3. ANSWER (RESPONDER): Entregar una respuesta final.

El marco evalúa a los agentes desde cuatro perspectivas:

• Utilidad de la Tarea: Precisión de extremo a extremo y tasa de paso de los puntos de control.
• Detección de Ambigüedad: Precisión de detección y puntuación F1 (identificar cuándo un punto de control es ambiguo).
• Estrategia de Interacción: Efectividad de la clarificación (precisión de la pregunta realizada y si esta conduce al avance del punto de control).
• Eficiencia de Costos: Consumo de tokens y turnos de uso de herramientas.

Se utilizaron dos configuraciones de prompting: Neutral (sin instrucción explícita de buscar ambigüedad) y Guiada (recordando explícitamente al agente que debe estar atento a la ambigüedad potencial).

3. Contribuciones Clave

1. Benchmark DISCOBENCH: Un nuevo benchmark que modela la ambigüedad como un problema dinámico y de propagación en la búsqueda de múltiples pasos, en lugar de una propiedad estática de una sola consulta. Cubre 11 dominios y cuatro tipos de ambigüedad.
2. Marco de Evaluación Consciente de la Ambigüedad: Un protocolo unificado que incluye un simulador de usuario que revela progresivamente pistas discriminativas, permitiendo evaluar simultáneamente la detección, la calidad de la clarificación y el costo de la interacción.
3. Perspectivas Empíricas: Experimentos extensos que revelan que la detección de ambigüedad y la clarificación efectiva son capacidades distintas. Los autores identifican un modo de falla crítico donde los agentes buscan repetidamente en lugar de pedir aclaraciones, desempeñándose a menudo peor que si simplemente adivinaran directamente.

4. Resultados Experimentales

Los autores evaluaron 11 LLM de frontera (incluyendo GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.7 y varios modelos chinos) en DISCOBENCH.

• Desempeño Limitado: Bajo la configuración Neutral, el modelo con mejor desempeño (Doubao-Seed-2.0-Pro) logró solo un 43.1% de precisión de extremo a extremo. La mayoría de los modelos permanecieron por debajo del 40%.
• Brecha entre Detección y Clarificación: Aunque el prompting "Guiado" mejoró la detección de ambigüedad (el F1 aumentó de ~45% a ~65%), no mejoró proporcionalmente la precisión de extremo a extremo. Esto indica que reconocer la ambigüedad es distinto de formular preguntas de clarificación efectivas.
• El Modo de Falla "Búsqueda Pesada con Suposición" (Search-Heavy Guess): Un hallazgo significativo es que los agentes a menudo fallan al realizar una recuperación excesiva (SearchHeavyGuess) en lugar de pedir ayuda. Este comportamiento produjo tasas de éxito (51.9%) menores que la suposición directa (56.5%). Los autores señalan que la recuperación repetida suele indicar que el modelo es consciente de múltiples candidatos pero falla al escalar esta incertidumbre hacia una solicitud de clarificación.
• Uso de Herramientas vs. Desempeño: El aumento en el uso de herramientas (más llamadas de búsqueda) no se correlacionó con un mejor desempeño. Los modelos que buscaron con más frecuencia no necesariamente lograron una mayor precisión, lo que sugiere que la asignación estratégica de acciones de recuperación es más crítica que el volumen.
• Impacto de la Ambigüedad: Eliminar la ambigüedad de las tareas mejoró significativamente la precisión en todos los modelos (entre un 26.8% y un 40.2%), confirmando que la ambigüedad es una fuente primaria de dificultad en la búsqueda profunda.

5. Significado y Reivindicaciones

El artículo sostiene que los agentes de búsqueda actuales basados en LLM poseen fuertes capacidades de recuperación y razonamiento, pero carecen de conciencia de la ambigüedad y de estrategias de interacción proactivas. Los autores argumentan que la búsqueda interactiva profunda requiere mecanismos que unan explícitamente la incertididad de la recuperación con la interacción del usuario.

La importancia de DISCOBENCH radica en su capacidad para exponer una brecha en las capacidades actuales de los agentes: la incapacidad de distinguir entre "buscar más información" y "pedir una aclaración". Los autores concluyen que los futuros agentes de búsqueda deben desarrollarse no solo con un razonamiento más fuerte, sino con mejores capacidades para identificar estados insuficientemente especificados y solicitar estratégicamente la entrada del usuario para recuperar las trayectorias de razonamiento correctas.

El documento mantiene un tono modesto respecto a sus limitaciones, reconociendo que el simulador de usuario está basado en LLM en lugar de humanos, y que el benchmark actualmente se centra en la respuesta a preguntas objetivas, dejando la ambigüedad de preferencia subjetiva para trabajos futuros.