🤖 AI

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

Este artículo presenta MT-InfoSeek, una suite de evaluación controlada que demuestra que, si bien los modelos de lenguaje de gran tamaño pueden reconocer la necesidad de información adicional en tareas multivuelta subespecificadas, subestiman sistemáticamente la cantidad requerida, no logran identificar consultas mínimas suficientes y tienen dificultades con el orden de las consultas, revelando una brecha distintiva entre sus capacidades de búsqueda de información y las métricas de evaluación actuales.

Autores originales: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un médico sentado frente a un paciente que solo dice: "Tengo un dolor". Para realizar un diagnóstico, el médico no puede adivinar; debe hacer preguntas específicas para completar los detalles faltantes. ¿Es el dolor agudo o sordo? ¿Dónde se localiza exactamente? ¿Cuánto tiempo ha durado? En el mundo de la inteligencia artificial, los modelos de lenguaje extenso suelen ser probados en su capacidad para responder preguntas, pero rara vez se les evalúa en su capacidad para saber cuándo no tienen suficiente información para responder en absoluto. Este es un vacío crítico. Una IA capaz debería reconocer cuándo una situación está incompleta, determinar exactamente qué falta y solicitarlo antes de ofrecer una conclusión. Si adivina demasiado pronto, corre el riesgo de estar erróneamente segura.

Investigadores de la Universidad de Harvard y Google DeepMind han construido una nueva forma de probar esta habilidad específica. Crearon un entorno controlado donde se le entrega a una inteligencia artificial un rompecabezas con piezas faltantes. El rompecabezas podría ser un problema matemático con un número oculto, un acertijo lógico con un dato faltante o un escenario médico con un síntoma no preguntado. El objetivo para la IA no es solo resolver el rompecabezas, sino navegar el proceso de hacer las preguntas correctas en el orden adecuado hasta que la respuesta sea clara. Los investigadores querían ver si estos modelos podían actuar como un investigador experto que sabe exactamente qué evidencia se necesita, o si se apresurarían a una conclusión con pistas insuficientes.

El equipo desarrolló una suite de pruebas llamada MT-INFOSEEK, que contiene más de 5,000 problemas distintos en cinco campos diferentes: matemáticas, lógica, biología, medicina y conocimientos generales. En estas pruebas, la IA recibe un punto de partida que es deliberadamente incompleto. Por ejemplo, en una prueba médica, la IA podría saber que un paciente tiene dolor pélvico, pero no saber cuánto tiempo ha durado el dolor o si la paciente está embarazada. La IA debe entonces entablar una conversación, haciendo una pregunta a la vez a un "oráculo": un sistema que proporciona la respuesta verdadera a la pregunta. La IA debe decidir cuándo dejar de preguntar y dar su respuesta final. Los investigadores midieron el éxito no solo por si la respuesta final era correcta, sino por si la IA realmente había reunido suficiente información para que esa respuesta fuera certera.

Los resultados revelaron una debilidad significativa en los modelos actuales. Aunque los sistemas de IA generalmente reconocían que les faltaba información, subestimaban constantemente cuánto necesitaban. Cuando los investigadores crearon problemas que requerían dos piezas de información faltante para resolverse, los modelos a menudo adivinaban que solo faltaba una pieza. En los acertijos lógicos, los modelos eran aproximadamente cuatro veces más propensos a subestimar la información faltante que a sobreestimarla. También tuvieron dificultades para identificar las preguntas específicas que realmente resolverían el problema. Incluso cuando los investigadores les indicaban a los modelos exactamente cuántas preguntas necesitaban hacer, los modelos a menudo fallaban al elegir el conjunto de preguntas correcto. Hacían preguntas irrelevantes o dejaban de preguntar demasiado pronto, dejando el rompecabezas sin resolver.

El estudio también analizó el orden en que se hacían las preguntas. En campos como la medicina, la secuencia de la información importa. Un médico debe determinar si un dolor es agudo o crónico antes de decidir qué pruebas ordenar a continuación. Los investigadores encontraron que cuando los modelos de IA hacían las preguntas correctas pero en el orden incorrecto, su precisión final disminuía significamente. Esto sugiere que saber qué preguntar es solo la mitad de la batalla; saber cuándo preguntarlo es igualmente importante. Además, los investigadores descubrieron que un modelo podía recuperarse de una mala primera pregunta. Si un modelo hacía una pregunta inútil al principio pero luego continuaba haciendo preguntas relevantes en los turnos siguientes, aún podía alcanzar la solución correcta. Sin embargo, muchos modelos no lograban persistir, deteniéndose a menudo tras unos pocos turnos incluso cuando no habían reunido suficiente evidencia.

Quizás el hallazgo más sorprendente fue que la capacidad de un modelo para hacer buenas preguntas es independiente de su capacidad para dar una buena respuesta. Los investigadores probaron esto tomando una conversación donde la IA había reunido toda la información necesaria y luego pidiendo a un modelo diferente que resolviera el rompecabezas basándose únicamente en esa conversación. Descubrieron que algunos modelos podían resolver el rompecabezas perfectamente cuando se les daban todos los hechos, incluso si habían fallado al recolectar esos hechos por sí mismos. Esto significa que el fallo no estaba en el razonamiento o en el conocimiento del modelo, sino en el proceso de búsqueda de la información. Los modelos no eran malos resolviendo problemas; eran malos sabiendo lo que no sabían.

Los investigadores concluyeron que las evaluaciones actuales de la inteligencia artificial están incompletas. Medir solo la precisión final de la respuesta de un modelo oculta el hecho de que el modelo puede haber llegado a esa respuesta mediante conjeturas o ignorando la información faltante. Para entender realmente qué tan bien interactúa una IA con el mundo, debemos medir su capacidad para reconocer la incertidumbre, identificar qué falta y adquirir esa información faltante paso a paso. Este nuevo marco proporciona una forma de hacer precisamente eso, demostrando que, aunque los modelos actuales son poderosos, todavía carecen del sentido intuitivo de un experto humano que sabe cuándo dejar de adivinar y empezar a preguntar.

Resumen Técnico: ¿Saben los LLM qué preguntar y cuándo? Evaluando la búsqueda de información en múltiples turnos

1. Definición del Problema

El artículo aborda la capacidad de los Modelos de Lenguaje Extensos (LLM) para operar bajo subespecificación en interacciones de múltiples turnos. A diferencia de la ambigüedad (donde la intención del usuario no es clara), la subespecificación ocurre cuando la tarea de un usuario está claramente definida pero carece de la información suficiente para determinar una respuesta única. Un modelo capaz debe reconocer que su contexto es insuficiente, identificar la información específica faltante requerida para resolver el objetivo, adquirirla mediante consultas secuenciales y solo responder una vez que la información adquirida determine de forma única la respuesta.

Los métodos de evaluación actuales suelen confundir la capacidad de un modelo para generar una respuesta correcta con su capacidad para buscar información. El éxito final de la tarea puede lograrse mediante conjeturas o basándose en conocimientos previos en lugar de una genuina adquisición de información. Los autores formalizan este desafío como la resolución de un Problema de Satisfacción de Restricciones (CSP) $k$ -subespecificado, donde $k$ representa el número de variables requeridas conjuntamente para determinar la variable objetivo.

2. Metodología: Marco de Trabajo MT-INFOSEEK

Los autores introducen MT-INFOSEEK, un conjunto de evaluación controlado que comprende 5,251 problemas y 9,006 instancias de tareas en cinco dominios: matemáticas, lógica, biología, medicina y conocimiento general (mediante un juego de 20 preguntas).

2.1 Formalización

Un problema se define como una tupla $P = \langle X, D, C, A, Y \rangle$ :

$X$ : Conjunto de variables con dominios $D$ .
$C$ : Restricciones lógicas.
$A$ : Asignación parcial observada (contexto inicial).
$Y$ : Variable objetivo.
Subespecificación: El problema está subespecificado si $Y$ no está determinado de forma única por $A$ y $C$ .
Conjunto Suficiente Mínimo de $k$ ( $k$ -MSS): Un subconjunto de variables no asignadas $S$ de tamaño $k$ tal que conocer sus valores determina de forma única $Y$ , y ningún subconjunto más pequeño es suficiente.
Instancia de Tarea: Una realización específica $(P, y)$ donde $y$ es el valor real oculto de $Y$ .

2.2 Protocolos de Evaluación

El marco evalúa los modelos a lo largo de tres ejes, separando la búsqueda de información de la generación de respuestas:

$k$ -Predicción: Dado $P$ , el modelo predice el grado de subespecificación ( $\hat{k}$ ).
Identificación de Variables Faltantes: Dado $P$ (y opcionalmente el verdadero $k$ ), el modelo selecciona un conjunto de variables mínimo y suficiente.
Resolución de Tareas Secuenciales: El modelo interactúa con un oráculo a lo largo de múltiples turnos, consultando una variable a la vez, observando el valor y decidiendo cuándo detenerse y responder.

2.3 Conjuntos de Datos

Dominios Estructurados (Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT): Las variables y las restricciones están predefinidas. El modelo selecciona de un conjunto finito de variables consultables.
- Logic-Q-MT: Extiende los problemas de razonamiento lógico a entornos de múltiples turnos.
- GSME-Q-MT/Ext: Problemas matemáticos de escuela primaria con cantidades enmascaradas; la versión "Ext" presenta estructuras de dependencia más profundas.
- GeneReg-MT: Redes de regulación génica booleanas donde el modelo debe identificar los estados iniciales para determinar los estados estacionarios.
- ClinGuide-MT: Árboles de decisión diagnóstica donde el orden de las consultas importa debido a las dependencias condicionales.
Dominio No Estructurado (20Q): El modelo genera preguntas de formato libre de sí/no para deducir un objetivo oculto a partir de un conjunto de candidatos.

2.4 Métricas

Crucialmente, el artículo introduce la Suficiencia Final como una métrica primaria. Esta mide si la información adquirida (el conjunto de variables consultadas) determina de forma única el objetivo, independientemente de si la respuesta final del modelo es correcta. Esto separa la capacidad de buscar información de la capacidad de razonar hacia una respuesta. Otras métricas incluyen la cobertura de consultas, la corrección del orden (en ClinGuide-MT) y la informatividad de la pregunta (Ganancia de Información Esperada Normalizada en 20Q).

3. Resultados Clave

La evaluación cubre LLM de código abierto y de pesos abiertos (ej. GPT-5, Gemini-3, Qwen3, gpt-oss).

3.1 Subestimación de la Información Faltante

Los modelos generalmente reconocen que el contexto es insuficiente (raramente predicen $k=0$ para problemas subespecificados), pero subestiman sistemáticamente el grado de subespecificación.
La precisión cae drásticamente a medida que $k$ aumenta. Específicamente, en problemas lógicos (Logic-Q-MT) con $k = 2$ , los modelos subpredicen el grado de información faltante cuatro veces más a menudo de lo que lo sobrepredicen.

3.2 Fallo en la Identificación de Conjuntos Suficientes Mínimos

Incluso cuando se les proporciona el verdadero $k$ , los modelos tienen dificultades para identificar las variables específicas que forman un conjunto suficiente mínimo. La precisión de conjunto exacto es baja (por debajo de 0.4 para $k=2$ ) y cae aún más para valores de $k$ más altos.
Estimar cuánta información falta no implica saber qué información se necesita.

3.3 Dinámicas de Interacción y Recuperación

Presupuesto de Turnos: Asignar consultas a través de más turnos generalmente mejora la suficiencia final en comparación con emitir todas las consultas en un solo turno, siempre que el modelo no se detenga prematuramente.
Recuperación: Una consulta en el primer turno que no alcanza el conjunto suficiente mínimo suele ser recuperable. En las interacciones donde la primera consulta es incorrecta pero el modelo continúa buscando variables relevantes, se alcanza la suficiencia a tasas comparables a aquellas con consultas iniciales correctas.
Rendimiento en Turnos Tardíos: Para problemas altamente subespecificados ( $k \ge 3$ ), el éxito depende menos de la corrección en los turnos iniciales y más de la adquisición sostenida de información y la corrección de las consultas en los turnos tardíos.

3.4 La Importancia del Orden y la Integración

Dependencias de Orden: En tareas clínicas (ClinGuide-MT), consultar las variables correctas en el orden incorrecto reduce significativamente la precisión final, incluso si toda la información necesaria se adquiere eventualmente.
Integración de Evidencia: En 20Q, los modelos con una informatividad de pregunta similar (Ganancia de Información Esperada) muestran diferencias sustanciales en la precisión final. Esto indica que el éxito no depende solo de hacer buenas preguntas, sino de integrar eficazmente las respuestas para reducir el espacio de candidatos.
Reducción de la Entropía: Aunque los modelos generalmente reducen la incertidumbre, a menudo se estancan en los turnos finales, fallando en distinguir entre candidatos restantes muy relacionados.

4. Contribuciones y Significado

El artículo realiza tres contribuciones principales:

Formalización: Formaliza la búsqueda de información en múltiples turnos como la resolución de CSPs $k$ -subespecificados, proporcionando la verdad fundamental para las variables necesarias y el punto de suficiencia.
Benchmark (MT-INFOSEEK): Introduce un conjunto de evaluación exhaustivo que abarca matemáticas, lógica, biología, medicina y conocimiento general, permitiendo la variación controlada del grado de subespecificación.
Metodología de Evaluación: Propone la Suficiencia Final como una métrica para separar la capacidad de adquirir información de la capacidad de generar respuestas.

Significado:
Los autores argumentan que las evaluaciones actuales de los LLM, que dependen de la precisión final, no logran capturar la competencia interactiva. Un modelo puede responder correctamente mediante conjeturas o usando conocimientos previos sin haber identificado nunca la información faltante. Al medir si la información adquirida realmente determina el objetivo, MT-INFOSEEK revela que los modelos actuales:

Subestiman la complejidad de la información faltante.
Fallan al planificar estrategias de consulta mínimas.
A menudo se detienen antes de adquirir la información suficiente.
Tienen dificultades con las dependencias de orden y la integración de evidencia.

El artículo concluye que la capacidad de buscar información a lo largo de múltiples turnos es una capacidad distinta de la generación de respuestas y no es medida adecuadamente por los benchmarks existentes. Este trabajo proporciona un marco de diagnóstico para entender dónde fallan los modelos en entornos interactivos, sugiriendo que las mejoras futuras deben centrarse en el reconocimiento de la subespecificación y la planificación de la adquisición secuencial de información, no solo en las capacidades de razonamiento.