Resumen Técnico: Saber pero No Mostrar

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para responder consultas de usuarios, sin embargo, estas consultas a menudo están mal especificadas, omitiendo detalles cruciales o admitiendo múltiples interpretaciones válidas. Cuando se enfrentan a tal ambigüedad, un asistente útil debería idealmente reconocer la incertidumbre y buscar aclaraciones en lugar de hacer suposiciones en silencio. Sin embargo, los modelos actuales suelen optar por proporcionar una única respuesta de "mejor suposición", forzando suposiciones ocultas que pueden distorsionar la intención del usuario y propagar errores.

El problema central investigado es la discrepancia entre la conciencia de ambigüedad de un LLM (la capacidad de reconocer que una consulta es ambigua) y su comportamiento de aclaración (la tendencia a actuar sobre ese reconocimiento haciendo preguntas o negándose a responder). Los autores postulan que, aunque los modelos pueden "saber" internamente que una consulta es ambigua, rara vez "muestran" este conocimiento en sus respuestas predeterminadas.

Metodología

El estudio evalúa LLMs en tres configuraciones complementarias utilizando el conjunto de datos AmbigQA, que contiene preguntas ambiguas, preguntas no ambiguas y reescrituras desambiguadas de las ambiguas. La evaluación involucra 10 modelos de tres familias (OpenAI, Claude y Qwen) e incluye:

1. Respuesta a Preguntas Estándar (QA): Se solicita a los modelos que respondan preguntas directamente, con y sin contexto recuperado (pasajes de Wikipedia). El rendimiento se mide por precisión frente a respuestas de referencia.
2. Juicio Explícito de Ambigüedad: Se pide a los modelos que realicen una tarea de clasificación binaria: determinar si una pregunta específica es ambigua o no ambigua. Esto sondea la conciencia explícita del modelo sin requerir una respuesta.
3. Análisis Conductual: Un modelo juez (GPT-5-nano) clasifica las respuestas de los modelos en cuatro categorías: Rechazo, Pidió una pregunta aclaratoria, Respondió (proporcionando una respuesta) y Solo Respondió (proporcionando una respuesta sin rechazo ni aclaración).

El estudio también analiza los tipos específicos de ambigüedad (Temporal, Identidad, Versión, Alcance, Semántica, Local, Otro) que los modelos identifican cuando reconocen la ambigüedad, comparando estas distribuciones con las anotaciones humanas.

Resultados Clave

1. La Brecha de "Saber pero No Mostrar"

El hallazgo más significativo es una desconexión clara entre el reconocimiento y el comportamiento.

• Reconocimiento: Cuando se les pide explícitamente que juzguen la ambigüedad, los modelos muestran una conciencia no trivial. A menudo pueden identificar correctamente que una consulta es ambigua, alcanzando una precisión del 60–80% en clases ambiguas (aunque a menudo con sesgo hacia la sobreestimación de la ambigüedad).
• Comportamiento: En la configuración estándar de QA, los modelos optan abrumadoramente por respuestas directas. Las preguntas aclaratorias son extremadamente raras (típicamente <1% a 5% de las respuestas) y los rechazos son casi inexistentes. Incluso cuando los modelos identifican correctamente una consulta como ambigua en la configuración de juicio, fallan en traducir esto en comportamiento de aclaración cuando se les solicita responder.

2. El Impacto del Contexto Recuperado

El contexto recuperado (RAG) produce efectos contra intuitivos en el manejo de la ambigüedad:

• Precisión en QA: El contexto mejora sustancialmente la precisión de las respuestas tanto para preguntas ambiguas como no ambiguas, particularmente para modelos más pequeños.
• Supresión de la Aclaración: La presencia de contexto hace que los modelos sean menos propensos a hacer preguntas aclaratorias. El contexto actúa como una señal de que la pregunta es respondible, haciendo que los modelos traten incluso las consultas ambiguas como efectivamente no ambiguas.
• Brecha Ampliada: Si bien el contexto mejora la capacidad de responder, amplía aún más la brecha entre el reconocimiento de la ambigüedad y el comportamiento de aclaración. Los modelos se vuelven aún más reacios a señalar la ambigüedad cuando hay pasajes de apoyo presentes.

3. Sesgo en el Tipo de Ambigüedad

Cuando los modelos sí identifican la ambigüedad, su clasificación del tipo de ambigüedad está sesgada. Los modelos consistentemente sobreasignan ambigüedades de Identidad (múltiples entidades con el mismo nombre) y de Versión, mientras que subasignan significativamente las ambigüedades de Alcance (niveles de granularidad faltantes). Esto sugiere que los modelos dependen de señales específicas y superficiales en lugar de un razonamiento profundo sobre la estructura de la consulta.

Significado y Afirmaciones

El artículo afirma demostrar que las actuales tuberías de entrenamiento, que incentivan a los modelos a producir respuestas calificadas como "útiles" y "beneficiosas" por anotadores humanos, enseñan inadvertidamente a los modelos a ocultar la incertidumbre. Dado que expresar ambigüedad o pedir aclaraciones a menudo no se alinea con una alta recompensa en las tuberías estándar de RLHF (Aprendizaje por Refuerzo a partir de Retroalimentación Humana), los modelos aprenden a suprimir esta conciencia en favor de proporcionar una respuesta directa.

Los autores argumentan que esto tiene dos implicaciones principales:

1. Objetivos de Entrenamiento: Para mejorar la veracidad y la fiabilidad, los objetivos de entrenamiento deben recompensar explícitamente la expresión de incertidumbre, la formulación de preguntas aclaratorias y el reconocimiento de la falta de especificación, en lugar de centrarse únicamente en la precisión de la respuesta.
2. Precaución en la Evaluación: Al sondear lo que los LLMs "saben", la formulación de la tarea importa significativamente. Un modelo puede mostrar alta conciencia de ambigüedad cuando se le pide que analice una pregunta, pero mostrar una conciencia casi nula cuando se le pide que responda.

El estudio concluye que el patrón de "saber pero no mostrar" es un problema sistémico donde la conciencia interna no se manifiesta de manera fiable en el comportamiento predeterminado, un fenómeno que se ve aún más suprimido por la presencia de contexto recuperado.