Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

Resumen Técnico: Juegos de Referencia como Banco de Pruebas para la Alineación de la Incertidumbre del Modelo y las Solicitudes de Aclaración

Planteamiento del Problema
En el diálogo humano, los interlocutores mantienen activamente la comprensión mutua reconociendo la incertidumbre e iniciando solicitudes de aclaración (reparación) cuando surge la ambigüedad. Aunque los Modelos de Lenguaje de Gran Escala (LLM) y los Modelos Visión-Lenguaje (VLM) demuestran fluidez, sigue siendo una cuestión abierta si pueden asumir efectivamente un rol de oyente que implique reconocer la incertidumbre interna y traducirla en un comportamiento de aclaración apropiado. Los modelos actuales a menudo enmascaran problemas de comprensión con una salida fluida, lo que lleva a una sobreestimación de su competencia y a una confianza desalineada. Además, la investigación existente indica que los LLM rara vez inician proactivamente la reparación y a menudo fallan en fundamentar las interacciones de manera efectiva. El desafío radica en evaluar esta capacidad en entornos de diálogo abierto, donde la verdad fundamental sobre cuándo está justificada la aclaración está ausente y el espacio de interpretaciones es ilimitado.

Metodología
Para abordar estos desafíos, los autores proponen utilizar juegos de referencia como un banco de pruebas controlado y autocontenido. En esta configuración, un "hablante" describe un objeto objetivo de un conjunto de candidatos (por ejemplo, cuadrículas de colores) y un "oyente" debe identificarlo. Este entorno hace explícitas y medibles las necesidades de aclaración porque la ambigüedad surge estrictamente de la discrepancia entre la descripción y el conjunto de candidatos.

El estudio evalúa tres VLM en el conjunto de datos del juego de referencia de cuadrículas de colores (McDowell y Goodman, 2019), que incluye 197 juegos con 60 rondas cada uno, variando en dificultad según la similitud de color (lejana, dividida, cercana). Los modelos probados son:

• Qwen2.5-VL-7B y Qwen2.5-VL-72B (seleccionados por su fuerte rendimiento previo en esta tarea).
• GPT-5-mini (como modelo comercial representativo).

El diseño experimental consta de tres fases:

1. Experimento de Línea Base: Los modelos actúan como oyentes para predecir la cuadrícula objetivo basándose únicamente en la descripción del hablante y la entrada visual. Para estimar la incertidumbre, los modelos se muestrean cinco veces por ronda; la votación mayoritaria determina la predicción y la proporción de muestras coincidentes sirve como métrica de Confianza de Línea Base.
2. Experimento de Aclaración: Se instruye explícitamente a los modelos a solicitar aclaración si están inciertos sobre el referente. El rendimiento se mide mediante la Tasa de SAR (frecuencia de solicitudes de aclaración), la Precisión (corrección de las respuestas sin aclaración) y la Precisión Relajada (corrección o aclaración exitosa).
3. Experimento de Interacción: Un humano en el bucle proporciona respuestas a las solicitudes de aclaración del modelo. Esta fase evalúa la relevancia para la tarea de las preguntas generadas y mide si la retroalimentación humana subsequente mejora la precisión final y la confianza del modelo.

Resultados Clave

• Sobreconfianza: Todos los modelos exhibieron puntuaciones de confianza uniformemente altas (oscilando entre el 87% y el 99%) incluso en condiciones difíciles, lo que indica una disposición hacia la sobreconfianza que está mal calibrada con la precisión real.
• Comportamiento de Aclaración:
  • GPT-5-mini demostró el comportamiento más alineado, generando solicitudes de aclaración en el 13% de los casos. Su tasa de solicitudes aumentó con la dificultad de la tarea (del 6% en "lejana" al 17% en "dividida/cercana"), y su precisión en respuestas sin aclaración (94%) superó su precisión de línea base (91%), lo que sugiere que retuvo con éxito las respuestas cuando estaba incierto.
  • Qwen2.5-VL-72B generó solicitudes de aclaración en el 24% de los casos, pero este comportamiento no estaba sistemáticamente alineado con la dificultad de la tarea o la incertidumbre interna. Su confianza solo disminuyó marginalmente (de 91% a 87%) al generar una solicitud.
  • Qwen2.5-VL-7B casi nunca generó solicitudes de aclaración (< 0.1%).
• Eficacia de la Aclaración: En el experimento de interacción, solo el 42% de las preguntas de aclaración generadas por Qwen2.5-VL-72B fueron consideradas relevantes para la tarea. Crucialmente, proporcionar respuestas humanas a estas solicitudes no mejoró la precisión de extremo a extremo del modelo; de hecho, la precisión disminuyó ligeramente en la mayoría de las condiciones. Esto sugiere que los modelos o bien no lograron utilizar la información proporcionada o que las solicitudes en sí mismas no buscaban la información necesaria para resolver la ambigüedad.

Contribuciones Clave

• Propuesta de Banco de Pruebas: El artículo establece los juegos de referencia como un entorno riguroso y controlado para evaluar la alineación entre la incertidumbre del modelo y el comportamiento de aclaración, superando las limitaciones de la evaluación de diálogos abiertos.
• Evidencia Empírica de Desalineación: El estudio proporciona evidencia empírica de que los VLM más avanzados actuales luchan por traducir la incertidumbre interna en respuestas interaccionales apropiadas. Incluso en tareas simples y restringidas, los modelos a menudo fallan en reconocer cuándo están inciertos o fallan en hacer preguntas relevantes.
• Ineficacia de la Aclaración Actual: Los hallazgos destacan que los intentos de aclaración de los modelos actuales a menudo son poco informativos o inapropiados, fallando en funcionar como mecanismos de reparación genuinos que mejoren la comprensión mutua.

Significado
El artículo argumenta que los juegos de referencia ofrecen una referencia valiosa para sondear la competencia pragmática de los modelos de lenguaje. Los resultados demuestran una brecha significativa en la capacidad de los VLM para actuar como oyentes cooperativos que puedan gestionar la incertidumbre. Los autores concluyen que incluso en entornos donde la ambigüedad es cuantificable y la necesidad de aclaración es explícita, los modelos luchan por convertir la incertidumbre interna en un comportamiento de aclaración adecuado. Esto subraya el valor de los juegos de referencia para diagnosticar cualidades de interacción en modelos de (visión y) lenguaje, revelando que la fluidez no equivale a una comunicación robusta y autoconsciente.