Resumen Técnico: Ver No Es Compartir

Planteamiento del Problema

En el diálogo situado y colaborativo, la percepción compartida no garantiza una interpretación compartida. Mientras que los participantes del diálogo establecen de manera incremental un entendimiento mutuo (anclaje o grounding) a través de la interacción, un observador externo (o "oyente pasivo") carece de la capacidad de contribuir con actos de anclaje. Esto crea una "ilusión del oyente pasivo", donde un observador puede confundir la mera co-presencia de referentes potenciales con un terreno común establecido.

Este artículo investiga si los Modelos de Lenguaje y Visión (VLM), al actuar como oyentes pasivos de diálogos con asimetría de información, pueden distinguir entre el terreno común potencial (lo que podría compartirse basándose en el contenido visual o textual del mapa) y el terreno común establecido (lo que se ha confirmado mediante la interacción dialógica). Específicamente, el estudio plantea si los VLM sobreestiman la alineación al confundir la disponibilidad de un solapamiento referencial con la finalización exitosa del proceso de anclaje.

Metodología

Conjunto de Datos y Tarea

El estudio utiliza una anotación perspectivista del corpus HCRC MapTask (Li et al., 2026), que comprende 13,077 expresiones de referencia (RE) anotadas de 128 diálogos. En estos diálogos, dos participantes (un "emisor" y un "receptor") navegan rutas en mapas que difieren en la ubicación, nombres o cantidades de los puntos de referencia (landmarks).

• Formulación de la Tarea: La tarea se enmarca en un juicio binario de coincidencia de interpretación. Dado un fragmento de diálogo y la información del mapa, el modelo debe determinar si las interpretaciones del emisor y del receptor de una RE específica coinciden (SÍ/Alineado) o divergen (NO/No Alineado).
• Verdad de Campo (Ground Truth): Las etiquetas se derivan de anotaciones separadas del punto de referencia pretendido por el emisor y del punto de referencia interpretado por el receptor.

Diseño Experimental

Los autores evalúan los VLM bajo manipulaciones controladas sistemáticamente de dos variables independientes:

1. Acceso al Texto (Contexto del Diálogo): Cuatro tamaños de ventana que van desde la línea de transacción actual (curL) hasta el historial completo del diálogo (startT).
2. Acceso al Mapa (Modalidad de Información):
   • Línea Base: Solo texto (sin mapa).
   • Mapas Auténticos: Ambas imágenes de mapas, solo el mapa del Emisor o solo el del Receptor.
   • Descripciones Textuales: Listas de nombres de puntos de referencia o descripciones textuales de discrepancias.
   • Controles Visuales No Informativos: Mapas en blanco (gris uniforme) y mapas mezclados (shuffled) con puntos de referencia de pares no relacionados.

Modelos

El análisis principal se centra en Qwen3-VL-8B-Instruct, que mostró el mejor rendimiento preliminar. La generalización entre modelos se evalúa en cuatro modelos adicionales: Qwen3-VL-2B, Qwen3-VL-4B, Gemma3-4B y Gemma3-12B. Todos los modelos se evalúan utilizando decodificación codiciosa (greedy decoding) con salida restringida a tokens válidos de SÍ/NO.

Resultados Clave

1. El acceso al mapa impulsa la sobrepredicción de la alineación

Proporcionar imágenes de mapas auténticos mejora la puntuación macro-F1 general pero desplaza sistemáticamente al modelo hacia la sobrepredicción de la alineación.

• Compromiso de Exhaustividad (Recall Trade-off): Con el acceso al mapa, la exhaustividad para casos alineados (recall_pos) aumenta significativamente (por ejemplo, de 0.590 a 0.822), mientras que la exhaustividad para casos no alineados (recall_neg) cae drásticamente (por ejemplo, de 0.677 a 0.518).
• Tasa de "Sí": La proporción de predicciones SÍ aumenta, superando a menudo la tasa base de la verdad de campo, lo que indica un sesgo hacia asumir que existe un entendimiento mutuo.

2. El sesgo es impulsado por el contenido, no por lo visual

El sesgo de sobre-alineación no es un artefacto del canal visual en sí, sino que es impulsado por el contenido relevante del mapa.

• Reproducción Textual: Las descripciones textuales del contenido del mapa (nombres de puntos de referencia, detalles de discrepancias) reproducen el sesgo, obteniendo perfiles de tasa de "sí" y de exhaustividad similares a las imágenes auténticas.
• Controles Visuales: Los inputs visuales no informativos (mapas en blanco o mezclados) suprimen las predicciones de alineación por completo, haciendo al modelo más conservador (tasa de "sí" ~0.18–0.19). Esto confirma que el sesgo surge de la interpretación del modelo de la presencia de referentes compartidos como evidencia de un anclaje establecido.

3. Calibración y Confianza

El análisis de calibración revela que el acceso al mapa hace que los modelos sean erróneamente confiados en instancias no alineadas.

• Bajo condiciones de mapa, el modelo está bien calibrado en instancias de SÍ reales, pero está severamente mal calibrado en instancias de NO reales (alto Error de Calibración Esperada).
• El modelo asigna alta confianza a las predicciones SÍ incluso cuando los participantes no han establecido un entendimiento compartido, lo que sugiere que depende de claves referenciales estáticas en lugar de rastrear el proceso dinámico de anclaje.

4. Dinámica de la Cadena de Referencia

A medida que las cadenas de referencia (menciones repetidas del mismo punto de referencia) se alargan, los modelos con acceso al mapa mantienen una alta precisión pero exhiben tasas de "sí" que aumentan de forma constante. Esto sugiere que el modelo trata cada vez más las menciones repetidas como una confirmación de la alineación, incluso cuando las interpretaciones subyacentes pueden seguir divergiendo.

5. Variabilidad entre Modelos

El sesgo no es universal en todas las arquitecturas.

• Los modelos Qwen3-VL exhiben generalmente el sesgo de sobre-alineación.
• Los modelos Gemma3 (particularmente la variante de 12B) son extremadamente conservadores y tienen un desempeño pobre, probablemente debido a limitaciones en el procesamiento de imágenes de mapas dibujados a mano con alta densidad (codificación de resolución fija frente a la resolución dinámica de Qwen).
• Escalabilidad: El mayor tamaño del modelo no garantiza un mejor desempeño; en algunos casos, los modelos más grandes se vuelcan más confiados sin volverse más perspicaces.

Contribuciones Clave

1. Metodología de Evaluación: El artículo introduce un marco para sondear la capacidad de los VLM para distinguir entre el terreno común potencial y el establecido en diálogos con asimetría de información, yendo más allá de las tareas estándar de resolución referencial.
2. Caracterización Empírica de Modos de Fallo: Identifica un modo de fallo específico donde los VLM confunden el "solapamiento referencial potencial" (lo que es visible en los mapas) con la "alineación comunicativa" (lo que se ha negociado).
3. Identificación del Mecanismo: A través de controles de modalidad y análisis de calibración, el estudio demuestra que este sesgo es impulsado por el contenido semántico del entorno compartido y no por la modalidad visual en sí, resaltando una limitación estructural en cómo los VLM actuales simulan el rol de "oyente pasivo".

Significado y Reivindicaciones

El artículo sostiene que los VLM actuales son estructuralmente propensos a la "ilusión del oyente pasivo". Si bien pueden inferir eficazmente qué podrían estar discutiendo los interlocutores basándose en un contexto visual o textual compartido, luchan por distinguir esto de qué han establecido realmente los interlocutores a través del proceso incremental del diálogo.

Los autores enfatizan que esto no es un fallo general de la multimodalidad, sino una tendencia específica a tratar la información relevante de la tarea sobre el terreno común potencial como evidencia de que el anclaje ya ha ocurrido. El estudio sugiere que, para que los VLM modelen con precisión el diálogo colaborativo, deben ser evaluados no solo por su capacidad de reconocer referentes, sino por su capacidad de rastrear la historia interaccional del anclaje, en lugar de depender de claves estáticas de co-presencia.