Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask

Título: Malentendidos Fundamentados en Diálogos Asimétricos: Un Esquema de Anotación Perspectivista para MapTask

1. El Problema

En los diálogos colaborativos, los participantes construyen un "terreno común" (common ground) de manera incremental. Sin embargo, en entornos asimétricos (donde los interlocutores tienen acceso a información diferente), puede ocurrir que los participantes crean que están de acuerdo, mientras que en realidad se refieren a entidades distintas.

El problema central abordado es la dificultad de detectar estos malentendidos silenciosos o "desalineaciones referenciales" en tareas como el HCRC MapTask, donde dos personas navegan una ruta usando mapas ligeramente diferentes. Los enfoques tradicionales de resolución de referencia asumen que una vez que un enunciado es reconocido y aceptado (fundamentado), ambos interlocutores se refieren a la misma entidad. Esta suposición falla en escenarios asimétricos, donde la fundamentación aparente puede ocultar interpretaciones divergentes. Además, las anotaciones existentes en el corpus MapTask no capturan las interpretaciones personales de cada interlocutor, lo que dificulta el análisis de cómo surgen y se resuelven estos malentendidos.

2. Metodología

Los autores proponen un marco innovador que combina un esquema de anotación lingüística con el uso de Modelos de Lenguaje (LLM) para escalar el proceso.

• Esquema de Anotación Perspectivista:

  • Se introduce un esquema a nivel de Expresión Referencial (ER) que captura por separado la interpretación del hablante (intención) y la del oyente (interpretación).
  • Se redefine la identificación de hitos (landmarks) mediante un ID unificado (<map-id>_<nombre>#<ordinal>@<lado>) que distingue entre instancias idénticas en diferentes mapas y maneja discrepancias de multiplicidad (ej. dos "furgonetas" en un mapa y una en el otro).
  • Se definen 5 atributos binarios jerárquicos para caracterizar el estado de entendimiento:
    1. is_quantificational: ¿Es una consulta de existencia o una referencia definida?
    2. is_specified: ¿El contexto permite inferir la interpretación del oyente?
    3. is_accommodated: ¿El oyente aceptó la referencia sin pedir aclaración?
    4. is_grounded: ¿El oyente vinculó la referencia a un hito específico en su mapa?
    5. is_imagined: ¿El oyente imaginó un hito ausente en su mapa basado en la descripción?

• Pipeline de Anotación con LLM:

  • Se utilizó GPT-5 (OpenAI) mediante una API de lotes (Batch API).
  • Se diseñó un prompt estructurado con restricciones de esquema (JSON) que guía al modelo paso a paso a través de una cadena de razonamiento (Chain-of-Thought) para resolver los atributos y asignar IDs de hitos.
  • El contexto proporcionado al modelo incluye el diálogo completo hasta el final de la transacción actual y las anotaciones de actos de habla.

• Validación:

  • Se anotaron 13,077 expresiones referenciales en las 128 diálogos del corpus.
  • La fiabilidad se evaluó comparando las predicciones del LLM contra un estándar de oro humano (creado por un anotador experto) en 3 diálogos (504 ERs). El LLM alcanzó una precisión del 94.4% a nivel de expresión referencial y un F1 micro-promedio de 0.995 para las referencias fundamentadas.

3. Contribuciones Clave

1. Operacionalización de la Fundamentación: Se redefine la fundamentación de expresiones referenciales como un proceso de alineación graduado y dependiente de la perspectiva, en lugar de un estado binario único.
2. Recursos de Anotación a Gran Escala: Se ha liberado un conjunto de datos anotado con 13k expresiones, incluyendo interpretaciones duales (hablante/oyente) y estados de entendimiento, junto con el código y los prompts utilizados.
3. Protocolos de Análisis: Se establecen protocolos para cuantificar la dinámica de desalineación y evaluar la capacidad de los modelos de lenguaje (V)LLMs para modelar la fundamentación dependiente de la perspectiva.
4. Análisis de Estados de Entendimiento: Se propone una taxonomía de estados (Alineado, Malentendido, Pendiente) basada en los atributos anotados.

4. Resultados Principales

• Rara vez ocurren malentendidos totales: Una vez que se unifican las variantes léxicas (ej. "acantilado" vs "acantilado de arenisca"), la tasa de malentendidos cae drásticamente del 7.07% al 1.82%. Esto confirma que los participantes suelen corregir rápidamente las discrepancias léxicas.
• El peligro de la Multiplicidad: Las discrepancias de multiplicidad (un hito aparece varias veces en un mapa y una en el otro) son la causa principal de malentendidos persistentes. Representan solo el 7.3% de las referencias, pero causan el 48.5% de todos los malentendidos (tasa de error del 12.0% en este tipo). Esto se debe a que los participantes asumen erróneamente la unicidad de la referencia.
• Dinámica de Cadenas de Referencia: Se analizaron 1,665 cadenas de referencia. Las variantes léxicas generan las cadenas más largas (promedio 10.7 turnos) debido a la necesidad de negociar nombres, mientras que las discrepancias de existencia se resuelven más rápido.
• Tiempo para Fundamentar: Las discrepancias de multiplicidad requieren más turnos para alcanzar un estado alineado, reflejando la complejidad cognitiva de distinguir entre instancias específicas.
• Limitaciones de los LLM: En un caso especial, el LLM falló al detectar un malentendido persistente sobre el punto de partida porque, al tener acceso a ambos mapas en el prompt, subestimó la asimetría de conocimiento (sesgo omnisciente).

5. Significado e Impacto

Este trabajo es fundamental porque:

• Desenmascara la "alineación aparente": Demuestra que en diálogos colaborativos asimétricos, el acuerdo superficial no garantiza la comprensión mutua real, especialmente en casos de multiplicidad.
• Nueva Métrica para IA: Proporciona un banco de pruebas (benchmark) y un marco analítico para evaluar la capacidad de los LLMs y VLMs (Modelos de Lenguaje y Visión) para realizar "toma de perspectiva" (perspective-taking) y fundamentación incremental, más allá de la simple identificación de objetos.
• Herramienta para la Investigación: El esquema de anotación permite estudiar cuantitativamente cómo surgen, persisten y se reparan los malentendidos, ofreciendo una visión más matizada que los enfoques tradicionales de resolución de referencia.

En resumen, el artículo establece que la fundamentación en diálogos asimétricos es un proceso dinámico y propenso a errores sutiles, y ofrece la primera herramienta a gran escala para medir y analizar estos fenómenos utilizando LLMs asistidos por esquemas estrictos.