Are you with me? A Framework for Detecting Mental Model Discrepancies in Task-Based Team Dialogues

Resumen Técnico: "¿Estás conmigo? Un marco para detectar discrepancias en modelos mentales en diálogos de equipos basados en tareas"

Declaración del Problema

El trabajo en equipo efectivo depende de los Modelos Mentales Compartidos (SMM), donde los miembros del equipo mantienen representaciones superpuestas de los estados de la tarea, los objetivos y las capacidades de los compañeros. Si bien los métodos tradicionales de evaluación de SMM (por ejemplo, codificación retrospectiva por expertos, cuestionarios) proporcionan puntuaciones globales de similitud, no logran capturar la naturaleza dinámica y en tiempo real de las fallas en la coordinación. Específicamente, la literatura existente carece de una categorización sistemática de cómo divergen los modelos mentales durante diálogos de equipos naturalistas y si patrones específicos de desalineación pueden predecir futuras fallas en la coordinación. Este artículo aborda la brecha en la comprensión de los tipos específicos de discrepancias que surgen cuando las actualizaciones no se comunican y cómo estas discrepancias evolucionan a lo largo de episodios de tareas secuenciales.

Metodología

Configuración Experimental:
El estudio utilizó una tarea colaborativa de identificación de objetos dentro de un entorno de videojuego que involucró a 20 equipos de dos personas. La tarea presentaba información asimétrica: un "Observador" tenía instrucciones escritas detalladas pero un rango visual limitado, mientras que un "Fotógrafo" tenía prismáticos mejorados pero dependía completamente de las señales verbales del Observador. El experimento consistió en cuatro niveles secuenciales (Policía Local, Búsqueda y Rescate en Montaña, Patrulla de Playa y Caza Furtiva), cada uno con una duración de ocho minutos.

Procesamiento de Datos:
Todas las comunicaciones del equipo fueron transcritas utilizando Modelos de Lenguaje Grande (LLM) y verificadas por anotadores humanos. Se empleó un modelo LLM previamente desarrollado (actualmente en revisión) para detectar actualizaciones de modelos mentales y categorizar discrepancias al nivel de la anotación humana.

Marco de Categorización de Discrepancias:
Los autores proponen un marco que identifica cuatro tipos distintos de discrepancias en modelos mentales observables en el diálogo:

1. Contradicción de Creencias: Un miembro cree $X$, mientras que otro cree $\neg X$ (por ejemplo, opiniones conflictivas sobre la estabilidad de un objeto).
2. Omisión: El modelo mental de un miembro carece de una creencia que posee otro miembro, inferido a partir de las expectativas basadas en roles sobre el conocimiento versus el contenido comunicado.
3. Creencias Sin Apoyo: Creencias identificadas por un miembro que no son ni contradichas ni respaldadas por la verdad fundamental o por otros miembros (inverificables).
4. Creencias Falsas: Creencias contradichas explícitamente por la verdad fundamental establecida (por ejemplo, datos de ubicación incorrectos).

Modelo de Predicción:
Para probar si los patrones históricos de discrepancia predicen el rendimiento futuro, los autores emplearon un modelo de suma ponderada de referencia. El conteo de discrepancias predicho para un nivel objetivo ($L_{target}$) se calculó como la suma de los conteos de discrepancias de niveles anteriores ($L_i$) multiplicados por pesos ($w_i$).
$$L_{target}(d) = \sum_{i \neq target} w_i L_i(d), \quad \sum w_i = 1$$
El estudio utilizó una línea base de ponderación uniforme ($w_i = 1/n$), asumiendo que todos los niveles anteriores contribuyen por igual. Esquemas más complejos (por ejemplo, ponderados por recencia, específicos por tipo) se propusieron como extensiones teóricas pero no se probaron empíricamente en este trabajo.

Resultados Clave

Distribución de Discrepancias:
A través de 20 equipos y cuatro niveles, se identificaron 1.447 discrepancias en total.

• Las Omisiones fueron la categoría dominante, constituyendo la mayor fuente tanto de discrepancias totales como de errores de predicción en términos absolutos.
• Las Contradicciones de Creencias mostraron alta volatilidad a través de los niveles y los equipos.
• Las Creencias Falsas y las Creencias Sin Apoyo fueron raras, apareciendo en menos del 20% de las observaciones a nivel de equipo y contribuyendo de manera insignificante al error de predicción general.

Precisión Predictiva:
Utilizando la línea base de promediado uniforme, el modelo logró una correlación par a par de 0.56 ($p=0.01$) entre los conteos de discrepancias predichos y reales para el Nivel 4 basándose en los Niveles 1–3.

• Los autores advierten que esta correlación puede reflejar estabilidad en las tasas base específicas del equipo en lugar de un vínculo causal mecánico, ya que los conteos del Nivel 4 probablemente están autocorrelacionados con niveles anteriores.
• Algunos equipos (por ejemplo, el Equipo 6) mostraron trayectorias predecibles donde los desafíos base persistieron a pesar de mejoras temporales, mientras que otros (por ejemplo, los Equipos 13, 16) exhibieron desviaciones sustanciales en el nivel final.

Validación:
Para validar la detección basada en LLM, los autores correlacionaron los conteos de discrepancias con una métrica de puntuación objetiva basada en el rendimiento de identificación de objetivos (confirmación visual de objetos específicos). El Equipo 16, que exhibió significativamente más discrepancias de SMM (particularmente omisiones y contradicciones), obtuvo una puntuación más baja (26.3%) que el Equipo 8 (42.1%), lo que respalda la afirmación de que la desalineación basada en la comunicación se manifiesta como disminuciones medibles en el rendimiento.

Significado y Afirmaciones

El artículo afirma proporcionar la primera categorización sistemática de tipos de discrepancias de SMM en la coordinación de equipos naturalistas. Sus contribuciones principales son:

1. Marco Teórico: Distinguir entre cuatro tipos específicos de desalineación (omisiones, contradicciones, creencias falsas, creencias sin apoyo) en lugar de tratar la calidad del SMM como una métrica monolítica.
2. Dinámicas Temporales: Demostrar que diferentes tipos de discrepancias exhiben estabilidad temporal diferencial. Las omisiones mostraron patrones estables a través de los niveles, lo que sugiere que los comportamientos de intercambio de información son resistentes al cambio. En contraste, las contradicciones de creencias mostraron mayor volatilidad, con algunos equipos resolviéndolas mediante el diálogo mientras que otros no lo hicieron.
3. Potencial Predictivo: Mostrar que incluso una ponderación uniforme simple de los conteos históricos de discrepancias puede producir una precisión predictiva significativa, lo que sugiere que los patrones de coordinación en etapas tempranas establecen trayectorias que persisten.

Los autores concluyen modestamente que, si bien el marco permite estrategias de intervención dirigidas (por ejemplo, abordar brechas de información frente a desacuerdos interpretativos), el modelo aditivo actual asume independencia entre los tipos de discrepancias, lo cual puede no reflejar la realidad (por ejemplo, omisiones que derivan en contradicciones). Se necesita trabajo futuro para incorporar curvas de aprendizaje específicas del equipo y dinámicas específicas por tipo.