Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind

1. El Problema: Divergencia Epistémica en la Interacción Humano-Agente

A pesar del rápido avance de los Modelos de Lenguaje Grande (LLM) y sus agentes, estos siguen luchando para comprender y responder a las necesidades reales del usuario cuando las intenciones o instrucciones se comunican de manera imprecisa.

• La Raíz del Problema: Existe una divergencia epistémica entre las creencias subjetivas del usuario (basadas en su perfil cognitivo, preferencias y conocimiento limitado) y el estado verdadero del entorno.
• Fallo Actual: Los agentes actuales a menudo siguen instrucciones literales sin detectar que el usuario tiene un modelo mental erróneo sobre la realidad. Esto lleva a que el agente intente resolver un problema basado en una premisa falsa, en lugar de corregir la comprensión del usuario.
• Limitación de la Evaluación Actual: Las evaluaciones existentes de la Teoría de la Mente (ToM) en LLM se centran en la inferencia de creencias aisladas (como preguntas de opción múltiple) o en escenarios estáticos simplificados, ignorando la utilidad funcional de la ToM en interacciones dinámicas y complejas del mundo real.

2. Metodología y Marco Teórico

Los autores proponen formalizar la ToM no como una habilidad cognitiva aislada, sino como un mecanismo funcional para la detección y resolución de divergencias epistémicas.

A. Formalización del Problema

El entorno se modela como un proceso parcialmente observable:

• Estado Verdadero ($s^*$): La realidad objetiva (ej. la causa raíz de un error).
• Creencia del Usuario ($b$): Una distribución de probabilidad subjetiva sobre el estado, influenciada por el perfil del usuario ($P$), que puede divergir de la realidad.
• Trajectoria de Interacción ($\tau$): La secuencia de acciones del usuario basada en su creencia $b$, que puede desviarse de la trayectoria óptima ("gold trajectory").
• Rol del Agente: Debe inferir la creencia latente $b$ y el perfil $P$ observando la trayectoria $\tau$ y las observaciones parciales, para luego sincronizar su comprensión con la del usuario y corregir la divergencia.

B. Benchmark: SynchToM

Para evaluar esto, se introduce SynchToM, un benchmark diseñado para simular escenarios prácticos donde la alineación de creencias es crucial.

• Generación de Datos: Se utiliza un pipeline de dos etapas:
  1. Síntesis de Escenarios: Generación de situaciones de desajuste creencia-realidad en cuatro dominios: Ingeniería de Software (SWE), Inferencia de Preferencias, Diferencias Culturales y Educación.
  2. Construcción de Trayectorias: Simulación de interacciones de múltiples turnos (hasta 10) donde el usuario actúa consistentemente con su creencia errónea.
• Control de Calidad: Un módulo de validación basado en LLM asegura la fidelidad de los datos en cinco dimensiones: fidelidad conductual, realismo, consistencia de acción, inferibilidad y solidez cognitiva.
• Métricas de Evaluación:
  1. Explicación de Creencia Latente: ¿El agente identifica correctamente el error mental del usuario?
  2. Modelado de Perfil de Usuario: ¿El agente entiende el contexto y sesgos del usuario?
  3. Resolución del Problema: ¿El agente logra la solución correcta basándose en la comprensión de la divergencia?

C. Estrategias de Mejora

Para abordar la brecha de rendimiento, se proponen dos enfoques:

1. Aprendizaje por Refuerzo (RL): Entrenamiento de modelos (usando GRPO) con datos de trayectorias generadas por SynchToM, utilizando recompensas específicas para la detección de creencias y perfiles.
2. Colaboración Multi-Agente (Sin entrenamiento): Un marco donde múltiples agentes infieren estados mentales y un agente generador selecciona las inferencias óptimas para mejorar la resolución de tareas.

3. Resultados Clave

La evaluación de 11 modelos líderes (incluyendo GPT-5, Gemini, Claude, y modelos de código abierto como Qwen y Kimi) revela hallazgos significativos:

• Limitaciones Generales: Incluso los modelos más avanzados tienen dificultades para identificar las causas de las creencias erróneas de los usuarios. A menudo priorizan seguir instrucciones literales sobre la alineación epistémica.
• Desacoplamiento de Dimensiones: La capacidad de predecir la solución correcta no garantiza una comprensión precisa de la creencia latente del usuario. La puntuación en "Creencia" es más difícil de mejorar que la de "Solución".
• Importancia de la Trayectoria: El rendimiento mejora significativamente a medida que aumenta el número de turnos de interacción (de 0 a 10). La interacción sostenida proporciona evidencia necesaria para la reconciliación epistémica estable.
• Sensibilidad al Dominio: Los modelos rinden mejor en dominios con conocimiento objetivo claro (como SWE y Cultura) que en dominios altamente subjetivos (Preferencias y Educación).
• Efecto de la Alineación (Ablación):
  • Proporcionar al modelo la creencia y el perfil verdaderos (Ground Truth) mejora drásticamente la resolución de tareas.
  • Desordenar (shuffle) la información de creencia y perfil provoca una caída sistemática en el rendimiento, demostrando una relación causal entre la modelación mental precisa y el éxito de la tarea.
• Mejora mediante Entrenamiento: El modelo Qwen3-8B, tras ser entrenado con RL en datos de SynchToM, mostró mejoras consistentes en la dimensión de "Solución" y en la inferencia de creencias, superando al modelo base, especialmente en configuraciones de múltiples turnos.
• Transferibilidad: La colaboración multi-agente demostró que las inferencias de estados mentales de un modelo pueden guiar eficazmente a otro, mejorando la resolución de tareas complejas (especialmente en diferencias culturales).

4. Contribuciones Principales

1. Formalización Funcional de la ToM: Cambian el enfoque de la ToM como un ejercicio de razonamiento mental estático a un mecanismo operativo para detectar y resolver divergencias entre la creencia del usuario y la realidad en interacciones dinámicas.
2. Benchmark SynchToM: Introducen un conjunto de datos y evaluación riguroso que incluye trayectorias de interacción en cuatro dominios prácticos, revelando un vínculo crítico ("ToM-Resolution Linkage") entre la precisión del estado mental y el éxito de la tarea.
3. Validación de Paradigmas de Entrenamiento: Demuestran que la capacidad de ToM es entrenable y transferible. El uso de datos generados por el pipeline mejora el rendimiento en tareas downstream y valida que la interacción histórica es crucial para la estabilidad de la alineación epistémica.

5. Significado e Impacto

Este trabajo establece que la Teoría de la Mente es un componente esencial y medible para el desarrollo de agentes de IA colaborativos y resilientes.

• Más allá de la Instrucción: Sugiere que para que los agentes sean verdaderamente útiles, no deben limitarse a seguir instrucciones, sino que deben poseer la capacidad de "leer la mente" del usuario para detectar malentendidos fundamentales y corregirlos proactivamente.
• Hacia Agentes Colaborativos: La investigación demuestra que la alineación epistémica es un requisito previo para la colaboración efectiva en entornos donde la información es incompleta o ambigua.
• Dirección Futura: Proporciona una hoja de ruta para mejorar los agentes de IA mediante la integración de mecanismos de ToM en el entrenamiento por refuerzo y la colaboración multi-agente, moviendo el campo desde la evaluación teórica hacia la utilidad práctica en escenarios del mundo real.