Resumen Técnico: ALMANAC

Planteamiento del Problema

Los avances recientes en los agentes de Modelos de Lenguaje Extensos (LLM) les han dotado de capacidades cognitivas complejas, como el razonamiento de múltiples pasos y el uso de herramientas, posicionándolos como potenciales colaboradores humanos. Sin embargo, la colaboración eficaz requiere más que la simple completitud de tareas; requiere el mantenimiento y la alineación continua de modelos mentales, específicamente, el auto-razonamiento sobre las propias acciones, la percepción de la intención del compañero y la comprensión de los objetivos compartidos del equipo.

La investigación y los benchmarks actuales de colaboración humano-agente (por ejemplo, ToolBench, WebArena, MultiAgentBench) evalúan principalmente a los agentes en intercambios dirigidos a tareas y en la completitud de tareas independientes. Carecen de datos de colaboración humana auténtica que incluyan anotaciones de modelos mentales a nivel de acción. Los conjuntos de datos de humanos-humanos existentes capturan interacciones observables (diálogos, resultados), pero omiten el contenido cognitivo crítico que subyace a los comportores colaborativos. En consecuencia, la comunidad carece de los datos necesarios para guiar a los agentes hacia una competencia colaborativa a nivel de proceso y hacia la capacidad de simular comportamientos colaborativos humanos e inferir estados mentales subyacentes.

Metodología

Construcción del Conjunto de Datos: ALMANAC

Para abordar esta brecha, los autores presentan ALMANAC (Action-Level Mental model ANnotations for Agent Collaboration), un conjunto de datos derivado de la Tarea del Mapa (Map Task), una clásica tarea de enrutamiento diádico de la ciencia social.

• Diseño de la Tarea: Dos participantes (un Guía y un Seguidor) colaboran para reproducir una ruta en un mapa mediante comunicación basada en texto y acciones en el espacio de trabajo (dibujar, borrar). El Guía ve la ruta completa; el Seguidor solo ve puntos de referencia.
• Condiciones Experimentales: El estudio manipula la visibilidad del lienzo como un factor entre sujetos:
  • $C_{not\_visible}$: El Guía no puede ver el dibujo en tiempo real del Seguidor.
  • $C_{visible}$: El Guía puede ver el lienzo en vivo del Seguidor.
• Marco de Anotación: Basado en teorías de procesos de trabajo en equipo, conciencia situacional y base común (common ground), el marco captura modelos mentales al nivel de la acción a través de un proceso de dos pasos:
  1. Puntos de Control durante la Sesión: Al 25%, 50% y 75% del progreso de la tarea, los participantes proporcionan informes breves y en tiempo real sobre los objetivos del equipo, la intención del compañero y el auto-razonamiento mediante grabación de voz.
  2. Etiquetado Retrospectivo Post-Sesión: Inmediatamente después de la tarea, los participantes revisan su trayectoria de acciones y capturas de pantalla. Para cada acción, proporcionan:
     • Racional de forma libre: Explicando el proceso cognitivo detrás de la acción.
     • Etiquetas estructuradas: Selecciones categóricas para Objetivo del Equipo, Percepción de la Intención del Compañero y Auto-razonamiento, junto con un indicador de estado de alineación.
• Escala de Datos: El conjunto de datos comprende 2,987 acciones de colaboración de 50 participantes a través de 25 sesiones diádicas. Las acciones se estandarizan en representaciones de cuadrícula discretas para facilitar el procesamiento por LLM sin depender de la comprensión de imágenes.

Experimentos de Benchmark

Los autores evaluaron seis LLMs (cuatro de código abierto/propietarios: Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet; y dos ajustados/fine-tuned: Qwen3-4B, Qwen3-30B-A3B) en dos tareas:

1. Predicción de Comportamiento de la Siguiente Vuelta: Predecir la siguiente acción (mensaje, dibujar, borrar, etc.) dada la historia de interacción y el persona.
2. Predicción del Modelo Mental: Predecir el estado mental del participante (objetivo del equipo, intención del compañero, auto-razonamiento, racional) para la siguiente vuelta.

Los experimentos compararon el prompting estándar, el ajuste fino (fine-tuning) sobre ALMANAC y la inclusión de anotaciones de modelos mentales de verdad fundamental como señales de entrada.

Contribuciones Clave

1. Conjunto de Datos ALMANAC: El primer conjunto de datos de colaboración humana que empareja comportamientos colaborativos auténticos con anotaciones de modelos mentales a nivel de acción informadas por la teoría.
2. Marco de Anotación: Un diseño novedoso que combina puntos de control durante la sesión con etiquetado retrospectivo post-sesión para capturar modelos mentales dinámicos y razonamientos de forma libre a la granularidad de acciones individuales.
3. Evaluación Empírica: Una evaluación exhaustiva de seis LLMs que demuestra que, si bien las anotaciones de modelos mentales proporcionan señales útiles para predecir el comportamiento colaborativo, los modelos actuales luchan por inferir procesos de razonamiento privados.

Resultados

Predicción de Comportamiento de la Siguiente Vuelta

• Asimetría de Roles: Predecir la siguiente acción del Guía (limitada a mensajes) fue trivial (100% de precisión), mientras que predecir la acción del Seguidor (que implica dibujar, borrar e interpretar) fue significativamente más difícil.
• Impacto de la Visibilidad: Los modelos generalmente funcionaron mejor en la condición $C_{not\_visible}$ que en la $C_{visible}$. Los autores atribuyen esto a la mayor variabilidad conductual y la dependencia de correcciones basadas en la visión en la condición visible, las cuales son más difíciles de inferir solo desde el historial de texto.
• Impacto de los Modelos Mentales: Añadir anotaciones de modelos mentales de verdad fundamental como entrada generalmente mejoró el rendimiento en la predicción de las acciones de los Seguidores, particularmente para la precisión del dibujo en la condición $C_{not\_visible}$. Esto sugiere que los comportamientos de los Seguidores están más fundamentados en estados de razonamiento latentes que las acciones de los Guías.
• Ajuste Fino (Fine-Tuning): Los modelos más pequeños ajustados en ALMANAC (Qwen3-4B) alcanzaron un rendimiento comparable al de los modelos propietarios más grandes, lo que indica que la supervisión dirigida en datos específicos de colaboración puede cerrar la brecha con los modelos más grandes.

Predicción de Modelos Mentales

• Jerarquía de Predictibilidad: El Objetivo del Equipo y la Intención del Compañero fueron significativamente más fáciles de predecir que el Auto-razonamiento. Esto concuerda con la observación de que los componentes compartidos suelen reflejarse en el diálogo y el progreso, mientras que el auto-razonamiento captura motivaciones privadas no expresadas explícitamente.
• Asimetría de Roles: Los modelos mentales de los Seguidores fueron más fáciles de predecir que los de los Guías. El razonamiento de los Guías involucra una planificación espacial compleja y el monitoreo del compañero que es difícil de inferir únicamente de la historia de interacción.
• Eficacia del Ajuste Fino: Los modelos ajustados (específicamente Qwen3-4B) mostraron un rendimiento superior en la predicción de los modelos mentales y los razonales de los Seguidores en comparación con los modelos basados en prompting, lo que sugiere que ALMANAC proporciona una supervisión efectiva para aprender el razonamiento relevante para la colaboración.
• Limitaciones: Ningún modelo superó consistentemente a otros en todas las condiciones. La baja precisión en la predicción del auto-razonamiento destaca el desafío de inferir modelos mentales privados.

Significado y Reivindicaciones

El artículo afirma que ALMANAC proporciona un recurso fundamental para desarrollar agentes de LLM que funcionen como verdaderos compañeros colaborativos en lugar de meros resolutores de tareas.

• Valor Diagnóstico: Los resultados indican que, si bien las anotaciones de modelos mentales ofrecen señales más allá de la historia de interacción, los LLM actuales no aprovechan de manera confiable estas para inferir el razonamiento privado. La brecha entre la predicción de estados compartidos (objetivo del equipo) y estados privados (auto-razonamiento) resalta una limitación fundamental en la capacidad de los modelos actuales para simular los procesos cognitivos que impulsan una colaboración efectiva.
• Competencia a Nivel de Proceso: Al fundamentar la evaluación en datos humanos auténticos con anotaciones informadas por la teoría, ALMANAC abre un camino hacia agentes que puedan mantener y alinear modelos mentales a lo largo de una colaboración, abordando un déficit crítico en los benchmarks de agentes actuales que se centran únicamente en la completitud de tareas.
• Alcance Modesto: Los autores reconocen limitaciones, incluyendo la dependencia de la notificación retrospectiva (sujeta al sesgo de memoria), el tamaño modesto del conjunto de datos en comparación con los benchmarks de NLP a gran escala, y la restricción a un único dominio de tarea (Tarea del Mapa). Señalan que se necesita trabajo futuro para extender estos hallazgos a diversos dominios del mundo real y explorar enfoques multimodales para una mejor comprensión espacial.