Resumen Técnico: Teoría de la Mente y Persuasión Más Allá de la Conversación

Planteamiento del Problema

Los benchmarks actuales para la Teoría de la Mente (ToM) en Modelos de Lenguaje de Gran Escala (LLM) se basan predominantemente en formatos de preguntas y respuestas (Q&A) pasivos, donde los modelos infieren estados mentales basados en narrativas proporcionadas. Sin embargo, a medida que los LLM son desplegados cada vez más en roles agénticos y autónomos —capaces de interactuar con herramientas, APIs y otros agentes sin supervisión humana completa— existe una brecha crítica en la evaluación de su capacidad para planificar acciones destinadas a inducir estados de creencia específicos en otros mediante el entorno. Este artículo aborda la necesidad de evaluar la Teoría de la Mente de Planificación No Conversacional (NCP-ToM): la capacidad de un agente para lograr estados de creencia específicos en otros agentes a través de acciones ambientales (por ejemplo, mover objetos, dirigir personajes) en lugar de la persuasión conversacional. Los autores señalan que, si bien esta capacidad es esencial en contextos de usuario-asistente y pedagógicos, también introduce riesgos de seguridad significativos relacionados con la manipulación y la desinformación si los agentes están desalineados o tienen tareas de objetivos engañosos.

Metodología: NCP-ExploreToM

Los autores introducen NCP-ExploreToM, un nuevo marco que adapta el benchmark de Q&A existente, ExploreToM, a una tarea de planificación agéntica.

• Estructura de la Tarea: A diferencia de las tareas tradicionales de ToM donde los sujetos observan un escenario y responden preguntas, NCP-ExploreToM proporciona a los modelos un conjunto de objetivos de estado de creencia. El modelo debe actuar como un agente en un entorno simulado para alcanzar estos objetivos.
• Entorno y Acciones: El entorno consiste en habitaciones, personajes, objetos y contenedores. Los modelos pueden ejecutar seis acciones específicas: entrar_en_la_habitacion (enter_room), salir_de_la_habitacion (leave_room), mover_objeto_contenedor (move_object_container), salir_del_contenedor (leave_container), mover_objeto_habitacion (move_object_room) y actualizar_estado_del_objeto (update_object_state). Los personajes son observadores pasivos que solo forman creencias basadas en la observación directa; no actúan a menos que el modelo los dirija.
• Complejidad de los Objetivos:
  • Orden de Intencionalidad: Los objetivos varían desde primer orden (p. ej., "La Persona A cree que X está en la Habitación 1") hasta segundo orden (p. ej., "La Persona A cree que la Persona B cree que X está en la Habitación 1").
  • Valor de Verdad: Los objetivos pueden ser creencias verdaderas (la creencia del personaje coincide con la realidad) o creencias falsas (la creencia del personaje no coincide con la realidad).
  • Tamaño del Objetivo: Las tareas varían en complejidad según el número de objetivos base combinados (tamaños 1, 2 y 3).
  • Contextos: Las tareas se instancian en cinco contextos distintos (edificio gubernamental, hospital, hotel, base militar, recepción de boda) para probar la sensibilidad contextual.
• Participantes: El estudio evaluó seis LLM de frontera (GPT-5, Gemini 2.5 Pro, Claude 3 Haiku, Claude 3.5 Haiku, Claude Sonnet 4.5, Claude Opus 4.1) y una cohorte de 40 participantes humanos.
• Diseño Experimental:
  • Agéntico vs. No Agéntico: Para cada tarea, se creó una versión correspondiente de Q&A no agéntica donde se le presentaba al modelo una historia que lograba el objetivo y se le pedía verificar los estados de creencia resultantes. Esto permitió una comparación directa entre la dificultad de la planificación agéntica frente a la inferencia pasiva.
  • Línea Base Humana: Los humanos completaron las tareas a través de una interfaz visual de clic y arrastre para asegurar la validez ecológica, con un proceso de filtrado para asegurar la comprensión básica de la tarea.

Resultados Clave

El estudio analizó 600 instancias de tareas a través de todos los participantes y modelos.

1. Desempeño de los Modelos vs. Humanos:

   • GPT-5 fue el único modelo que superó a los participantes humanos en la tarea agéntica, logrando el éxito en aproximadamente el 80% de las tareas.
   • Gemini 2.5 Pro y Claude Sonnet 4.5 se desempeñaron a un nivel comparable o ligeramente inferior al desempeño humano.
   • Los modelos Claude Haiku (3 y 3.5) tuvieron un desempeño significativamente inferior al de los humanos y otros modelos.
   • Sensibilidad al Contexto: El desempeño humano fue notablemente más robusto a través de diferentes contextos que el de todos los modelos. Los modelos exhibieron una mayor varianza en las tasas de aprobación dependiendo del escenario (p. ej., hotel vs. edificio gubernamental), lo que sugiere una dependencia de asociaciones lingüísticas en lugar de un razonamiento generalizado.

2. Creencias Verdaderas vs. Falsas:

   • Todos los modelos y humanos desempeñaron significativamente mejor en tareas de creencia verdadera que en tareas de creencia falsa.
   • Para el modelo con mejor desempeño (GPT-5), la brecha de desempeño entre creencias verdaderas y falsas fue menor que en modelos anteriores, aunque las tareas de creencia falsa siguieron siendo más difíciles.

3. Dificultad Agéntica vs. Q&A:

   • Nivel Agregado: Consistente con suposiciones previas, las tareas agénticas fueron generalmente más difíciles que sus contrapartes de Q&A para la mayoría de los modelos.
   • Desglose a Nivel de Ítem: Para GPT-5, el vínculo predictivo entre el fallo en Q&A y el fallo agéntico se rompió. GPT-5 frecuentemente tuvo éxito en tareas agénticas donde falló en su versión de Q&A correspondiente. Esto desafía la suposición de que las tareas agénticas son universalmente más difíciles que las de Q&A para los modelos de última generación.
   • Tamaño del Objetivo: El desempeño disminuyó a medida que aumentaba el número de objetivos base (tamaño del objetivo) para todos los sujetos, lo que refleja mayores demandas de planificación y memoria de trabajo.

4. Orden de Intencionalidad:

   • Los objetivos de estado base fueron universalmente más fáciles que los de primer o segundo orden. Los modelos más nuevos (incluyendo GPT-5) encontraron los objetivos de primer y segundo orden con una dificultad similar, mientras que los modelos más antiguos tuvieron más dificultades con las tareas de segundo orden.

Significancia y Reivindicaciones

El artículo afirma presentar la primera evaluación dirigida a la NCP-ToM, cambiando el enfoque de la inferencia pasiva hacia la planificación activa para la inducción de creencias.

• Capacidades Emergentes: Los resultados indican que los modelos de última generación están desarrollando capacidades de razonamiento social suficientes para la completitud de tareas no conversacionales, con GPT-5 superando el desempeño humano en este dominio específico y controlado.
• Implicaciones de Seguridad: La capacidad de inducir creencias falsas mediante la planificación es una capacidad de doble uso. Si bien es útil para la alineación en roles pedagógicos o de asistencia, el artículo destaca que la capacidad de manipular estados de creencia sin conversación presenta riesgos si los agentes están desalineados o tienen objetivos engañosos. El hallazgo de que los modelos funcionan mejor en creencias verdaderas que en falsas se considera una señal positiva para la alineación, aunque la reducción de la brecha en los modelos de alto nivel requiere cautela.
• Paradigma de Evaluación: El estudio desafía la sabiduría convencional de que las tareas de Q&A son universalmente más fáciles que las tareas agénticas. El desacoplamiento del desempeño de Q&A y agéntico en GPT-5 sugiere que, a medida que los modelos son entrenados para actuar como agentes, su evaluación debe evolucionar más allá de la respuesta a preguntas estáticas para incluir la planificación y la evaluación basada en acciones.
• Limitaciones: Los autores mantienen una postura modesta, señalando que el entorno de la tarea carece de la complejidad del despliegue en el mundo real (p. ej., actores no conformes, falta de motivaciones intrínsecas para los objetivos). Advierten que, aunque los modelos tienen éxito en estas tareas controladas de NCP-ToM, esto no garantiza el éxito en escenarios complejos del mundo real que involucren metacognición, encarnación o la búsqueda coherente de múltiples pasos de objetivos desalineados.

En conclusión, el artículo argumenta que comprender la seguridad y la alineación de los agentes sociales autónomos requiere ir más allá de los benchmarks pasivos de ToM para evaluar la Teoría de la Mente de Planificación No Conversacional, una capacidad que está emergiendo rápidamente en los modelos de frontera.