Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
Este artículo presenta MOSAIC, un referente multimodal que revela que los actuales modelos de visión y lenguaje fallan al traducir el razonamiento de la Teoría de la Mente en acciones sociales coordinadas debido a cuellos de botella en la generación de señales no verbales coherentes y en la interpretación de los comportamientos ajenos, mientras que los modelos con un acoplamiento explícito entre creencia y acción tienen éxito.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La conexión humana depende de un intercambio silencioso y rápido que va mucho más allá de las palabras. Cuando hablamos, también cambiamos nuestra mirada, ajustamos nuestra postura y modificamos nuestras expresiones faciales, todo ello mientras intentamos adivinar qué está pensando y sintiendo la otra persona. Esta capacidad de comprender la mente de otra persona y luego usar ese entendimiento para guiar nuestras propias acciones se conoce como la teoría de la mente. Durante décadas, los científicos han estudiado esta capacidad, a menudo pidiendo a las personas que respondan preguntas sobre historias o observando cómo reaccionan ante acertijos sociales simples. El objetivo ha sido ver si la inteligencia artificial puede hacer lo mismo. Pero ha permanecido una brecha crítica: saber lo que alguien piensa es diferente de actuar basándose en ese conocimiento en tiempo real. Un sistema podría adivinar correctamente que una persona está ocultando un secreto, pero ¿puede entonces decidir apartar la mirada, sonreír o mover su cuerpo de una manera que fomente sutilmente que esa persona lo revele? Hasta ahora, ningún test había sido capaz de medir si una IA puede traducir una suposición mental en una señal social física coordinada.
Investigadores de la Université Paris-Saclay y la Sorbonne Université se propusieron cerrar esta brecha con un nuevo experimento llamado MOSAIC. Construyeron un mundo virtual donde dos agentes digitales interactuaban en un juego de búsqueda de tesoros. En este escenario, un agente, el sujeto, sabía dónde se encontraba la recompensa oculta, mientras que el otro, el participante, no lo sabía. La tarea del sujeto era ayudar al participante a encontrar el tesoro o, dependiendo de las reglas de la ronda, engañarlo para que eligiera la caja equivocada. El juego fue diseñado para ser una prueba rigurosa de inteligencia social. A lo largo de diez rondas de interacción, los agentes tenían que comunicarse utilizando una mezcla de palabras habladas, movimientos corporales, dirección de la mirada y expresiones faciales. Los investigadores variaron la dificultad cambiando las reglas: a veces se suponía que el sujeto debía ser honesto y otras veces se suponía que debía ser engañoso. Crucialmente, también cambiaron las instrucciones internas del sujeto, pidiendo a algunos que actuaran según sus propios deseos sin pensar en la otra persona, y pidiendo a otros que modelaran explícitamente las creencias del participante e intentaran influir en ellas.
Los investigadores probaron trece modelos diferentes de inteligencia artificial en este entorno, incluyendo once modelos de visión-lenguaje que pueden ver y hablar, y uno solo de texto. Realizaron doscientos ensayos para cada modelo para reunir suficientes datos para observar patrones claros. Los resultados fueron contundentes. La mayoría de los sistemas de IA avanzados fallaron al producir el comportamiento coordinado necesario para tener éxito. Cuando se les pidió engañar, los modelos no pudieron generar la mezcla necesaria de palabras engañosas y lenguaje corporal contradictorio. Cuando se les pidió ayudar, a menudo fallaron al moverse o mirar de una manera que guiara al otro agente. El estudio identificó dos puntos de ruptura específicos en el proceso. Primero, la mayoría de los modelos no pudieron producir señales no verbales que tuvieran sentido direccional; sus movimientos y mirada eran a menudo aleatorios o apuntaban en la dirección incorrecta. Segundo, incluso cuando un modelo producía una señal clara, el otro agente en la simulación no la notaba o no actuaba en consecuencia. Los agentes de IA parecían estar hablando y moviéndose, pero no estaban comunicándose verdaderamente.
Un modelo destacó como una excepción completa. Un sistema híbrido llamado PCM-LLM, que fue construido con un módulo específico y estructurado diseñado para manejar creencias e intenciones, tuvo éxito en todas las condiciones. Podía guiar con éxito al participante hacia el tesoro cuando se le pedía ayudar, y podía engañarlo con éxito cuando se le pedía engañar. Este éxito sugiere que el fallo de los otros modelos no se debió a la dificultad de la tarea en sí, sino más bien a una pieza faltante en su arquitectura. Los modelos estándar, que procesan lenguaje e imágenes juntos, parecían carecer del mecanismo interno para vincular una creencia sobre otra persona directamente con una acción física. Los investigadores descubrieron que, para la mayoría de los modelos, la entrada visual que recibían actuaba en realidad como una distracción en lugar de una pista útil. En algunos casos, eliminar la imagen visual por completo mejoró la capacidad del modelo para enviar una señal direccional clara, lo que sugiere que los datos visuales estaban interfiriendo con su razonamiento en lugar de apoyarlo.
El estudio también exploró si estos modelos podían aprender a hacerlo mejor con la práctica. Los investigadores tomaron uno de los modelos que fallaron y lo entrenaron utilizando ejemplos de comportamientos exitosos generados por el sistema híbrido de alto rendimiento. Aunque este entrenamiento cambió ligeramente el comportamiento del modelo, no solucionó el problema fundamental. El modelo seguía sin poder coordinar sus palabras, ojos y cuerpo en una señal social única y coherente. Esto sugiere que simplemente mostrarle a una IA cómo moverse no es suficiente; necesita un cambio arquitectónico más profundo para entender que sus acciones tienen el propósito de influir en otra mente. Los hallazgos indican que los sistemas de IA actuales, a pesar de su capacidad para discutir escenarios sociales complejos en texto, aún no han aprendido a encarnar esas ideas. Pueden hablar sobre la teoría de la mente, pero aún no pueden vivirla. La brecha entre inferir lo que alguien piensa y actuar sobre esa inferencia de una manera coordinada y física sigue siendo una limitación distinta y medible de la tecnología actual.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.