Effects of Theory of Mind and Prosocial Beliefs on Steering Human-Aligned Behaviors of LLMs in Ultimatum Games

La interacción humana a menudo depende de una habilidad silenciosa e invisible: la capacidad de adivinar qué está pensando, sintiendo o planeando otra persona antes de que diga una palabra. Los psicólogos llaman a esto la teoría de la mente. Es la maquinaria mental que nos permite comprender que otra persona puede tener una creencia diferente a la nuestra, o que sus acciones están impulsadas por un deseo que no podemos ver. Durante décadas, esta capacidad se consideró un rasgo exclusivamente humano, esencial para navegar por mundos sociales complejos. Ahora, a medida que los sistemas de inteligencia artificial se vuelven más sofisticados, los investigadores se plantean una pregunta fundamental: ¿pueden las máquinas aprender a usar esta misma intuición social? Si se le pide a un programa informático que negocie con un humano, o con otro ordenador, ¿puede realmente comprender la perspectiva del otro lado, o simplemente está imitando las palabras de acuerdo sin comprender la intención que hay detrás de ellas?

Para averiguarlo, un equipo de investigadores de la Universidad de Gestión de Singapur y la Universidad Nacional Australiana recurrió a una prueba clásica de negociación humana conocida como el juego del ultimátum. En este escenario, dos personas deben repartirse una suma de dinero. Una persona, el proponente, sugiere cómo dividir el efectivo. La otra persona, el respondedor, debe decidir si acepta la oferta o la rechaza. Si el respondedor acepta, el dinero se divide según lo propuesto. Si lo rechaza, ninguna de las dos personas recibe nada. Mientras que un ordenador puramente lógico podría sugerir quedarse con casi todo el dinero y esperar que el otro acepte cualquier cosa antes que nada, los humanos reales a menudo rechazan ofertas injustas por un sentido de la justicia, incluso si eso les cuesta algo. Los investigadores querían ver si los modelos de lenguaje de gran tamaño —los potentes sistemas de IA que impulsan muchos de los chatbots modernos— podían ser programados para actuar como estos humanos reales, y si darles un proceso de razonamiento específico de "teoría de la mente" les ayudaría a alinearse con el comportamiento humano.

El equipo organizó una simulación masiva que involucró 2.700 juegos jugados entre diferentes agentes de IA. No se limitaron a dejar que los ordenadores jugaran al azar; asignaron cuidadosamente a cada agente una personalidad o "creencia prosocial" específica. Algunos agentes fueron programados para ser codiciosos, preocupándose solo por maximizar su propia parte. Otros fueron configurados para ser justos, con el objetivo de lograr un reparto equitativo. Un tercer grupo fue programado para ser desinteresado, dispuesto a regalar la mayor parte del dinero al otro jugador. Los investigadores probaron entonces cómo se comportaban estos agentes cuando utilizaban diferentes métodos de pensamiento. Algunos simplemente tomaban una decisión sin explicar su proceso de pensamiento. Otros utilizaban una técnica de razonamiento estándar paso a paso. El grupo más interesante, sin embargo, fue el que se le pidió utilizar el razonamiento de la teoría de la mente. Esto significaba que los agentes debían pensar explícitamente en lo que el otro jugador creía, deseaba e intentaba antes de realizar su movimiento. Probaron esto en seis modelos de lenguaje de gran tamaño diferentes, que iban desde sistemas comerciales ampliamente conocidos hasta modelos de código abierto, para ver si el tamaño o el tipo de modelo importaba.

Los resultados revelaron un patrón claro: dotar a los agentes de IA de la capacidad de razonar sobre la mente del otro jugador mejoró significamente su alineación con las normas humanas. Cuando los agentes utilizaban el razonamiento de la teoría de la mente, sus decisiones se volvían mucho más consistentes con la forma en que se comportan las personas reales en estos juegos. Por ejemplo, los agentes de mentalidad justa eran más propensos a proponer un reparto igualitario, y los agentes codiciosos eran más propensos a ofrecer una parte que un respondedor codicioso realmente aceptaría. El estudio encontró que el tipo de razonamiento importaba profundamente dependiendo del rol que la IA estuviera desempeñando. Los proponentes, que realizan la primera oferta, funcionaron mejor cuando utilizaron un tipo específico de teoría de la mente centrado en predecir el estado mental de la otra persona. Los respondedores, que deciden si aceptar o rechazar, se beneficiaron más cuando utilizaron un método de razonamiento más complejo que combinaba el pensar sobre sus propios deseos con el pensar sobre las intenciones del proponente.

Sin embargo, los investigadores también descubrieron una limitación sorprendente. Incluso cuando se le decía explícitamente a la IA que fuera codiciosa o desinteresada, a menudo le costaba actuar de una manera que realmente coincidiera con esas instrucciones. Cuando un agente era instruido para ser codicioso, frecuentemente ofrecía un reparto demasiado justo, como si no pudiera comprometerse plenamente a ser egoísta. Del mismo modo, los agentes a los que se les decía que fueran desinteresados a veces se contenían de dar tanto como sus instrucciones exigían. Los autores sugieren que esto sucede porque estos modelos de IA han sido entrenados con vastas cantidades de datos humanos y ajustados para ser útiles y cooperativos, creando un sesgo interno hacia la justicia que anula las instrucciones específicas dadas para el experimento. Este "ajuste fino cooperativo" actúa como una fuerza oculta, alejando a los agentes de los comportos extremos, ya sea el egoísmo extremo o la generosidad extrema.

El estudio también analizó de cerca si el razonamiento declarado de la IA coincidía con sus acciones reales. En muchos casos, la lógica interna de los agentes era consistente con sus decisiones finales, pero hubo momentos de desconexión. Cuando expertos humanos revisaron las trazas de razonamiento de la IA, encontraron que los modelos eran generalmente buenos explicando sus elecciones, pero a veces fallaban al articular correctamente su personalidad asignada, especialmente al reaccionar ante una oferta. Por ejemplo, un respondedor desinteresado podría justificar la aceptación de una oferta baja analizando la amabilidad del proponente en lugar de admitir su propio deseo de dar. Esto sugiere que, si bien la IA puede simular el comportamiento externo de una interacción social, la consistencia interna de su "personalidad" puede ser frágil.

En última instancia, la investigación muestra que dotar a los agentes de IA con el razonamiento de la teoría de la mente es una herramienta poderosa para hacer que se comporten más como los humanos en situaciones sociales. Les ayuda a navegar la tensión entre sus propios objetivos y las expectativas de los demás. Sin embargo, el estudio también destaca que estos sistemas no son lienzos en blanco; poseen sesgos profundos hacia la cooperación que pueden dificultar que interpreten auténticamente roles que requieren egoísmo o altruismo extremo. Los hallazgos sugieren que, para que la IA coopere verdaderamente con los humanos en decisiones de alto riesgo, no solo debemos enseñarles cómo pensar sobre los demás, sino también comprender las limitaciones ocultas de su propio entrenamiento que moldean cómo interpretan esos pensamientos.