💻 computer science

Noncooperative Human-AI Agent Dynamics

Este artículo investiga las dinámicas de interacciones no cooperativas entre agentes de inteligencia artificial que maximizan la utilidad esperada y humanos modelados con la Teoría de Prospectos, mediante simulaciones numéricas en diversos juegos matriciales para analizar sus comportamientos estratégicos emergentes y anomalías cognitivas.

Autores originales: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

Publicado 2026-03-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un gran tablero de ajedrez donde se enfrentan dos tipos de jugadores muy diferentes:

El Robot Lógico (IA): Es como un superordenador frío y calculador. Solo le importa una cosa: ganar la mayor cantidad de puntos posible basándose en matemáticas perfectas. No tiene miedo, no se emociona y siempre elige la opción que la teoría dice que es la mejor.
El Humano (con "Cerebro Real"): No es un robot. Es una persona con miedos, esperanzas y un historial de victorias y derrotas. Este humano no solo mira los puntos, sino cómo se siente respecto a lo que ya tiene. Si pierde algo, le duele el doble que si gana lo mismo. Si ya tiene mucho, le da igual ganar un poco más.

Este documento es un "laboratorio virtual" donde los autores ponen a estos dos tipos de jugadores a competir en juegos clásicos (como el Dilema del Prisionero o el Juego de la Gallina) para ver qué pasa cuando la lógica pura choca con la psicología humana.

Aquí te explico los hallazgos clave con analogías sencillas:

1. El Juego de la "Teoría de la Perspectiva" (Prospect Theory)

Los autores usan una teoría llamada Teoría de la Perspectiva para modelar al humano. Imagina que tienes un "punto de referencia" (como una línea de base en el suelo).

Si caes por debajo de la línea (pérdida): Te asustas mucho y tomas decisiones arriesgadas para recuperar lo perdido.
Si estás por encima (ganancia): Te vuelves cauteloso y conservador.
El Robot: No tiene línea de referencia. Solo suma y resta números fríos.

2. ¿Qué pasa cuando juegan juntos?

Los autores probaron varios escenarios y descubrieron cosas fascinantes:

En el "Dilema del Prisionero" (Traición vs. Cooperación):
- Lo esperado: Ambos deberían traicionarse mutuamente porque es lo lógico.
- Lo que pasó: El robot siempre traiciona. El humano, a veces, intenta cooperar por un momento, pero al final, el miedo a perder más lo lleva a traicionar también. Sin embargo, hubo un caso extraño donde el humano, al comparar su resultado con el del robot, decidió cooperar un poco más de lo que la lógica dictaba, solo porque su "punto de referencia" estaba ajustado de forma peculiar.
En el "Juego de la Gallina" (Choque de autos):
- Lo esperado: Uno debe ceder para evitar el desastre.
- Lo que pasó: El robot es un "piloto suicida" lógico; si calcula que ceder es malo, no cede. El humano, al sentir el miedo a la pérdida (el choque), a veces se vuelve demasiado arriesgado o demasiado cauteloso dependiendo de cómo ha jugado antes. A veces, el humano gana porque el robot no entiende el "pánico" humano y se queda atascado en un cálculo que no funciona en la realidad.
El "Juego de la Gallina" (Chicken) y el "Juego de las Parejas" (Battle of the Sexes):
- Aquí es donde se pone interesante. El robot siempre busca el equilibrio perfecto matemático. El humano, en cambio, a veces se atasca en equilibrios extraños.
- Analogía: Imagina que el robot siempre elige el camino más corto. El humano, en cambio, a veces elige un camino más largo porque "se siente mejor" o porque tiene miedo de tomar el atajo. A veces, esta "irracionalidad" hace que el humano termine ganando o empatando de formas que el robot no podía prever.

3. La Sorpresa: ¿Quién gana?

Lo más sorprendente del estudio es que no hay un ganador claro.

A veces, la lógica del robot gana porque el humano se deja llevar por el miedo.
Otras veces, la "locura" del humano (sus sesgos) le da una ventaja porque el robot no puede predecir un comportamiento que no es matemático.
El hallazgo más importante: A veces, el humano toma decisiones que parecen "malas" matemáticamente (pierde puntos), pero que en realidad son una respuesta a cómo se siente respecto a lo que ya tiene. El robot no entiende esto, y por eso a veces falla.

4. ¿Por qué nos importa esto?

Imagina que en el futuro:

Los coches autónomos (robots) comparten la calle con conductores humanos (que se asustan o se ponen nerviosos).
Los algoritmos de bolsa (robots) negocian contra traders humanos (que venden por pánico o compran por euforia).

Si los robots solo esperan que los humanos actúen como robots lógicos, se equivocarán. Este estudio nos dice que para que la IA funcione bien con humanos, debe entender que los humanos no son máquinas de cálculo, sino seres emocionales que toman decisiones basadas en lo que sienten que han ganado o perdido, no solo en lo que realmente tienen.

En resumen:
El papel nos dice que cuando mezclamos la lógica fría de una IA con la psicología humana, el resultado no es siempre predecible. A veces el humano gana por suerte, a veces pierde por miedo, y a veces ambos terminan en un punto extraño que ninguna de las dos partes planeó. Para el futuro, significa que debemos enseñar a las IAs a "leer" no solo los números, sino también las emociones humanas.

Resumen Técnico: Dinámicas de Agentes No Cooperativos Humano-IA

1. Planteamiento del Problema

El artículo aborda la creciente interacción entre agentes de Inteligencia Artificial (IA) y tomadores de decisiones humanos en entornos estratégicos no cooperativos (como comercio algorítmico, conducción autónoma, ciberseguridad y gestión de recursos).

El problema central radica en la discrepancia de modelado:

Los agentes de IA se modelan tradicionalmente como maximizadores de Utilidad Esperada (EU) racionales y perfectos.
Los agentes humanos, sin embargo, no siguen el modelo del Homo Economicus. La literatura de economía conductual demuestra que los humanos toman decisiones basadas en Teoría de Prospectos (PT), caracterizada por la aversión a las pérdidas, la dependencia de puntos de referencia y la ponderación no lineal de las probabilidades.

La pregunta de investigación es: ¿Cómo interactúan y convergen las estrategias cuando agentes de IA (EU) compiten contra agentes humanos modelados con PT (conscientes o aprendices) en juegos repetidos? El objetivo es entender si surgen ventajas competitivas, nuevas dinámicas de equilibrio o comportamientos anómalos no previstos por la teoría de juegos clásica.

2. Metodología

A. Agentes y Modelos
Los autores simulan tres tipos de agentes en juegos de matriz $2 \times 2$ y $m \times m$ :

Agente de IA (EU): Utiliza Aprendizaje por Refuerzo (Q-Learning) estándar para maximizar la recompensa esperada. No tiene sesgos conductuales.
Humano Consciente (AH - Aware Human): Posee conocimiento completo de la estructura del juego y las recompensas. Calcula la mejor respuesta exacta utilizando la transformación de Teoría de Prospectos (CPT) sobre la tabla de pagos, sin aprendizaje iterativo (es un agente estático de mejor respuesta).
Humano Aprendiz (LH - Learning Human): No conoce el juego de antemano. Utiliza Q-Learning con recompensa promedio, pero aplica la transformación de Teoría de Prospectos (CPT) a los valores Q antes de tomar decisiones. Este agente aprende dinámicamente.

B. Configuración Experimental

Juegos: Se utilizaron una suite de juegos clásicos (Dilema del Prisionero, Par o Impar, Caza del Ciervo, Batalla de los Sexos, Gallina) y juegos anómalos diseñados para romper equilibrios en PT (Juego de Ochs y Contraejemplo de Crawford).
Puntos de Referencia: Se probaron cuatro modelos dinámicos para el punto de referencia ( $r_i$ $r_{i}$ ) de los agentes humanos:
- EMA: Adaptación basada en recompensas históricas.
- V-Based: Basado en valores Q aprendidos o tabla de pagos.
- EMAOR: Comparación social (basado en las recompensas del oponente).
- Fijo: Punto de referencia constante.
Entorno: Juegos repetidos con historial de estados ( $n=0$ para juegos de un solo turno y $n=2$ para juegos repetidos con memoria). Se ejecutaron 50,000 pasos por experimento.

C. Algoritmo
Se implementó un algoritmo de Q-Learning Heterogéneo. Los agentes humanos (LH) mantienen una tabla Q expandida que incluye las creencias sobre las acciones del oponente. La actualización de la política maximiza el valor prospectivo (transformado por CPT) en lugar de la recompensa bruta.

3. Contribuciones Clave

Modelado Heterogéneo: Es el primer trabajo que estudia empíricamente el comportamiento asintótico de poblaciones mixtas (PT vs. EU) en juegos no cooperativos repetidos.
Distinción Cognitiva: Diferencia claramente entre agentes humanos "conscientes" (que calculan la mejor respuesta teórica) y "aprendices" (que adaptan su estrategia mediante experiencia), permitiendo aislar el efecto del aprendizaje en la dinámica PT.
Formulación de Q-Learning con Múltiples Puntos de Referencia: Desarrolla y estudia la implementación de Q-Learning bajo diferentes regímenes de puntos de referencia dinámicos, crucial para modelar la adaptación psicológica humana.
Análisis de Anomalías: Identifica y documenta comportamientos emergentes donde la interacción entre sesgos humanos y racionalidad de IA genera equilibrios no predichos por la teoría clásica.

4. Resultados Principales

Los resultados numéricos revelan patrones complejos que varían según el juego y el tipo de agente:

Dilema del Prisionero:
- La mayoría de los emparejamientos convergen a la traición mutua (equilibrio clásico).
- Anomalía: En juegos de un solo turno, el Agente Aprendiz (LH) contra el Humano Consciente (AH) con punto de referencia EMAOR mostró una tasa de cooperación del ~10%, desviándose del equilibrio de Nash. En juegos repetidos, surgieron comportamientos anómalos en emparejamientos LH vs. LH.
Par o Impar (Matching Pennies):
- Se observaron desviaciones significativas del equilibrio de mezcla (50/50), llegando a ratios de 9:1 en algunos casos.
- Hallazgo Sorprendente: A pesar de las políticas extremas, las recompensas totales se mantuvieron equilibradas. La IA mostró un comportamiento errático cuando jugaba contra LH, perdiendo recompensa relativa, lo que sugiere que los sesgos de PT pueden desestabilizar a los agentes racionales.
Caza del Ciervo (Stag Hunt):
- Los resultados se alinearon estrechamente con la teoría, convergiendo mayoritariamente al equilibrio de coordinación óptima (Ciervo).
- Sin embargo, en emparejamientos AI vs. AI y LH vs. AI (con referencia V-Based), se observó convergencia al equilibrio de seguridad (Liebre), indicando que la falta de confianza o la aversión al riesgo pueden bloquear la cooperación óptima.
Batalla de los Sexos y Gallina:
- Batalla de los Sexos: El agente LH a menudo falló en alcanzar el equilibrio puro óptimo, convergiendo a políticas mixtas subóptimas (ej. 9:1) donde cedía la mayoría de la recompensa. Esto sugiere una desventaja competitiva para el agente humano en este escenario específico.
- Gallina: En juegos repetidos, surgieron cuencas de atracción mixtas no previstas (ej. 0.8, 0.8) donde los agentes minimizaban pérdidas mutuas, demostrando la influencia de la aversión a las pérdidas en la estabilización de conflictos.
Juegos Patológicos (Ochs y Crawford):
- Se confirmó que los agentes con preferencias PT (CPT) tienden a evitar equilibrios mixtos y convergen a estrategias puras, validando la teoría de que la no convexidad en las preferencias de PT puede destruir la existencia de equilibrios de Nash mixtos clásicos.
Magnitud de Transformación CPT:
- Se observó una correlación interesante: en los emparejamientos AH vs. LH, el agente LH mostró picos masivos en la magnitud de la transformación CPT (distancia L2 entre valores EU y CPT), pero esto no siempre se tradujo en cambios de comportamiento drásticos, sugiriendo una desconexión entre la "intensidad" del sesgo y la acción final.

5. Significado e Implicaciones

Seguridad de la IA: El estudio proporciona un marco analítico para comprender cómo los sesgos cognitivos humanos pueden crear ventajas o vulnerabilidades sistémicas en la interacción con IAs autónomas.
Diseño de Mecanismos: Los resultados sugieren que los sistemas de IA diseñados puramente para maximizar la utilidad esperada pueden ser explotados o desestabilizados por agentes humanos con preferencias de Teoría de Prospectos, y viceversa.
Más allá de la Predicción: El papel no busca predecir el comportamiento humano exacto, sino ofrecer un marco para comparar preferencias y entender cómo factores psicológicos (puntos de referencia, aversión a pérdidas) distorsionan las relaciones estratégicas.
Futuro: El trabajo abre la puerta a investigaciones en teoría de juegos evolutiva y diseño de mecanismos que integren explícitamente sesgos cognitivos para mejorar la integración de la IA en la sociedad (ej. vehículos autónomos que anticipan el comportamiento irracional de conductores humanos).

En conclusión, el artículo demuestra que la interacción entre agentes racionales (IA) y agentes con sesgos conductuales (Humanos) genera dinámicas emergentes complejas que a menudo se desvían de los equilibrios de Nash clásicos, creando nuevos paisajes de recompensa y estrategias que deben ser considerados en el diseño de sistemas multiagente.