📈 economía

Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

Este artículo demuestra que los jugadores humanos en juegos de piedra, papel o tijera repetidos mantienen una combinación única de alta entropía de política y comportamiento sensible al oponente que los modelos estándar de aprendizaje por refuerzo no logran reproducir, mientras que solo la Atracción Ponderada por la Experiencia (EWA) de autoajuste logra capturar esta firma dual.

Autores originales: Pratyush Mahadevaiah

Publicado 2026-10-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pratyush Mahadevaiah

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el estudio de cómo las personas aprenden a tomar decisiones, los científicos suelen observar juegos donde dos jugadores compiten, intentando superarse mutuamente. Un ejemplo clásico es un simple juego de "matching pennies" (moneda al aire), donde un jugador gana si las monedas coinciden y el otro gana si no coinciden. Para tener éxito, un jugador debe ser impredecible; si cae en un patrón, su oponente lo detectará y lo explotará. Al mismo tiempo, un jugador debe prestar atención a lo que está haciendo su oponente para ajustar su propia estrategia. Esto crea un delicado equilibrio: un jugador necesita ser lo suficientemente aleatorio para evitar ser predecible, pero lo suficientemente inteligente como para reaccionar ante la otra persona. Durante décadas, los modelos informáticos estándar utilizados para simular el aprendizaje humano han tenido dificultades con este equilibrio. Estos modelos suelen comenzar con mucho azar aleatorio, pero se vuelven gradualmente más seguros y deterministas a medida que aprenden, estableciéndose finalmente en una rutina rígida y predecible. Este comportamiento, sin embargo, no coincide con lo que las personas reales hacen realmente en el laboratorio.

Un nuevo estudio de Pratyush Mahadevaiah investiga esta discrepancia analizando datos de cientos de personas jugando estos juegos durante sesiones largas. En lugar de intentar ajustar una fórmula matemática compleja a los resultados, el investigador utilizó un método de la teoría de la información para medir dos cualidades específicas del comportamiento de los jugadores a lo largo del tiempo. La primera cualidad es la cantidad de aleatoriedad, o "ruido", en las elecciones de un jugador. La segunda es una medida de cuánto está influenciada la siguiente jugada de un jugador por la última jugada de su oponente. Al rastrear estos dos factores en 108 grupos diferentes de jugadores, el estudio revela un patrón distintivo en el comportamiento humano que los modelos informáticos estándar no logran replicar. La investigación muestra que los humanos mantienen un nivel constante de imprevisibilidad durante todo el juego, mientras que simultáneamente se mantienen altamente receptivos a las acciones de su oponente. En contraste, los modelos de aprendizaje más comunes utilizados por los científicos se vuelven demasiado predecibles y dejan de reaccionar a sus oponentes a medida que el juego progresa.

Los datos provienen de un gran conjunto de experimentos donde grupos de ocho personas jugaron una serie de juegos de "matching pennies" de 200 rondas cada uno. Los investigadores registraron cada movimiento realizado por cada jugador, creando una línea de tiempo detallada de las decisiones. Luego aplicaron una medición específica para ver cuánta información contenía la jugada actual de un jugador sobre la jugera anterior de su oponente. Esta medición, conocida como entropía de transferencia, actúa como un detector de capacidad de respuesta. Si un jugador está realmente prestando atención y ajustando su estrategia basándose en lo que la otra persona acaba de hacer, este número será alto. Si el jugador simplemente está actuando según su propia lógica interna sin considerar al oponente, el número será bajo. Cuando los investigadores observaron los datos humanos, encontraron que los jugadores mantenían un alto nivel de aleatoriedad, con una medida promedio de imprevisibilidad que se mantenía alrededor de 0.64 bits durante todo el juego. Más importante aún, mostraron una fuerte señal de capacidad de respuesta, con sus elecciones claramente influenciadas por la última jugada de su oponente.

Cuando se aplicó el mismo análisis a un modelo informático estándar llamado Q-learning, los resultados fueron marcadamente diferentes. Este modelo, que se utiliza ampliamente para simular cómo los agentes aprenden de las recompensas, comenzó con algo de aleatoriedad pero la perdió rápidamente. En aproximadamente treinta rondas, el comportamiento del modelo se volvió casi totalmente predecible, bajando su medida de aleatoriedad a casi cero. Debido a que se volvió tan predecible, también dejó de reaccionar a su oponente; la medida de capacidad de respuesta cayó a casi nada. Los investigadores probaron si simplemente cambiar la configuración de este modelo informático podía solucionar el problema. Intentaron hacer el modelo más aleatorio ajustando sus configuraciones internas de "temperatura", pero esto solo creó un compromiso. Cuando el modelo se hacía más aleatorio, se volvía menos receptivo al oponente. Cuando se hacía más receptivo, se volvía menos aleatorio. Ninguna configuración única permitió que el modelo fuera impredecible y atento al mismo tiempo, una combinación que los humanos lograron de forma natural.

El estudio luego probó otros cuatro modelos de aprendizaje comunes para ver si alguno podía reproducir el patrón humano. La mayoría de estos modelos fallaron de maneras similares: algunos se volvieron demasiado rígidos y predecibles, mientras que otros permanecieron aleatorios pero fallaron en prestar atención al oponente. Sin embargo, un modelo específico, conocido como "self-tuning experience-weighted attraction" (atracción ponderada por la experiencia de autoajuste), tuvo éxito donde los otros fallaron. Este modelo, que actualiza su estrategia basándose tanto en recompensas pasadas como en un mecanismo que detecta cambios en el juego, logró mantenerse tanto aleatorio como receptivo. Su comportamiento coincidió estrechamente con los datos humanos, ocupando el mismo espacio en el gráfico donde se encontraban los jugadores humanos. Aunque este modelo no coincidió perfectamente con los números humanos, fue el único que se acercó a capturar la naturaleza dual del juego humano.

Los hallazgos sugieren que la forma en que los humanos aprenden en situaciones competitivas es estructuralmente diferente de cómo operan los modelos estándar de aprendizaje por refuerzo. Los humanos no simplemente se vuelven más seguros y menos aleatorios a medida que ganan experiencia; en cambio, mantienen un nivel constante de ruido adaptativo que les permite seguir siendo impredecibles mientras siguen rastreando a su oponente. El estudio no pretende demostrar que este modelo informático específico sea exactamente cómo funciona el cerebro humano, pero sí identifica una característica crucial que cualquier modelo exitoso del aprendizaje humano debe poseer. Para describir con precisión cómo las personas juegan estos juegos, un modelo debe ser capaz de ser ruidoso y atento al mismo tiempo. Esta percepción ayuda a estrechar la búsqueda de mejores teorías del comportamiento humano, yendo más allá de las simples predicciones de lo que la gente hará a continuación para comprender las cualidades dinámicas de cómo aprenden y se adaptan a lo largo del tiempo.

Resumen Técnico: Ruido Adaptativo en el Juego Humano

Planteamiento del Problema
Los modelos estándar de aprendizaje por refuerzo (RL), particularmente el Q-learning, predicen que a medida que los agentes aprenden en juegos repetidos, su exploración decae (se atenúa) y sus políticas se vuelven deterministas. Sin embargo, los datos empíricos de sujetos humanos jugando juegos de "piedra, papel o tijera" (matching-pennies) repetidos (Selten y Chmura, 2008) contradicen esto: los humanos mantienen niveles altos de estocasticidad (mezcla) a lo largo de sesiones de 200 periodos mientras responden simultáneamente a las acciones de sus oponentes. La literatura existente se ha centrado principalmente en ajustar modelos a frecuencias agregadas o en predecir elecciones de rondas específicas. Este artículo aborda una brecha en la comprensión de las propiedades dinámicas de las trayectorias de juego humano, preguntando específicamente qué firmas estructurales debe poseer un modelo de aprendizaje para reproducir el comportamiento humano, en lugar de simplemente predecir resultados.

Metodología
El estudio analiza datos periodo a periodo de 108 grupos de sujetos independientes (864 sujetos) jugando 12 variaciones de juegos de matching-pennies 2×2. En lugar de ajustar los parámetros del modelo para que coincidan con los datos, el autor calcula cuatro "firmas" de información teórica directamente de las trayectorias de acción puras:

Amplitud de Oscilación de la Entropía de la Política: El pico del espectro de Fourier discreto de la trayectoria de la entropía de la política.
Fluctuación de KL: La desviación estándar de la divergencia de la política binaria respecto a una distribución uniforme.
Declive de la Entropía: La pendiente lineal de la entropía de la política a lo largo de la sesión (que indica la atenuación hacia el determinismo).
Entropía de Transferencia ( $T_{opp \to own}$ ): Una medida del flujo de información dirigida desde la última acción del oponente hacia la siguiente acción del jugador, definida como $H(a_t | a_{t-1}) - H(a_t | a_{t-1}, o_{t-1})$ . Esto cuantifica cuánto la historia del oponente reduce la incertidumbre sobre el movimiento futuro del jugador.

Estas firmas se calculan para los datos humanos y se comparan con simulaciones de cinco modelos de aprendizaje estándar ejecutados bajo idénticos protocolos experimentales (re-emparejamiento aleatorio, 200 periodos):

Q-learning (con exploración de Boltzmann y temperatura de atenuación).
Aprendizaje por Refuerzo (Erev y Roth, 1998).
Juego Ficticio Estocástico (Fudenberg y Levine, 1998).
Atracción Basada en la Experiencia (EWA) de autoajuste (Ho et al., 2007).
Aprendizaje de Emparejamiento de Impulsos (Chmura et al., 2012).

La significancia estadística se evalúa mediante pruebas t de nivel de grupo, pruebas de Kolmogorov-Smirnov y pruebas de permutación a nivel individual contra datos de control (surrogates) permutados.

Resultados Clave

Estocasticidad Humana vs. Atenuación de Q-Learning: Los humanos mantienen una tasa de entropía de política alta y aproximadamente estacionaria de aproximadamente 0.64 bits a lo largo de toda la sesión. En contraste, el Q-learning emparejado se atenúa hacia un juego casi determinista (entropía de ~0.06 bits) dentro de los 30 periodos. Las distribuciones de las tasas de entropía humana y de Q-learning no se solapan.
Capacidad de Respuesta al Oponente: Los humanos exhiben una fuerte entropía de transferencia del oponente hacia sus propias acciones (media de 0.059 bits), con un 55% de los sujetos individuales superando el nulo de 100 permutaciones (shuffles). El Q-learning emparejado muestra una entropía de transferencia insignificante (0.002 bits), con solo un 7.3% de los agentes superando el nulo (apenas por encima de la tasa de falsos positivos).
Compromiso Estructural: El fallo del Q-learning es estructural, no un artefacto de ajuste. Un barrido de las temperaturas de Q-learning revela un compromiso (trade-off): aumentar la temperatura (estocasticidad) reduce la capacidad de respuesta al oponente, mientras que disminuir la temperatura aumenta la capacidad de respuesta pero conduce al determinismo. El Q-learning no puede lograr simultáneamente la alta entropía y la alta entropía de transferencia observadas en los humanos.
Diferenciación de Modelos: Entre los cinco modelos probados, solo el EWA de autoajuste entra en la "región humana" del plano (tasa de entropía, entropía de transferencia). Aunque el EWA de autoajuste sobrepasa ligeramente la media humana en la entropía de transferencia, es el único modelo que es simultáneamente estocástico y capaz de responder al oponente. Otros modelos o colapsan hacia el determinismo (Q-learning, Reinforcement) o producen una aleatoriedad alta pero sin información (Fictitious Play, Impulse-matching).
Centralidad del Equilibrio: La entropía de transferencia humana se correlaciona fuertemente (Spearman $\rho = 0.81$ ) con la centralidad del equilibrio de Nash mixto. A medida que el equilibrio se desplaza hacia el centro del simplex de estrategia, la capacidad de respuesta humana aumenta. El Q-learning no logra replicar este gradiente, mostrando ninguna señal de capacidad de respuesta en ningún juego.

Significancia y Reivindicaciones
El artículo sostiene que proporciona una dimensión diagnóstica para evaluar modelos de aprendizaje, cambiando el enfoque de "qué modelo predice mejor las elecciones" a "qué firmas dinámicas debe reproducir un modelo".

Firma de Información Teórica: El autor identifica una firma específica —la alta entropía de política y la alta entropía de transferencia del oponente al propio jugador simultáneamente— que separa el comportamiento humano del Q-learning estándar y otros modelos de acumulación/basados en recompensa.
Validación de EWA de Autoajuste: Los resultados recuperan, mediante una medida de trayectoria libre de modelo, el hallazgo de selección de modelos de Chmura, Goerg y Selten (2012) de que el EWA de autoajuste predice mejor las elecciones individuales ronda a ronda. El artículo postula que la razón por la cual el EWA tiene éxito es su capacidad arquitectónica para ser tanto ruidoso como adaptativo, una propiedad compartida con el juego humano.
Causalidad vs. Correlación: El autor establece explícitamente que esto es una correlación arquitectónica, no un relato causal demostrado de por qué el EWA predice bien las elecciones. La contribución es la identificación de una propiedad estructural necesaria (ruido adaptativo) para cualquier modelo exitoso de estos datos, más que un nuevo modelo en sí mismo.
Novedad: Hasta donde el autor sabe, esta es la primera aplicación de la entropía de transferencia para discriminar modelos de aprendizaje utilizando datos de experimentos de juego, ofreciendo una nueva herramienta para analizar el flujo de información dirigida en contextos de racionalidad limitada.

Resumen Técnico: Ruido Adaptativo en el Juego Humano

Más como este