Trial-by-Trial Behavioral Adaptation in a Restless Bandit Task: A Mixed-Effects Modeling Approach

Cada día, tomamos decisiones en un mundo que nunca se queda quieto. La cafetería que era la mejor opción esta mañana podría estar concurrida mañana; la ruta al trabajo que fue rápida ayer podría estar bloqueada hoy. Para navegar por este paisaje cambiante, nuestros cerebros deben actualizar constantemente lo que saben y ajustar nuestro comportamiento. Este proceso de aprender de la experiencia mientras las reglas del juego están cambiando es un enigma central para los científicos que estudtan cómo pensamos y decidimos. Una forma poderosa en la que los investigadores exploran esto es a través de una configuración llamada tarea de "bandido inquieto" (restless bandit). Imagine estar sentado frente a cuatro máquinas tragamonedas. En un juego estándar, usted podría aprender cuál paga más y quedarse con ella. Pero en una versión inquietante, las máquinas cambian sus tasas de pago mientras usted juega. La máquina que estaba pagando bien hace un momento podría dejar de hacerlo de repente, mientras que otra que estaba tranquila podría empezar a pagar. Para hacerlo bien, no puede confiar simplemente en una regla fija; debe seguir observando, aprendiendo y adaptando sus elecciones en tiempo real.

Un nuevo estudio del investigador Erfan Jaripour ofrece una nueva perspectiva sobre cómo las personas manejan este tipo de desafío dinámico. En lugar de intentar adivinar la matemática mental oculta que la gente usa para tomar estas decisiones, el estudio se centra enteramente en lo que se puede ver y medir: las elecciones reales que las personas hacen, las recompensas que obtienen, qué tan rápido responden y cuándo deciden cambiar su atención a una opción diferente. Al analizar una colección masiva de datos de casi mil personas jugando una versión de este juego de cuatro opciones, el investigador trazó exactamente cómo cambia el comportamiento de un momento a otro. El objetivo no era construir un complejo modelo computacional del cerebro, sino crear un retrato estadístico preciso de cómo evoluciona la toma de decisiones humana cuando el entorno se niega a permanecer igual.

El investigador examinó datos de 965 participantes que realizaron más de 139,000 elecciones individuales en total. Cada persona jugó un juego en el que tenía que elegir una de cuatro opciones repetidamente. El valor de estas opciones cambiaba con el tiempo, creando tres versiones diferentes del juego con patrones de cambio ligeramente distintos. El investigador rastreó cuatro cosas específicas: si la persona eligió la opción que estaba pagando más en ese momento, cuánto dinero ganó realmente, con qué rapidez tomó su decisión y si cambió a una opción distinta a la que eligió justo antes. Para dar sentido a esta enorme cantidad de datos, utilizaron un método estadístico sofisticado que podía dar cuenta del hecho de que cada persona es diferente. Este enfoque les permitió ver las tendencias generales en todo el grupo y, al mismo tiempo, respetar la forma única en que cada individuo se adaptaba a las reglas cambiantes.

El descubrimiento más sorprendente fue que las personas no simplemente mejoran en el juego en una línea recta y constante. Si usted graficara la probabilidad de que alguien elija la mejor opción a lo largo del tiempo, la línea no subiría en un ángulo constante. En cambio, se curvaría. El estudio encontró que la forma de esta curva dependía en gran medida de la versión específica del juego que se estuviera jugando. En una versión del juego, la probabilidad de elegir la mejor opción siguió una trayectoria que se curvaba hacia arriba, lo que sugiere una mejora constante que se aceleraba. En otra versión del juego, la trayectoria se curvaba hacia abajo, indicando que, aunque las personas mejoraban inicialmente, su capacidad para mantenerse con la mejor opción se estancaba o cambiaba de una manera diferente. Esto significa que la forma en que las personas se adaptan no es un proceso único y universal; está profundamente moldeada por la estructura específica del entorno cambiante en el que se encuentran.

El estudio también reveló que las personas varían significativamente en cómo comienzan y cómo cambian. Algunos participantes comenzaron el juego con una alta tendencia a elegir la mejor opción, mientras que otros comenzaron más bajo. Más importante aún, la forma en que cambiaron a lo largo del tiempo fue única para cada uno. Algunos mostraron una mejora inicial rápida que luego se ralentizó, mientras que otros mostraron un patrón de aprendizaje diferente. Los modelos estadísticos confirmaron que estas diferencias en el desempeño base y en la velocidad y la forma del aprendizaje eran reales y consistentes, no solo ruido aleatorio. Esto resalta que, si bien existen patrones generales en cómo los humanos se adaptan, la trayectoria específica de esa adaptación es una experiencia altamente personal.

Observar las otras medidas proporcionó un mayor matiz a la imagen. La cantidad de dinero que la gente ganó realmente no siempre coincidía con el patrón de sus elecciones. Incluso cuando las personas elegían la mejor opción con más frecuencia, la recompensa total que recibían podía cambiar de una manera diferente según la versión del juego. Esto muestra que tomar la elección "correcta" y obtener una alta recompensa son resultados relacionados pero distintos en un entorno cambiante. Del mismo modo, la velocidad de la toma de decisiones cambió con el tiempo. A medida que el juego avanzaba, las personas se volvieron generalmente más rápidas, tomando menos tiempo para hacer sus elecciones. Sin embargo, esta aceleración ocurrió a un ritmo similar independientemente de la versión del juego que estuvieran jugando, lo que sugiere que la práctica general de tomar decisiones se volvió más eficiente para todos, incluso si la estrategia específica para elegir la mejor opción difería.

El investigador también observó con qué frecuencia las personas cambiaban sus elecciones. En general, las personas cambiaban con menos frecuencia a medida que el juego progresaba, lo que sugiere que se estaban asentando en un ritmo. Sin embargo, la tasa a la que dejaron de cambiar dependía de la versión del juego. En una versión del juego, las personas redujeron su cambio de forma mucho más pronunciada que en otra. Esto indica que el entorno mismo señala al jugador si vale la pena mantener una elección o explorar nuevas opciones. El estudio señaló cuidadosamente que, aunque estos patrones describen exactamente lo que las personas hicieron, no explican la maquinaria mental oculta detrás de ello. El investigador no midió lo que las personas estaban pensando, creyendo o calculando en sus cabezas. Simplemente midió el resultado: las elecciones, la velocidad y las recompensas.

Esta distinción es crucial. El estudio demuestra que el comportamiento observable en un mundo dinámico sigue patrones complejos y no lineales que varían según la persona y el entorno. Muestra que la adaptación no es una simple mejora de línea recta, sino un proceso curvo y cambiante. Al mapear estos patrones con tal precisión, el estudio proporciona una base sólida para la investigación futura. Los científicos ahora pueden utilizar estas descripciones detalladas del comportamiento en el mundo real para probar teorías sobre cómo aprende el cerebro. Pueden preguntar si modelos computacionales específicos de aprendizaje pueden reproducir las curvas y variaciones exactas observadas en estos datos. Hasta entonces, el estudio se mantiene como una descripción cuantitativa clara de cómo el comportamiento humano se dobla y cambia cuando el mundo a su alrededor se niega a permanecer inmóvil. Confirma que, en un mundo inquieto, nuestras elecciones no son estáticas; son una danza de adaptación continua y evolutiva, moldeada tanto por las reglas del juego como por la mente única del jugador.