🧬 biology

Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour

Este estudio desafía la dicotomía tradicional entre modelos basados en modelos y libres de modelos en la investigación de la adicción al demostrar que los individuos con trastornos por consumo de sustancias exhiben un aprendizaje irracional caracterizado por un cambio de racionalidad de recursos hacia características sucesoras simplificadas y reutilizables para minimizar los costos cognitivos, incluso a expensas de la maximización de la recompensa.

Autores originales: Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina tu cerebro como una consola de videojuegos súper inteligente que tiene que jugar miles de juegos diferentes a la vez. Algunos juegos son simples, como una partida de "Piedra, papel o tijera" donde solo memorizas que "la piedra vence a la tijera". Otros son complejas aventuras de estrategia donde tienes que mapear todo el mundo, predecir cómo se moverá cada enemigo y planificar diez pasos por delante. Durante mucho tiempo, los científicos pensaron que nuestros cerebros estaban atrapados en un tira y afloja entre estos dos estilos: el estilo "perezoso" que simplemente memoriza lo que funcionó antes (Libre de Modelo o Model-Free), y el estilo "trabajador" que construye un mapa mental del mundo para planificar con antelación (Basado en Modelo o Model-Based). Creían que en la adicción, el cerebro se vuelve perezoso y deja de planificar, dependiendo solo de los viejos hábitos. Pero, ¿y si el cerebro no es simplemente perezoso o trabajador? ¿Y si en realidad está intentando ser un contador genio, calculando constantemente cuánto "poder cerebral" (o esfuerzo cognitivo) cuesta una decisión frente a cuánta "diversión" (recompensa) devuelve? Este es el mundo de la "racionalidad de recursos", una forma elegante de decir que nuestros cerebros siempre están tratando de obtener el mejor trato con la menor cantidad de energía mental.

Ahora, entremos en un nuevo estudio de los investigadores Ru-Yuan Zhang y su equipo, quienes decidieron probar esta idea en un grupo de personas con trastornos por consumo de sustancias (TCS) y un grupo de voluntarios sanos. No se limitaron a pedirles que jugaran un solo juego; los lanzaron a un enorme juego de mazmorras multinivel. Imagina un castillo con un mapa en forma de árbol. En cada ronda, los "precios de mercado" de tres recursos —madera, piedra y hierro— cambian. Tu objetivo es elegir un camino a través del castillo para recoger los recursos más valiosos según esos precios. El giro es que los precios cambian cada vez, creando cuatro "tareas" o juegos diferentes dentro del mismo castillo. Para ganar en grande, tienes que aprender el diseño del castillo y adaptarte rápidamente a tu ruta cada vez que los precios cambian.

Los investigadores descubrieron algo sorprendente que rompe la vieja regla de "perezoso vs. trabajador". Cuando observaron cómo jugaba la gente, vieron que ni el estilo "perezoso" basado en hábitos ni el estilo "trabajador" de construcción de mapas podían explicar completamente lo que estaba sucediendo. En su lugar, todos parecían estar usando una estrategia intermedia muy astuta llamada "Características de Sucesor" (Successor Features). Piensa en esto como aprender la "vibra" de una habitación en lugar de memorizar cada paso individual. Aprendes que "la Habitación A suele llevar a un montón de madera" y "la Habitación B suele llevar a piedra", y puedes combinar estas "vibras" para resolver nuevos acertijos de precios sin tener que reconstruir todo tu mapa mental desde cero.

Sin embargo, la historia da un giro al observar al grupo con adicción. Mientras que los jugadores sanos usaban estas "vibras" para cambiar de estrategia de manera flexible y encontrar el mejor camino para cada nueva lista de precios, los jugadores con adicción empezaron a quedarse estancados. Encontraron que el esfuerzo mental requerido para cambiar de estrategia era demasiado costoso. Por lo tanto, adoptaron un enfoque de "talla única". Sin importar cuáles fueran los precios, seguían corriendo hacia la misma habitación (Habitación 4) porque era el camino más fácil de recordar, incluso si eso significaba perder mucho dinero. El estudio sugiere que esto no se debió a que no pudieran aprender el mapa, sino a que sus cerebros eran hipersensibles al "costo" de pensar. Estaban dispuestos a sacrificar recompensas solo para ahorrar energía mental.

Los investigadores construyeron un modelo computacional que actuaba como un "contador cerebral", sopesando la recompensa frente al esfuerzo mental. Este modelo, al que llamaron modelo de Características de Sucesor de Racionalidad de Recursos (RRSF, por sus siglas en inglés), fue el único capaz de predecir perfectamente el comportamiento de ambos grupos. Mostró que el grupo de adicción tenía una "sensibilidad al costo" mucho mayor: sentían que el esfuerzo mental de cambiar de estrategia era una carga enorme, por lo que se aferraban a un plan simple y por defecto. El estudio también encontró que cuanto más graves eran los síntomas de adicción de una persona, más tendía a evitar el esfuerzo mental y a aferrarse a sus rutas rígidas y subóptimas.

En resumen, este artículo sugiere que la adicción no es solo un problema de un sistema de "planificación" roto o un sistema de "hábito" roto. En cambio, es un cerebro que se ha vuelto demasiado frugal con su energía mental. Es como un jugador que, en lugar de aprender los nuevos niveles, simplemente sigue presionando el mismo botón una y otra vez porque los nuevos niveles parecen demasiado agotadores de descifrar. El estudio midió estos comportamientos en 83 personas con trastornos por consumo de sustancias y 45 controles sanos, encontrando que el comportamiento "perezoso" era en realidad un intento calculado, aunque desadaptativo, de ahorrar esfuerzo cognitivo. Esta nueva perspectiva nos ayuda a entender que los comportamientos rígidos y repetitivos observados en la adicción podrían ser la forma en que el cerebro intenta protegerse de ser abrumado, incluso si eso significa perder las mejores recompensas.

Resumen Técnico: Más allá del aprendizaje basado en modelos y sin modelos: Aprendizaje irracional de las características sucesoras en la conducta adictiva

Planteamiento del problema
La adicción se conceptualiza frecuentemente dentro de los marcos de aprendizaje por refuerzo (RL) como un cambio de un control "basado en modelos" (MB) flexible y dirigido a metas hacia estrategias "sin modelo" (MF) rígidas y habituales. Sin embargo, esta dicotomía MB–MF deriva mayoritariamente de entornos de una sola tarea y puede fallar al capturar la dinámica de aprendizaje en entornos complejos de múltiples tareas donde se requiere la generalización. Además, los modelos de adicción existentes suelen inferir el esfuerzo cognitivo de forma indirecta a partir del rendimiento, en lugar de cuantificar los costes computacionales del propio aprendizaje. Este estudio aborda la brecha en la comprensión de cómo los individuos con Trastornos por Consumo de Sustancias (TCS) aprenden y generalizan a través de múltiples tareas, investigando específicamente si su comportamiento se explica mejor por un cambio hacia el control MF o por una adaptación racional de recursos que involucra "características sucesoras" (SF) y restricciones de esfuerzo cognitivo.

Metodología
Los investigadores reclutaron a 83 varones con TCS y 45 controles sanos (HC) emparejados demográficamente. Los participantes realizaron un paradigma de aprendizaje por refuerzo multitarea que involucraba un árbol de decisión de dos pasos.

Estructura de la tarea: En cada ensayo, los participantes observaban un "conjunto de precios" (que define la tarea $g$ ) para tres recursos (madera, piedra, hierro). Luego, realizaban dos elecciones secuenciales para navegar por un árbol de habitaciones, llegando finalmente a una habitación con cantidades fijas de recursos. La recompensa se calculaba como el producto punto de las cantidades de recursos y el conjunto de precios actual.
Diseño de múltiples tareas: El experimento utilizó cuatro conjuntos de precios distintos (tareas), categorizados en dos tipos (A y B) y dos niveles de dificultad (fácil y difícil). Las tareas eran simétricas en su recompensa potencial, pero diferían en la complejidad de la política requerida (por ejemplo, las tareas de Tipo B favorecían una secuencia simple de "izquierda-izquierda", mientras que las de Tipo A requerían una secuencia de "derecha-izquierda").
Modelado computacional: Los autores desarrollaron y compararon ocho modelos computacionales a través de dos marcos:
1. RL Clásico: Modelos Sin Modelo (MF), Basado en Modelo (MB) y de Características Sucesoras (SF). Se probaron también variantes con "perseveración" (repetición de acciones).
2. RL Racional de Recursos: Estos modelos (RRMF, RRMB, RRSF) incorporaron un coste de información-teórico del esfuerzo cognitivo. La función objetivo equilibraba la recompensa esperada con la divergencia de Kullback-Leibler (KL) entre una política específica de la tarea y una política por defecto, formalizada como $I_\pi(G; A|S)$ . Un parámetro de sensibilidad al coste ( $\lambda$ ) controlaba el equilibrio entre la maximización de la recompensa y la conservación del esfuerzo.
Análisis: Los modelos se ajustaron a los datos ensayo por ensayo mediante la estimación de Máxima Posterior a Priori (MAP). La comparación de modelos se realizó utilizando el Criterio de Información Bayesiano (BIC) y la Probabilidad de Excedencia Protegida (PXP). Los análisis de recuperación de parámetros y de recuperación de modelos se realizaron para validar la identificabilidad de los modelos.

Resultos clave

Déficits conductuales en TCS: El grupo con TCS obtuvo significativamente menos recompensas que el grupo de control sano (HC) y exhibió curvas de aprendizaje más lentas. Crucialmente, los participantes con TCS mostraron una reducción en la flexibilidad de la política: seleccionaron desproporcionadamente la Habitación 4 (la habitación óptima para las tareas de Tipo B) en todos los tipos de tareas, incluyendo las tareas de Tipo A donde era subóptimo. En contraste, los participantes del grupo HC adaptaron sus políticas a los requisitos específicos de la tarea.
Fallo de los modelos de RL clásicos: Los modelos estándar MB, MF y SF no lograron capturar firmas conductuales clave, particularmente la tendencia del grupo con TCS a reutilizar una política fija a través de las tareas y la asimetría en el rendimiento entre las tareas de Tipo A y Tipo B.
Superioridad de las Características Sucesoras Racionales de Recursos (RRSF): El modelo de Características Sucesoras Racionales de Recursos (RRSF) proporcionó el mejor ajuste a los datos. Reprodujo con éxito los patrones conductuales observados, incluyendo la dependencia del grupo con TCS de una política por defecto (Habitación 4) incluso cuando era subóptima.
Mecanismo de la irracionalidad: El modelo RRSF reveló que ambos grupos utilizaron el aprendizaje de características sucesoras (SF), pero difirieron en su sensibilidad al esfuerzo cognitivo ( $\lambda$ ). El grupo con TCS exhibió una mayor sensibilidad al coste, lo que llevó a minimizar el esfuerzo cognitivo mediante la reutilización de una política por defecto simplificada en lugar de computar estrategias específicas para la tarea. Esto resultó en un sesgo sistemático hacia las tareas de Tipo B (más "fáciles") y un fallo en la optimización de las tareas de Tipo A.
Correlatos clínicos: Un menor esfuerzo cognitivo ejercido se asoció con una mayor ansiedad autoinformada, puntuaciones de consumo de sustancias más altas y una mayor impulsividad cognitiva. Tasas de aprendizaje de características sucesoras más bajas se asociaron con una mayor depresión autocalificada.

Significancia y afirmaciones
El artículo afirma ofrecer un relato normativo sobre el aprendizaje atípico en la adicción que va más allá de la tradicional dicotomía MB–MF. Los autores argumentan que la adicción no representa meramente un fallo en la planificación basada en modelos o un dominio de los hábitos sin modelo, sino un cambio sistemático en cómo se asignan los recursos cognitivos.

Específicamente, el estudio postula que:

Las Características Sucesoras como mecanismo unificador: En entornos de múltiples tareas, el aprendizaje humano (tanto sano como patológico) depende de las características sucesoras para generalizar a través de las tareas, actuando como una estrategia intermedia entre MB y MF.
Irracionalidad Racional de Recursos: El comportamiento "irracional" observado en el TCS (reutilización de políticas subóptimas) es una adaptación racional a una mayor sensibilidad al coste cognitivo. Los individuos con TCS parecen priorizar la conservación del esfuerzo cognitivo sobre la maximización de la recompensa, lo que conduce a la reutilización rígida de políticas por defecto.
Implicaciones para la Psiquiatría Computacional: Al cuantificar el esfuerzo cognitivo mediante la teoría de la información, este estudio proporciona un nuevo marco para comprender los déficits de control cognitivo en la adicción. Sugiere que estos déficits no derivan necesariamente de una falta de capacidad cognitiva, sino de una menor disposición o capacidad para ejercer el esfuerzo (aversión al esfuerzo) para actualizar las políticas fuera de un estado por defecto.

Los autores concluyen que la perspectiva de las características sucesoras con racionalidad de recursos ofrece una explicación más completa de la inflexibilidad en la adicción, vinculando los mecanismos computacionales directamente con la gravedad de los síntomas clínicos.

Más como este