Model-based and model-free valuation signals in the human brain vary markedly in their relationship to individual differences in human behavioral control

Un estudio de resonancia magnética funcional a gran escala revela que las señales neuronales de aprendizaje basadas en modelos en la corteza prefrontal ventromedial varían según el uso conductual individual y están vinculadas a la capacidad de construir modelos internos, mientras que las señales libres de modelos son omnipresentes independientemente de la estrategia conductual.

Lo esencial

🧠 El Gran Experimento: ¿Cómo Tomamos Decisiones?

Imagina que tu cerebro tiene dos pilotos automáticos diferentes que compiten por controlar tus acciones cuando intentas ganar algo (como dinero o puntos en un juego).

1. El Piloto "Hábito" (Modelo Libre): Es como un perro entrenado. Solo sabe: "Si toco el botón A y me dan un hueso, volveré a tocar el botón A". No piensa en el futuro ni entiende por qué funciona; solo repite lo que le dio premios antes. Es rápido, automático y un poco tonto.
2. El Piloto "Planificador" (Modelo Basado): Es como un ajedrecista o un GPS. Entiende el mapa completo. Sabe: "Si toco el botón A, hay un 70% de probabilidad de ir al planeta Rojo, y si voy al planeta Rojo, hay una mina de diamantes". Puede predecir el futuro y cambiar de estrategia si el mapa cambia. Es lento, requiere esfuerzo mental, pero es muy inteligente.

La mayoría de la gente usa una mezcla de ambos. Pero, ¿qué pasa si miramos dentro del cerebro de muchas personas diferentes para ver cuál de los dos pilotos es el jefe?

🔍 La Misión: 179 Exploradores Espaciales

Los científicos de este estudio (de Caltech y otras universidades) reclutaron a 179 personas (¡una cantidad enorme para este tipo de experimentos!) para jugar un videojuego en un escáner cerebral (fMRI).

El Juego:
Imagina que eres un minero espacial. Tienes dos naves (amarilla y azul).

• La nave amarilla suele ir al Planeta Rojo.
• La nave azul suele ir al Planeta Verde.
• Pero a veces, ¡el espacio es caótico! A veces la nave amarilla se desvía y va al Verde (un "viaje raro").
• Una vez en el planeta, tienes que elegir una mina (Norte o Sur) para buscar gemas.
• El objetivo es ganar la mayor cantidad de gemas posible.

El juego cambiaba constantemente: a veces el Planeta Rojo tenía gemas, a veces el Verde. Los jugadores tenían que aprender qué nave elegir para llegar a la mina correcta.

📊 Los Resultados: No Todos Jugamos Igual

Al analizar cómo jugaban, los científicos descubrieron que las personas se dividían en cuatro grupos muy distintos:

1. Los Planificadores (Modelo Basado): Estos jugadores entendían el mapa. Si la nave amarilla se desviaba al Planeta Verde y encontraban gemas, sabían que la próxima vez debían usar la nave azul (que suele ir al Verde) para asegurar el éxito. ¡Usaban su "GPS" interno!
2. Los Automáticos (Modelo Libre): Estos jugadores solo miraban el premio. Si la nave amarilla les dio gemas, volvían a elegir la amarilla, sin importar si se desvió por casualidad o no. ¡Solo seguían el premio!
3. Los Mezclados: Usaban un poco de los dos.
4. Los "Desconectados": Un grupo que parecía no seguir ninguna estrategia lógica, como si estuvieran jugando al azar o no hubieran entendido bien el juego.

🧠 Lo que Descubrieron Dentro del Cerebro

Aquí viene la parte más fascinante. Miraron la actividad en una zona del cerebro llamada corteza prefrontal ventromedial (vmPFC), que actúa como el "tablero de control" de los valores y decisiones.

1. El Piloto "Hábito" (Modelo Libre) está siempre encendido

¡Sorprendentemente! El cerebro de todas las personas, incluso de los "Planificadores" que nunca usaban el hábito en el juego, mostraba señales de este piloto automático.

• La Analogía: Imagina que el cerebro tiene un radio de fondo que siempre está encendido, reproduciendo música de "hábitos". Incluso si tú estás escuchando una ópera compleja (planificando), el radio sigue sonando de fondo. El cerebro calcula automáticamente "¿qué pasó ayer?" sin que tú te esfuerces, incluso si decides ignorar esa información.

2. El Piloto "Planificador" (Modelo Basado) solo se enciende si lo usas

Aquí está la gran diferencia. Las señales del cerebro que representan el "Planificador" (entender el mapa y predecir el futuro) solo aparecían fuertes en las personas que realmente usaban esa estrategia en el juego.

• La Analogía: El Planificador es como un coche de carreras de lujo. Si no lo conduces, el motor no se enciende. En las personas que solo usaban hábitos, el cerebro no mostraba actividad de planificación. No es que no pudieran hacerlo, sino que su cerebro no estaba "construyendo" ese mapa mental en ese momento.

3. El problema de los "Desconectados"

El grupo que no usaba ninguna estrategia lógica (los "Desconectados") tenía un problema doble:

• No mostraban señales de planificación en el cerebro.
• Peor aún, tenían dificultades para aprender cómo funciona el mapa. En el estudio, a estos cerebros les costaba mucho entender que "si la nave se desvía, el destino cambia".
• La Analogía: Es como intentar conducir un coche sin tener el mapa ni saber leer las señales de tráfico. Si no puedes aprender cómo funciona el mundo (el mapa), no puedes usar el piloto automático inteligente. Por eso, su cerebro no activaba la parte de "Planificación".

💡 La Conclusión en una Frase

Nuestro cerebro siempre tiene un piloto automático de hábitos encendido en el fondo, funcionando en todos nosotros. Pero el piloto inteligente de planificación es como una herramienta que solo sacamos y usamos si realmente necesitamos resolver un problema complejo; si no la usamos, el cerebro no gasta energía en crear ese mapa mental.

¿Por qué importa esto?
Esto nos ayuda a entender por qué algunas personas tienen dificultades para cambiar de hábitos o aprender nuevas estrategias. A veces, el problema no es que sean "tontos", sino que les cuesta construir el "mapa mental" necesario para activar el piloto inteligente. Si no entienden cómo funciona el mundo, su cerebro no puede planificar el futuro.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo en español, estructurado según los componentes solicitados:

Título: Señales de valoración basadas en modelos y libres de modelos en el cerebro humano: variación marcada en su relación con las diferencias individuales en el control conductual

1. El Problema

La selección de acciones humanas bajo refuerzo se cree que depende de dos estrategias distintas de aprendizaje por refuerzo (RL): el control libre de modelos (MF), que es automático y basado en ensayo y error, y el control basado en modelos (MB), que es deliberativo y utiliza un modelo cognitivo interno del entorno.
Aunque el comportamiento humano promedio refleja una mezcla de ambas estrategias, la base neuronal de las diferencias individuales en la expresión de estas estrategias sigue siendo poco clara. Específicamente, no se sabe si:

• Las mismas áreas cerebrales codifican señales de valor de manera flexible dependiendo de qué estrategia utiliza el individuo.
• Existen mecanismos neurales disociables y específicos para cada estrategia, de modo que los individuos que usan MB activan circuitos distintos a los que usan MF.
• La ausencia de comportamiento MB en ciertos individuos se debe a una incapacidad para construir el modelo interno o simplemente a una preferencia estratégica.

2. Metodología

El estudio empleó un diseño de gran escala para superar la falta de sensibilidad estadística en estudios previos de fMRI.

• Participantes: Se reclutó una muestra inusualmente grande de 179 participantes (N=179) sanos, realizando una variante de la tarea de dos pasos (two-step task).
• Tarea Conductual: Los participantes eligieron entre dos "naves espaciales" en una primera etapa, lo que llevaba probabilísticamente a uno de dos "planetas" (transición común 70% o rara 30%). Luego, ocurría una transición a una plataforma de aterrizaje y finalmente una recompensa. La probabilidad de recompensa fluctuaba a lo largo del experimento.
• Análisis Conductual y Agrupamiento:
  • Se utilizó un modelo computacional de mezcla de arbitraje (Arbitration Mixture Model) que combina módulos MF y MB con escalas de tiempo lentas y rápidas.
  • Basándose en patrones de elección (mantener/cambiar) y tiempos de reacción, los participantes se clasificaron en cuatro grupos conductuales utilizando centroides de un estudio previo más grande:
    1. Grupo MB: Predominantemente basado en modelos.
    2. Grupo MF: Predominantemente libre de modelos.
    3. Grupo Mezcla: Uso mixto de ambas estrategias.
    4. Grupo Otro: Comportamiento no bien descrito por estrategias de RL (poco sensible a recompensas/transiciones).
• Adquisición y Análisis de fMRI:
  • Se adquirieron datos de fMRI en un escáner Siemens Prisma 3T.
  • Se utilizaron regresores paramétricos en un modelo lineal general (GLM) para mapear las señales de Valor de Decisión (Valor elegido - Valor rechazado) tanto para sistemas MF como MB.
  • También se analizaron señales de Error de Predicción de Estado (SPE) y Error de Predicción de Recompensa (RPE).
  • Se realizaron análisis a nivel de grupo, análisis por subgrupos conductuales y correlaciones continuas con los pesos de los parámetros del modelo ($w_{MF}$).

3. Contribuciones Clave

• Muestra de Gran Escala: Es uno de los estudios de fMRI conductual más grandes (N=179), permitiendo una potencia estadística suficiente para detectar diferencias sutiles entre subgrupos conductuales que estudios anteriores no podían resolver.
• Desacoplamiento de Señales y Comportamiento: El estudio demuestra que la presencia de una señal neuronal no garantiza que esa estrategia esté guiando activamente el comportamiento en ese individuo.
• Asimetría en la Representación Neural: Proporciona evidencia de una asimetría fundamental entre cómo el cerebro representa las estrategias MF y MB en relación con el comportamiento individual.

4. Resultados Principales

A. Señales de Valor de Decisión (Decision Value):

• Basado en Modelos (MB): La representación de la señal de valor MB en la corteza prefrontal ventromedial (vmPFC) y el precúneo está estrictamente ligada al uso conductual de la estrategia MB.
  • Los individuos del grupo MB mostraron fuertes señales de valor MB en la vmPFC.
  • Los grupos MF y "Otro" no mostraron señales significativas de valor MB en la vmPFC.
  • Existe una correlación negativa significativa entre el peso conductual MF ($w_{MF}$) y la fuerza de la señal MB en la vmPFC: a mayor tendencia conductual a usar MB, mayor es la señal neuronal MB.
• Libre de Modelos (MF): A diferencia de MB, las señales de valor MF están ubícuas en la vmPFC en todos los grupos, independientemente de su comportamiento.
  • Incluso los individuos que se comportan predominantemente de manera MB (y el grupo "Otro") mostraron fuertes señales de valor MF en la vmPFC.
  • No hubo correlación significativa entre la fuerza de la señal MF y el grado en que el individuo utiliza conductualmente la estrategia MF. Esto sugiere que el sistema MF es un cálculo de "fondo" o predeterminado que ocurre independientemente de si se utiliza para guiar la acción.

B. Errores de Predicción (SPE y RPE):

• Error de Predicción de Estado (SPE): Las señales SPE (cruciales para aprender la estructura del entorno en MB) se observaron en la corteza prefrontal dorsolateral (dlPFC) y el surco intraparietal (IPS).
  • La magnitud de la señal SPE fue significativamente más fuerte en los individuos con mayor control conductual MB.
  • Los grupos con menor control MB mostraron SPEs más débiles. Esto sugiere que la falta de comportamiento MB podría deberse a una dificultad para aprender o actualizar el modelo interno del entorno (baja señal SPE), lo que a su vez impide generar valores MB precisos.
• Error de Predicción de Recompensa (RPE): No se encontraron efectos significativos de RPE en los estriados ventral/dorsal al separar por subgrupos, probablemente debido a la alta correlación intrínseca entre las señales de RPE MF y MB y la magnitud de la recompensa, lo que redujo la potencia estadística.

5. Significado e Implicaciones

• Ubicuidad del Sistema Libre de Modelos: El hallazgo más sorprendente es que el sistema MF parece ser un mecanismo neural básico y constante en el cerebro humano, presente incluso en aquellos que no lo utilizan para tomar decisiones conscientes. Esto apoya la idea de que el aprendizaje por refuerzo simple es una estrategia evolutivamente conservada y computacionalmente barata que siempre está "encendida".
• Dependencia del Sistema Basado en Modelos: El sistema MB, por el contrario, parece ser "on-demand". Solo se activa y codifica en la vmPFC cuando el individuo está utilizando activamente una estrategia deliberativa.
• Origen de las Diferencias Individuales: La ausencia de comportamiento MB en algunos individuos no es solo una preferencia, sino que podría estar vinculada a una incapacidad subyacente para construir o actualizar modelos internos precisos (evidenciado por señales SPE débiles). Si el cerebro no puede predecir correctamente las transiciones del estado (SPE bajo), no puede generar valores MB fiables, lo que lleva a una dependencia exclusiva del sistema MF.
• Relevancia Clínica: Estos hallazgos ofrecen un marco para entender desórdenes psiquiátricos donde el control cognitivo está alterado (como el TOC o la depresión), sugiriendo que las patologías podrían manifestarse como una falla en la generación de señales SPE o en la integración de señales MB en la vmPFC, más que simplemente como una elección estratégica.

En resumen, el estudio revela que mientras el sistema libre de modelos es omnipresente a nivel neural, el sistema basado en modelos es condicional y depende de la capacidad del individuo para aprender y utilizar la estructura del entorno, lo que explica la variabilidad conductual observada en la población general.