Explore-exploit instability reveals computational decision-making heterogeneity in early psychosis

Este estudio demuestra que la inestabilidad en la exploración-explotación durante la toma de decisiones en la psicosis temprana no se debe a déficits en el aprendizaje de recompensas, sino a una mayor sensibilidad a la incertidumbre y ruido en la decisión que permiten identificar subtipos computacionales únicos con perfiles cognitivos y sintomáticos distintos.

Lo esencial

🧠 El Dilema del "Juego de las Tres Puertas": ¿Por qué las personas con psicosis temprana cambian de estrategia tan rápido?

Imagina que estás en un casino con tres máquinas tragamonedas.

• Sabes que la Máquina A te da premios a veces.
• La Máquina B y la C son desconocidas; podrían ser mejores, o podrían ser peores.

Para ganar más dinero, tienes que decidir: ¿Sigues jugando en la Máquina A porque ya sabes que da premios (esto se llama Explotar)? ¿O dejas de jugar en A para probar la B o la C por si acaso son mejores (esto se llama Explorar)?

Este equilibrio entre "quedarse con lo conocido" y "probar lo nuevo" es lo que los científicos llaman el dilema de explorar-explotar.

🎭 ¿Qué descubrieron los científicos?

Este estudio analizó a personas con psicosis temprana (el inicio de enfermedades como la esquizofrenia o el trastorno bipolar) y las comparó con personas que no tienen estos problemas. Les pusieron una versión digital de ese juego de las máquinas.

Lo que esperaban encontrar:
Antes, se pensaba que las personas con psicosis cambiaban de máquina tan rápido porque no aprendían bien. Es decir, pensaban: "No aprendí que la Máquina A da premios, así que sigo cambiando".

Lo que realmente descubrieron:
¡Eso no es cierto! Las personas con psicosis sí aprendían que una máquina daba premios. El problema no era que no supieran cuál era la buena, sino que se cansaban de ella demasiado rápido.

La analogía del Chef:
Imagina un chef que sabe que su plato estrella (el arroz) gusta mucho a los clientes. Un chef normal sigue cocinando arroz porque sabe que funciona.

El chef con "inestabilidad de exploración" sabe que el arroz gusta, pero de repente piensa: "¿Y si hoy el cliente prefiere pasta? ¿Y si mañana prefiere pizza?". Así que deja de hacer arroz (aunque sabe que es bueno) y empieza a probar pasta y pizza, perdiendo oportunidades de ganar dinero. No es que no sepa cocinar arroz; es que no puede quedarse quieto con lo que ya sabe que funciona.

🔍 ¿Por qué ocurre esto? (Los dos "Ladrones" de la decisión)

Los científicos usaron matemáticas avanzadas (modelos computacionales) para ver qué pasaba dentro de la mente de los participantes. Descubrieron que hay dos "ladrones" que roban la estabilidad de la decisión:

1. El "Miedo a lo Desconocido" (Sensibilidad a la incertidumbre):
   Estas personas sienten que el mundo es muy inestable. Piensan: "¡Ay, la probabilidad de ganar en esta máquina va a cambiar en cualquier segundo!". Aunque la máquina está dando premios, su cerebro les grita que el entorno es peligroso y cambiante, así que huyen hacia lo nuevo para "reducir la duda". Es como si llevaran un detector de mentiras que siempre suena falso.

2. El "Ruido en el Teléfono" (Ruido en la decisión):
   A veces, la decisión no es por miedo, sino por caos. Es como si tuvieras una llamada telefónica con mucho estático. La señal (la lógica de quedarse con lo bueno) llega, pero hay tanto ruido de fondo que la persona elige al azar, sin una razón clara. Simplemente cambian de idea porque su "brújula interna" está un poco descalibrada.

🧩 No todos son iguales: ¡Existen 3 tipos de jugadores!

Lo más interesante es que no todas las personas con psicosis son iguales. El estudio encontró tres subtipos distintos, como si fueran tres equipos diferentes en un torneo:

1. El Equipo "Normativo" (El Jugador Estable):

   • Cómo juegan: Se quedan con la máquina ganadora. Toman decisiones lógicas.
   • Quién es: Suelen ser personas con trastorno bipolar y síntomas psicóticos.
   • El problema: Aunque juegan bien en la máquina, suelen tener más síntomas de ansiedad o depresión (tristeza o manía), pero su cerebro para tomar decisiones funciona bien.

2. El Equipo "Sensibles a la Incertidumbre" (Los Paranoicos):

   • Cómo juegan: Cambian de máquina constantemente porque creen que el entorno va a cambiar.
   • Quién es: Suelen tener esquizofrenia.
   • El problema: Tienen mucha sensibilidad a la incertidumbre. Han estado hospitalizados muchas veces en el pasado. Su cerebro está hiperalerta a los cambios, como un guardia de seguridad que cree que hay un intruso en cada esquina.

3. El Equipo "Ruidoso" (Los Caóticos):

   • Cómo juegan: Cambian de máquina sin razón, a veces incluso cuando están ganando.
   • Quién es: También suelen tener esquizofrenia.
   • El problema: Tienen mucho ruido en la decisión y dificultades para aprender de los premios. Suelen tener síntomas más graves, como alucinaciones o falta de motivación (síntomas negativos).

💡 ¿Por qué es importante esto?

Antes, los médicos trataban a todos los pacientes con psicosis como si tuvieran el mismo problema: "Tienes psicosis, toma esta pastilla".

Este estudio dice: "¡Espera! No todos son iguales".

• Si tu problema es el "Ruido", quizás necesites un tratamiento que ayude a calmar el caos químico en el cerebro.
• Si tu problema es la "Incertidumbre", quizás necesites terapia para aprender a confiar en que el entorno no va a cambiar tan rápido.

En resumen:
Las personas con psicosis temprana no son "tontas" ni "no aprenden". Simplemente, sus cerebros tienen dificultades para decidir cuándo es el momento de quedarse quieto y disfrutar lo que ya tienen, y cuándo es el momento de probar algo nuevo. Al entender si el problema es "miedo al cambio" o "caos mental", los médicos podrán crear tratamientos personalizados, como un traje hecho a la medida en lugar de una talla única.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo de investigación en español, estructurado según los componentes solicitados:

Título del Estudio: Inestabilidad en la exploración-explotación revela heterogeneidad computacional en la toma de decisiones durante la psicosis temprana

1. El Problema

Las enfermedades del espectro psicótico se caracterizan por una heterogeneidad clínica y neurofisiológica significativa, lo que dificulta la comprensión de la fisiopatología subyacente y el desarrollo de tratamientos individualizados. Aunque se sabe que los pacientes con psicosis presentan déficits en el comportamiento dirigido a objetivos, específicamente una excesiva alternancia de opciones (cambio de elección) y una menor persistencia en la explotación de recompensas conocidas, los mecanismos computacionales exactos que impulsan este fenómeno permanecen poco claros.

La literatura previa ha atribuido este comportamiento a déficits en el aprendizaje de recompensas o a un "ruido" en la toma de decisiones. Sin embargo, no se ha determinado si la transición prematura hacia la exploración (abandonar una opción favorable) se debe a una incapacidad para aprender qué opción es mejor, a una sensibilidad excesiva a la incertidumbre o a un ruido decisional aleatorio. Además, existe una necesidad de identificar subtipos computacionales dentro del espectro psicótico que puedan explicar la variabilidad interindividual más allá de los diagnósticos clínicos tradicionales.

2. Metodología

El estudio empleó un enfoque de psiquiatría computacional combinando tareas conductuales, modelado matemático y análisis de agrupamiento (clustering).

• Participantes: Se reclutó a 75 participantes con Psicosis Temprana (EP) y 68 controles neurotípicos. Se realizaron dos sesiones de evaluación (separadas por ~3 semanas) para evaluar la fiabilidad test-retest.
• Tarea Conductual: Se utilizó una Tarea de Banda Desgarrada (Restless Bandit Task) de tres brazos. En esta tarea dinámica, los participantes debían maximizar puntos eligiendo entre tres opciones con probabilidades de recompensa ocultas que cambiaban estocásticamente (drift) a lo largo del tiempo. Esto obliga a los sujetos a equilibrar la explotación (elegir la opción conocida como mejor) y la exploración (probar nuevas opciones para reducir la incertidumbre).
• Modelado Computacional:
  • Modelo de Markov Oculto (HMM): Se ajustó a las secuencias de elecciones para inferir estados latentes de "exploración" y "explotación" y analizar las dinámicas de transición entre ellos.
  • Modelos de Aprendizaje: Se compararon varios modelos, incluyendo Modelos de Aprendizaje por Refuerzo (RL) con tasas de aprendizaje fijas y Modelos de Aprendizista Bayesiano (basados en el Filtro de Kalman). Estos últimos estiman tanto el valor esperado como la incertidumbre, adaptando la tasa de aprendizaje dinámicamente.
  • Parámetros Clave: Se estimaron parámetros como la sensibilidad a la incertidumbre ($\phi$), el ruido decisional (inverso de la temperatura, $\beta$) y la perseveración ($\omega$).
• Análisis de Subtipos: Se aplicó un clustering jerárquico (método de enlace de Ward) sobre parámetros computacionales (sensibilidad a la incertidumbre, ruido decisional) y medidas cognitivas tradicionales (velocidad de procesamiento, memoria verbal, función ejecutiva) para identificar subtipos latentes independientes del diagnóstico.
• Análisis Clínico: Se correlacionaron los parámetros computacionales con la severidad de los síntomas (positivos, negativos, desorganizados, maníacos, depresivos) y el funcionamiento en el mundo real.

3. Contribuciones Clave

• Desglose de Mecanismos: El estudio demuestra que el exceso de exploración en la psicosis temprana no se debe principalmente a un déficit en el aprendizaje de recompensas (los pacientes aprenden qué opción es mejor), sino a una inestabilidad en la estrategia de explotación. Los pacientes abandonan una opción favorable demasiado pronto.
• Identificación de Mecanismos Independientes: Se identificaron dos contribuyentes computacionales independientes a la sobre-exploración:
  1. Sensibilidad elevada a la incertidumbre: Una tendencia a reaccionar exageradamente a la incertidumbre percibida, impulsando la búsqueda de información.
  2. Ruido decisional aumentado: Una mayor aleatoriedad en la selección de opciones, independientemente del valor esperado.
• Subtipificación Computacional: Se reveló la existencia de tres subtipos computacionales distintos dentro de la muestra (incluyendo controles y pacientes), desafiando la visión homogénea de la psicosis.
• Validación de Modelos: Se demostró que un modelo de aprendizajeista bayesiano (que integra incertidumbre) explica mejor el comportamiento de los pacientes con EP que los modelos de RL tradicionales con tasas de aprendizaje fijas.

4. Resultados

• Comportamiento Conductual: Aunque ambos grupos obtuvieron recompensas totales similares (por encima del azar), el grupo EP realizó menos elecciones óptimas y alternó de opción con mayor frecuencia, incluso después de recibir recompensas (cambio tras ganar).
• Dinámicas de Transición (HMM): El grupo EP mostró una probabilidad significativamente mayor de transición del estado de explotación a exploración, especialmente tras recibir una recompensa. Sin embargo, las transiciones de exploración a explotación se mantuvieron intactas, indicando que la capacidad de aprender y empezar a explotar está preservada, pero la capacidad de mantener la explotación está comprometida.
• Parámetros Computacionales:
  • Los pacientes EP mostraron una sensibilidad a la incertidumbre ($\phi$) significativamente mayor que los controles.
  • Mostraron una tendencia hacia un mayor ruido decisional (menor $\beta$), aunque la diferencia fue marginalmente significativa.
  • No hubo diferencias significativas en la perseveración.
• Subtipos Identificados:
  1. Subtipo Normativo (Subtipo 1): Baja sensibilidad a la incertidumbre, bajo ruido, buena cognición. Sobre-representado en pacientes con trastorno bipolar con características psicóticas.
  2. Subtipo Sensible a la Incertidumbre (Subtipo 2): Alta sensibilidad a la incertidumbre, procesamiento lento y mala memoria, pero función ejecutiva intacta. Asociado a una mayor tasa de hospitalizaciones psiquiátricas previas.
  3. Subtipo de Alto Ruido Decisional (Subtipo 3): Alto ruido decisional y déficits cognitivos generalizados. Asociado a síntomas negativos más severos y déficits en el aprendizaje de recompensas.
• Correlaciones Clínicas: Una mayor transición a la exploración se asoció con un peor funcionamiento en el mundo real. El alto ruido decisional se correlacionó con la severidad de los síntomas negativos.

5. Significado e Implicaciones

• Precisión en Psiquiatría: El estudio proporciona evidencia de que la heterogeneidad en la psicosis temprana puede mapearse a través de perfiles computacionales específicos (fenotipos) en lugar de solo categorías diagnósticas. Esto apoya el movimiento hacia la "psiquiatría de precisión".
• Mecanismos de Intervención: Al identificar mecanismos distintos (sensibilidad a la incertidumbre vs. ruido decisional), se abren vías para intervenciones dirigidas. Por ejemplo, un subtipo podría beneficiarse de terapias que reduzcan la aversión a la incertidumbre, mientras que otro podría requerir estrategias para estabilizar la señal dopaminérgica o reducir el ruido decisional.
• Paralelismo con Biomas: Los subtipos computacionales identificados coinciden notablemente con los "biotipos" previamente descritos por el consorcio B-SNIP (Bipolar-Schizophrenia Network on Intermediate Phenotypes), sugiriendo que las tareas de toma de decisiones computacionales podrían servir como biomarcadores escalables y accesibles.
• Potencial Translacional: La tarea de "Banda Desgarrada" es altamente translacional, ya que se puede utilizar en humanos, primates y roedores, permitiendo vincular circuitos neuronales específicos (como la ínsula anterior y redes frontoparietales) con mecanismos computacionales de la toma de decisiones.

En conclusión, este estudio demuestra que la inestabilidad en la toma de decisiones en la psicosis temprana es un fenómeno multifacético impulsado por la sensibilidad a la incertidumbre y el ruido decisional, y que la estratificación basada en estos mecanismos computacionales ofrece una comprensión más profunda y clínicamente relevante que el diagnóstico tradicional.