Low-dimensional factorized neural computations underlie risk-adaptive choices

Resumen Técnico: Computaciones neuronales factorizadas de baja dimensión subyacen a las elecciones adaptativas al riesgo

Planteamiento del problema
La toma de decisiones en el mundo real ocurre frecuentemente bajo condiciones de incertidumbre, lo que requiere que los individuos ponderen las recompensas potenciales frente a la probabilidad de resultados adversos. Los fallos en este proceso están vinculados a comportamientos desadaptativos y trastornos psiquiátricos como la ludopatía y el consumo de sustancias. Si bien el aprendizaje por refuerzo (RL, por sus siglas en inglés) proporciona un marco para modelar estas decisiones, las computaciones neuronales específicas y la dinámica de la población que facilitan la inferencia sobre paisajes de resultados inciertos siguen sin estar claras. Los autores investigan si los agentes de RL profundo y los cerebros humanos convergen en representaciones internas similares al resolver tareas de toma de decisiones riesgosas, examinando específicamente si estrategias de comportamiento distintas están sustentadas por geometrías neuronales distintas de baja dimensión.

Metodología
El estudio empleó un enfoque de "neuro-IA", uniendo la inteligencia artificial y la biológica a través de la Tarea de Riesgo del Globo Analógico (BART, por sus siglas en inglés).

• Agentes de RL profundo: Los autores entrenaron 400 agentes de RL profundo con inicialización aleatoria utilizando una arquitectura de Actor-Crítico con Optimización de Política Próxima (PPO). Los agentes fueron evaluados en una suite de 17 condiciones de $\mu$ fijo, tras ser entrenados en una "meta-BART", una variación donde la media del tamaño del globo ($\mu$) variaba entre épocas.
• Clasificación de agentes: Las actividades de los nodos de la capa recurrente fueron analizadas mediante agrupamiento k-means (inicialmente $k=12$, reducido a 6 tras ajustes de simetría). Los agentes fueron clasificados en tres tipos basados en las proporciones de los nodos. Emergieron dos fenotipos conductuales distintos: "Tipo 1" (denominado posteriormente Bimodal) y "Tipo 3" (denominado posteriormente Explorador).
• Análisis de la dinámica neuronal: Los autores analizaron las trayectorias de las activaciones de la capa recurrente de los agentes en un espacio de Análisis de Componentes Principales (PCA) 3D. Estimaron un "eje de tamaño del globo" mediante regresión de Mínimos Cuadrados Parciales (PLS) para proyectar las trayectorias neuronales y evaluar su estructura geométrica (p. ej., envolventes convexas, bimodalidad).
• Recolección de datos humanos: 44 pacientes con epilepsia resistente a fármacos, sometidos a monitorización intracraneal (electroencefalografía estéreo-electrografía con microcables), realizaron una BART computarizada. Se registró la actividad de unidades individuales desde la corteza frontal medial (ACC, vmPFC) y el lóbulo temporal mesial (MTL).
• Clasificación humana: Los participantes humanos fueron agrupados en los grupos "Bimodal" y "Explorador" basándose en métricas conductuales (puntuación total, tasa de explosión y tiempo medio de inflación a través de las distribuciones de globos rojos, naranjas y amarillos).
• Comparación transdominio: Los conjuntos neuronales de los participantes humanos fueron agrupados en "pseudo-conjuntos" correspondientes a las estrategias conductuales Bimodal y Exploradora. Estos fueron analizados utilizando los mismos métodos de PCA y PLS aplicados a los agentes para comparar las geometrías de las trayectorias neuronales, la similitud representacional y la varianza explicada.

Contribuciones clave y resultados

1. Emergencia de estrategias distintas en los agentes:

   • Agentes Bimodales (Tipo 1): Estos agentes adoptaron una estrategia eficiente y adaptativa al riesgo. Inflaron menos los globos pequeños y más los grandes, resultando en puntuaciones totales más altas sin una tasa de explosión significativamente mayor. Sus trayectorias neuronales formaron representaciones de baja dimensión que segregaban estados seguros y riesgosos. Específicamente, sus trayectorias se agruparon de forma bimodal cerca de los bordes del eje de tamaño del globo, y el eje de tamaño se alineó estrechamente con el primer componente principal (PC1).
   • Agentes Exploradores (Tipo 3): Estos agentes exhibieron una estrategia cautelosa y menos exitosa, explorando lentamente el espacio de contingencia de la recompensa. Sus trayectorias neuronales fueron sesgadas, unimodales y entrelazadas, con el eje de tamaño organizado ortogonalmente al PC1.

2. Predicción del comportamiento humano:

   • Los participantes humanos se segregaron naturalmente en los grupos Bimodal y Explorador con proporciones similares a la distribución de los agentes.
   • Humanos Bimodales: Al igual que sus contrapartes artificiales, lograron puntuaciones significativamente más altas y tiempos de inflación más largos para los globos de alta recompensa (amarillos) en comparación con los de baja recompensa (rojos).
   • Humanos Exploradores: Mostraron un aumento más gradual en los tiempos de inflación a través de los tipos de globos y un rendimiento inferior.

3. Convergencia de geometrías neuronales:

   • Factorización de baja dimensión: Los conjuntos neuronales de humanos bimodales exhibieron trayectorias neuronales notablemente similares a las de los agentes bimodales. Estas trayectorias se arquearon alrededor de un eje de tamaño de globo ordenado que segregaba claramente el valor esperado de los diferentes colores de globos. Las envolventes convexas 2-D de estas trayectorias aumentaron para los globos con mayores inflaciones medias, indicando un modelo predictivo robusto.
   • Entrelazamiento en Exploradores: En contraste, los conjuntos de humanos exploradores carecieron de esta geometría estructurada de baja dimensión. Sus trayectorias no mostraron los mismos patrones de coactivación ni una segregación clara a lo largo del eje de tamaño.
   • Análisis de Similitud Representacional (RSA): El RSA reveló que los patrones de actividad neuronal de los bimodales se correlacionaron significativamente con los tamaños de globo predichos (codificando las relaciones de tamaño físico), mientras que los patrones de los exploradores mostraron correlaciones negativas o ausentes.
   • Fronteras de decisión: Las distancias de centroides por pares indicaron que los humanos bimodales comprimieron su espacio de estados alrededor de fronteras conductualmente relevantes, tratando los globos de valor medio y alto como una categoría unificada de "digna de inflar" (Rojo distinto de Naranja/Amarillo). Los exploradores colapsaron las representaciones de Rojo y Naranja mientras separaron la de Amarillo.

4. Contribuciones anatómicas:

   • En los participantes bimodales, la corteza prefrontal ventromedial (vmPFC) explicó la mayor parte de la varianza en el PC1 (72.9%), sugiriendo la consideración prospectiva de las categorías de valor/riesgo.
   • En los participantes exploradores, la corteza cingulada anterior (ACC) explicó una mayor proporción de la varianza en el PC1 (56.0%), lo que potencialmente indica un enfoque en el monitoreo de los errores de predicción de recompensa en lugar de la construcción de un modelo de la tarea.
   • Los análisis de control confirmaron que estas diferencias geométricas no fueron artefactos de disparidades en el tamaño de la muestra o de un muestreo anatómico desigual.

Significado
El artículo sostiene que computaciones dinámicas específicas, caracterizadas por variedades (manifolds) neuronales factorizadas y de baja dimensión, subyacen a la inferencia exitosa sobre resultados inciertos. El estudio demuestra que los agentes de RL profundo pueden generar espontáneamente fenotipos conductuales distintos y geometrías neuronales asociadas que reflejan los hallazgos en conjuntos neuronales humanos.

La importancia principal reside en la convergencia de sistemas artificiales y biológicos: la estrategia "Bimodal", que sustenta una gestión de riesgos eficiente, está respaldada por trayectorias de baja dimensión y no entrelazadas que permiten una lectura organizada de la actividad neuronal. Esto sugiere que el cerebro humano comprime espacios de estados probabilísticos complejos en dinámicas de baja dimensión en variedades para simplificar la toma de decisiones. Los hallazgos apoyan la hipótesis de la "Neuro-IA" de que las redes artificiales pueden servir como modelos válidos para desentrañar las computaciones dinámicas que subyacen a los procesos cognitivos de alto nivel, distinguiendo específicamente entre la inferencia basada en modelos (Bimodal) y las estrategias de monitoreo de errores o libres de modelo (Explorador). Los autores señalan las limitaciones respecto a las regiones cerebrales específicas muestreadas (debido a restricciones clínicas en pacientes con epilepsia) y la abstracción de los agentes de RL, pero concluyen que la alineación de los espacios latentes entre agentes biológicos y artificiales revela principios algorítmicos compartidos de la toma de decisiones.