Resumen Técnico: Un Espacio Transdiagnóstico de Fenotipos Similares a Trastornos en Agentes de Aprendizaje por Refuerzo

Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo (RL) desplegados en entornos de atención médica y sistemas de interacción humana requieren estabilidad afectiva; los errores en la estimación de valores pueden conducir a modos de fallo catastróficos como la evitación, la perseveración o la temeridad. Aunque trabajos previos han intentado modelar trastornos psicológicos en agentes, estos sufren tres debilidades primarias:

1. Falta de Fundamentación Mecanicista: Las manipulaciones suelen ser heurísticas ajustadas manualmente en lugar de derivarse de cuentas de la psiquiatría computacional, lo que resulta en mapeos laxos con constructos clínicos.
2. Etiquetado Post-hoc: Los comportamientos se etiquetan después de la observación (p. ej., "esto parece TOC") en lugar de medirse contra criterios prerregistrados, lo que invita al sesgo de confirmación.
3. Falta de Rigor: Los resultados se reportan típicamente como ejecuciones únicas sin varianza, controles o análisis de dosis-respuesta.

Además, los modelos de psiquiatría computacional existentes a menudo ajustan tareas abstractas al comportamiento, pero no pueden manipular continuamente la severidad del trastorno ni observar la trayectoria completa desde la salud hacia la patología y viceversa.

Metodología

La Arquitectura AG-PPO

Los autores introducen AG-PPO (Optimización de Política Próxima Guiada por la Apreciación), un agente que integra la Teoría de la Apreciación (Lazarus, 1991; Scherer, 2001) en el bucle de RL.

• Arquitectura: Un codificador convolucional compartido procesa observaciones simbólicas egocéntricas (7×7×3). La salida alimenta tanto al Actor como al Crítico.
• Vector de Apreciación ($\zeta$): El Crítico consume adicionalmente un vector de apreciación de seis dimensiones $\zeta_t$, computado en cada paso:
  1. Relevancia Motivacional ($\zeta_{MR}$): Función de la distancia al objetivo del agente.
  2. Congruencia de Objetivo ($\zeta_{GC}$): Alineación geométrica con los objetivos.
  3. Certeza ($\zeta_{C}$): Derivada de la entropía de la política.
  4. Novedad ($\zeta_{N}$): Derivada de la divergencia KL contra una política uniforme.
  5. Potencial de Afrontamiento ($\zeta_{CP}$): Fracción de amenazas fuera de la vista del agente.
  6. Anticipación ($\zeta_{A}$): Complemento del error de predicción de la recompensa siguiente (suministrado por una red de Estimación de Recompensa Siguiente).
• Modelado de Recompensa (Reward Shaping): La recompensa del entorno $r_t$ es modificada por una función de modelado $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{términos específicos}$. Crucialmente, cada trastorno es inducido mediante la activación de exactamente un término en esta ecuación o mediante la modificación del factor de descuento $\gamma$.

Mecanismos de Trastorno (Las "Perillas")

Siete trastornos se modelan como "perillas" controlables por dosis, cada una fundamentada en una cuenta específica de la psiquiatría computacional:

1. Ansiedad: Penaliza el bajo potencial de afrontamiento (hipervigilancia a las amenazas).
2. Manía: Penaliza el alto potencial de afrontamiento (búsqueda de recompensas hipersensibles/amenazas).
3. TOC (Comprobación): Otorga un bono decreciente por revisitar puntos de control (modelando la disminución de la tranquilidad).
4. Depresión: Impone un costo de esfuerzo por paso al movimiento (reduciendo la activación conductual).
5. Impulsividad: Reduce el factor de descuento $\gamma$ (descuento de demora pronunciado).
6. Adicción: Añade un bono no habituante para las baldosas de droga (saliencia de incentivo sin tope).
7. TEPT (PTSD): Aplica un choque condicionado en una baldosa de trauma, causando una sobregeneralización de la evitación.

Protocolo Experimental

• Entornos: Cuatro mundos de rejilla de amenaza/espaciales (Obstáculos Dinámicos, LavaGap, LavaCrossing, Aproximación-Evitación, Elección Temporal, Adicción, Trauma) y un entorno de píxeles 3D (MiniWorld).
• Ensayos: Los ensayos de síntomas primarios fueron prerregistrados para cada trastorno (p. ej., elección de objetivo de riesgo para la ansiedad, tasa de comprobación para el TOC).
• Controles: Se utilizaron cuatro condiciones de control: PPO Estándar, Ruido del Crítico (vector aleatorio), PPO+RND (motivación intrínseca) y Crítico de Apreciación sin modelado de recompensa.
• Rigor Estadístico: Los experimentos ejecutaron 1,375 configuraciones a través de 10 semillas (intervalos de confianza del 95%).

Resultados Clave

1. Respuesta Dosis-Graduada

A través de los siete trastornos, aumentar la dosis de la "perilla" produjo una respuesta graduada y monótona en el ensayo del síntoma primario. Los controles no lograron reproducir estos fenotipos, confirmando que los efectos surgen de los mecanismos de modelado específicos y no de la motivación intrínseca genérica o el ruido.

2. Estructura Transdiagnóstica Emergente

Los trastornos se autoorganizan en un espacio afectivo bidimensional (Recompensa-Aproximación vs. Amenaza-Evitación) sin que esta estructura sea codificada explícitamente en la recompensa:

• Manía y Ansiedad emergieron como espejos exactos a través del origen (persecución desinhibida vs. evitación hipervigilante).
• TOC ocupó una dimensión distinta (compulsividad) ortogonal al plano principal.
• Depresión se mapeó hacia la retirada; Adicción e Impulsividad hacia la sobre-persecución.

3. Disociación de Tratamiento (Rescate vs. Resistencia)

Los autores probaron el "tratamiento" eliminando la perilla patológica tras el entrenamiento:

• Trastornos de Distorsión de Recompensa (Manía, TOC, Adicción): Los síntomas remitieron inmediatamente tras la eliminación de la perilla, ya que el gradiente de la meta volvió a predominar.
• Trastornos de Hábito/Evitación (Ansiedad, TEPT, Depresión, Impulsividad): Los síntomas resistieron la eliminación pasiva. Los agentes mantuvieron sus políticas desadaptativas porque la conducta de evitación impedía encontrar evidencia que las desconfirmara.
• Resolución: Los trastornos resistentes (Ansiedad, TEPT) solo se recuperaron mediante un currículo de exposición graduada (penalizando la ruta de evitación), lo que refleja la terapia de exposición clínica.

4. Comorbilidad Emergente

Cuando se activaron dos perillas simultáneamente, la interacción fue no aditiva:

• Manía × Impulsividad: La impulsividad (descuento pronunciado) suprimió la letalidad de la manía. El agente maníaco requería un compromiso de varios pasos para la aproximación temeraria hacia la lava, algo que el agente impulsivo y miope no realizaría.
• Ansiedad × Depresión: La depresión severa (alto costo de esfuerzo) anuló la lectura de la ansiedad; el agente dejó de actuar por completo, impidiendo la expresión de la evitación.

5. Generalización a Entornos de Píxeles 3D

Tres trastornos (Depresión, Adicción, Ansiedad) se transfirieron a un entorno de píxeles 3D (MiniWorld) utilizando un agente CNN estándar sin un crítico de apreciación.

• Emergieron las mismas firmas fenotípicas (p. ej., la depresión redujo la acción hacia adelante; la adicción aumentó la ocupación de drogas).
• La disociación de ensayos cruzados se mantuvo: la perilla de depresión no aumentó la ocupación de drogas, y la perilla de ansiedad no suprimió la locomoción. Esto confirma que los mecanismos son propiedades de la estructura de recompensa, no dependientes de los mundos de rejilla o de la arquitectura del crítico de apreciación.

Significación y Reivindicaciones

El artículo afirma establecer un sustrato controlable y fundamentado para estudiar fenotipos afectivos en agentes artificiales. Sus contribuciones primarias son:

1. De la Descripción a la Manipulación: Cambia el modelado de trastornos de un etiquetado post-hoc a una ciencia falsable donde la severidad es continuamente ajustable mediante parámetros interpretables únicos.
2. Paralelos Clínicos Emergentes: El marco reproduce fenómenos clínicos complejos (p. ej., la resistencia de los trastornos de evitación a la eliminación pasiva de estresores, la naturaleza no aditiva de la comorbilidad) sin programarlos explícitamente. Estos son propiedades emergentes de la interacción entre la dinámica de aprendizaje del agente y la recompensa modelada.
3. Marco Unificado: Demuestra que una única arquitectura de agente puede modelar la inducción, la organización estructural (espacio transdiagnóstico) y el tratamiento (rescate/extinción) de múltiples trastornos simultáneamente.
4. Especificidad Mecanicista: Los resultados de disociación confirman que las perillas específicas apuntan a dimensiones de síntomas particulares sin contaminación cruzada, validando la fundamentación mecanicista del enfoque.

Los autores concluyen que los pesos de la apreciación parametrizan un espacio donde los mismos mecanismos que inducen un trastorno también pueden modelar su tratamiento, ofreciendo un nuevo banco de pruebas para la psiquiatría computacional y una lente sobre los modos de fallo del control afectivo en el RL.