Sintesi Tecnica: Uno Spazio Transdiagnostico di Fenotipi Simili a Disordini in Agenti di Reinforcement Learning

Definizione del Problema

Gli agenti di Reinforcement Learning (RL) impiegati in ambito sanitario e in sistemi rivolti all'uomo richiedono stabilità affettiva; gli errori di stima del valore possono portare a modalità di fallimento catastrofiche come l'evitamento, la perseverazione o l'imprudenza. Sebbene il lavoro precedente abbia tentato di modellare i disturbi psicologici negli agenti, esso soffre di tre criticità primarie:

1. Mancanza di Fondamento Meccanicistico: Le manipolazioni sono spesso euristiche regolate manualmente piuttosto che derivate da account di psichiatria computazionale, risultando in mappature deboli con i costrutti clinici.
2. Etichettatura Post-hoc: I comportamenti vengono etichettati dopo l'osservazione (es. "questo sembra OCD") invece di essere misurati rispetto a criteri pre-registrati, invitando al bias di conferma.
3. Mancanza di Rigore: I risultati sono tipicamente riportati come singole esecuzioni senza varianza, controlli o analisi dose-risposta.

Inoltre, gli esistenti modelli di psichiatria computazionale spesso adattano compiti astratti al comportamento, ma non possono manipolare continuamente la severità del disturbo né osservare l'intera traiettoria dalla salute alla patologia e viceversa.

Metodologia

L'Architettura AG-PPO

Gli autori introducono AG-PPO (Appraisal-Guided Proximal Policy Optimization), un agente che integra la Teoria della Valutazione (Appraisal Theory) (Lazarus, 1991; Scherer, 2001) nel ciclo di RL.

• Architettura: Un encoder convoluzionale condiviso elabora osservazioni simboliche egocentriche (7×7×3). L'output alimenta sia un Attore che un Critico.
• Vettore di Valutazione ($\zeta$): Il Critico consuma inoltre un vettore di valutazione a sei dimensioni $\zeta_t$, computato ad ogni step:
  1. Rilevanza Motivazionale ($\zeta_{MR}$): Funzione della distanza dall'obiettivo dell'agente.
  2. Congruenza con l'Obiettivo ($\zeta_{GC}$): Allineamento geometrico con gli obiettivi.
  3. Certezza ($\zeta_{C}$): Derivata dall'entropia della policy.
  4. Novità ($\zeta_{N}$): Derivata dalla divergenza KL rispetto a una policy uniforme.
  5. Potenziale di Coping ($\zeta_{CP}$): Frazione di minacce al di fuori del campo visivo dell'agente.
  6. Anticipazione ($\zeta_{A}$): Complementare dell'errore di predizione del prossimo reward (fornito da una rete di Stima del Prossimo Reward).
     $\zeta_t$ viene calcolato ad ogni step.
• Shaping del Reward: Il reward dell'ambiente $r_t$ è modificato da una funzione di shaping $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{termini specifici}$. Fondamentalmente, ogni disturbo è indotto attivando esattamente un termine in questa equazione o modificando il fattore di sconto $\gamma$.

Meccanismi dei Disturbi (Le "Manopole")

Sette disturbi sono modellati come "manopole" controllabili per dose, ciascuno fondato su uno specifico account di psichiatria computazionale:

1. Ansia: Penalizza il basso potenziale di coping (ipervigilanza alle minacce).
2. Mania: Penalizza l'alto potenziale di coping (ipersensibilità al reward/ricerca di minacce).
3. OCD (Checking): Concede un bonus decrescente per il rivisitare i checkpoint (modellando la diminuzione della rassicurazione).
4. Depressione: Impone un costo di sforzo per step sul movimento (riducendo l'attivazione comportamentale).
5. Impulsività: Riduce il fattore di sconto $\gamma$ (steep delay discounting).
6. Dipendenza: Aggiunge un bonus non abituante per le piastrelle "drug" (incentive salience illimitata).
7. PTSD: Applica uno shock condizionato su una piastrella traumatica, causando generalizzazione dell'evitamento.

Protocollo Sperimentale

• Ambienti: Quattro mondi a griglia di minacce/spaziali (Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma) e un ambiente 3D a pixel (MiniWorld).
• Assaggi (Assays): Gli assaggi primari dei sintomi erano pre-registrati per ogni disturbo (es. scelta di obiettivo rischioso per l'ansia, tasso di checking per l'OCD).
• Controlli: Sono stati utilizzati quattro stati di controllo: PPO Standard, Rumore del Critico (vettore random), PPO+RND (motivazione intrinseca) e l'Appraisal Critic senza shaping.
• Rigore Statistico: Gli esperimenti hanno eseguito 1.375 configurazioni su 10 seed (intervalli di confidenza al 95%).

Risultati Chiave

1. Risposta Dose-Gradiente

In tutti i sette disturbi, l'aumento della "dose" della manopola ha prodotto una risposta graduata e monotona nell'assay del sintomo primario. I controlli non sono riusciti a riprodurre tali fenotipi, confermando che gli effetti derivano dai meccanismi di shaping specifici e non da una generica motivazione intrinseca o rumore.

2. Struttura Transdiagnostica Emergente

I disturbi si auto-organizzano in uno spazio affettivo bidimensionale (Ricompensa-Approccio vs Minaccia-Evitamento) senza che tale struttura sia esplicitamente codificata nel reward:

• Mania e Ansia sono emersi come speculari esatti rispetto all'origine (iper-pursuit disinibito vs evitamento ipervigilante).
• OCD ha occupato una dimensione distinta (compulsività) ortogonale al piano principale.
• Depressione è stata mappata sull'evitamento; Dipendenza e Impulsività sull'over-pursuit.

3. Dissociazione del Trattamento (Recupero vs Resistenza)

Gli autori hanno testato il "trattamento" rimuovendo la manopola patologica dopo l'addestramento:

• Disturbi da Distorsione del Reward (Mania, OCD, Dipendenza): I sintomi sono rimessi immediatamente con la rimozione della manopola, poiché il gradiente dell'obiettivo è tornato a dominare.
• Disturbi da Abitudine/Evitamento (Ansia, PTSD, Depressione, Impulsività): I sintomi hanno resistito alla rimozione passiva. Gli agenti hanno mantenuto le loro policy maladattive perché il comportamento di evitamento impediva loro di incontrare prove disconfermanti.
• Risoluzione: I disturbi resistenti (Ansia, PTSD) sono stati recuperati solo tramite un curriculum di esposizione graduata (penalizzando la rotta di evitamento), rispecchiando la terapia di esposizione clinica.

4. Comorbilità Emergente

Quando due manopole venivano attivate simultaneamente, l'interazione era non additiva:

• Mania × Impulsività: L'impulsività (steep discounting) ha soppresso la letalità della mania. L'agente maniacale nel suo approccio spericolato alla lava richiedeva un impegno multi-step, che l'agente impulsivo e miope non sarebbe stato in grado di intraprendere.
• Ansia × Depressione: Una depressione severa (alto costo di sforzo) ha sovrastato l'output dell'ansia; l'agente ha cessato di agire completamente, impedendo l'espressione dell'evitamento.

5. Generalizzazione a Ambienti Pixel 3D

Tre disturbi (Depressione, Dipendenza, Ansia) sono stati trasferiti in un ambiente a pixel 3D (MiniWorld) utilizzando un agente CNN standard senza un appraisal critic.

• Le stesse firme fenotipiche sono emerse (es. la depressione ha ridotto il movimento in avanti; la dipendenza ha aumentato l'occupazione delle drug tiles).
• La dissociazione tra assay è rimasta valida: la manopola della depressione non ha aumentato l'occupazione delle drug tiles, e la manopola dell'ansia non ha soppresso la locomozione. Ciò conferma che i meccanismi sono proprietà della struttura del reward, non specifici dell'architettura dell'appraisal critic o dei mondi a griglia.

Significato e Rivendicazioni

Il paper sostiene di aver stabilito un substrato controllabile e fondato per lo studio dei fenotipi affettivi negli agenti artificiali. I suoi contributi primari sono:

1. Dalla Descrizione alla Manipolazione: Sposta la modellazione dei disturbi dalla etichettatura post-hoc a una scienza falsificabile dove la severità è continuamente sintonizzabile tramite parametri singoli e interpretabili.
2. Paralleli Clinici Emergenti: Il framework riproduce fenomeni clinici complessi (es. la resistenza dei disturbi da evitamento alla rimozione passiva dello stressor, la natura non additiva della comorbilità) senza programmarli esplicitamente. Questi sono proprietà emergenti dell'interazione tra la dinamica di apprendimento dell'agente e il reward shaped.
3. Framework Unificato: Dimostra che un singolo modello di agente può modellare induzione, organizzazione strutturale (spazio transdiagnostico), trattamento (recupero/estinzione) per molteplici disturbi simultaneamente.
4. Specificità Meccanicistica: I risultati di dissociazione confermano che specifici "knobs" colpiscono specifiche dimensioni sintomatiche senza contaminazione incrociata, validando il fondamento meccanicistico dell'approccio.

Gli autori concludono che i pesi dell'appraisal parametrizzano uno spazio in cui gli stessi meccanismi che inducono un disturbo possono anche modellare il suo trattamento, offrendo un nuovo banco di prova per la psichiatria computazionale e una lente sui fallimenti del controllo affettivo nel RL.