Technische Samenvatting: Een Transdiagnostische Ruimte van Stoornissen-achtige Fenotypes in Reinforcement Learning Agents

Probleemstelling

Reinforcement Learning (RL) agents die worden ingezet in de gezondheidszorg en mensgerichte systemen vereisen affectieve stabiliteit; fouten in de waardeschatting kunnen leiden tot catastrofale faalmodi zoals vermijding, perseveratie of roekeloosheid. Hoewel eerder werk heeft geprobeerd psychische stoornissen in agents te modelleren, lijdt dit aan drie primaire zwakheden:

1. Gebrek aan Mechanistische Gronding: Manipulaties zijn vaak handmatig afgestemde heuristieken in plaats van afgeleid van computationele psychiatrische verantwoordingen, wat resulteert in losse koppelingen aan klinische constructen.
2. Post-hoc Labeling: Gedragingen worden gelabeld na observatie (bijv. "dit lijkt op OCD") in plaats van gemeten tegen vooraf geregistreerde criteria, wat uitnodigt tot bevestigingsvooroordeel.
3. Gebrek aan Rigor: Resultaten worden typisch gerapporteerd als enkelvoudige runs zonder variantie, controles of dosis-responsanalyse.

Bovendien kunnen bestaande computationele psychiatrische modellen abstracte taken weliswaar fitten aan gedrag, maar kunnen ze niet continu de ernst van een stoornis manipuleren of het volledige traject van gezondheid naar pathologie en terug observeren.

Methodologie

De AG-PPO Architectuur

De auteurs introduceren AG-PPO (Appraisal-Guided Proximal Policy Optimization), een agent die Appraisal Theory (Lazarus, 1991; Scherer, 2001) integreert in de RL-loop.

• Architectuur: Een gedeelde convolutionele encoder verwerkt egocentrische symbolische observaties (7×7×3). De output voedt zowel een Actor als een Critic.
• Appraisal Vector ($\zeta$): De Critic consumeert daarnaast bij elke stap een zesdimensionale appraisal vector $\zeta_t$, berekend als volgt:
  1. Motivationele Relevantie ($\zeta_{MR}$): Functie van de afstand tot het doel van de agent.
  2. Doelcongruentie ($\zeta_{GC}$): Geometrische uitlijning met doelen.
  3. Zekerheid ($\zeta_{C}$): Afgeleid van policy-entropie.
  4. Nieuwigheid ($\zeta_{N}$): Afgeleid van de KL-divergentie tegenover een uniforme policy.
  5. Copingpotentieel ($\zeta_{CP}$): Fractie van bedreigingen buiten het gezichtsveld van de agent.
  6. Anticipatie ($\zeta_{A}$): Complement van de volgende reward-predictiefout (geleverd door een Next-Reward Estimation netwerk).
• Reward Shaping: De omgevingsbeloning $r_t$ wordt aangepast door een shaping functie $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{specifieke termen}$. Cruciaal is dat elke stoornis wordt geïnduceerd door precies één term in deze vergelijking te activeren of de kortingsfactor $\gamma$ te wijzigen.

Stoormechanismen (De "Knobs")

Zeven stoornissen worden gemodelleerd als dosis-controleerbare "knobs", elk gegrond in een specifiek computationeel psychiatrisch account:

1. Angst (Anxiety): Bestraft een laag copingpotentieel (hypervigilantie voor bedreigingen).
2. Manie (Mania): Bestraft een hoog copingpotentieel (beloningshypersensitiviteit/zoektocht naar dreiging).
3. OCD (Checking): Verleent een afnemende bonus voor het herhaaldelijk bezoeken van checkpoints (modellering van afnemende geruststelling).
4. Depressie (Depression): Legt een inspanningskost per stap op aan beweging (vermindert gedragsactivatie).
5. Impulsiviteit (Impulsivity): Vermindert de kortingsfactor $\gamma$ (steile uitsteldiscontering).
6. Verslaving (Addiction): Voegt een niet-gewenningsbonus toe voor drug-tegels (ongekende incentive salience).
7. PTSS (PTSD): Past een geconditioneerde schok toe op een trauma-tegel, wat leidt tot overgeneralisatie van vermijding.

Experimenteel Protocol

• Omgevingen: Vier dreiging/ruimtelijke grid worlds (Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma) en een 3D pixel omgeving (MiniWorld).
• Assays: De primaire symptoom-assays waren pre-geregistreerd voor elke stoornis (bijv. risicovolle doelkeuze voor angst, check-frequentie voor OCD).
• Controles: Vier controlecondities werden gebruikt: Standaard PPO, Critic-noise (willekeurige vector), PPO+RND (intrinsieke motivatie), en Appraisal Critic zonder shaping.
• Statistische Rigor: Experimenten draaiden 1.375 configuraties over 10 seeds (95% betrouwbaarheidsintervallen).

Belangrijkste Resultaten

1. Gradiënt Dosis-Respons

Over alle zeven stoornissen heen produceerde het verhogen van de "knob"-dosis een gegradeerd, monotoon respons in de primaire symptom-assay. Controles slaagden er niet in om deze fenotypes te reproduceren, wat bevestigt dat de effecten voortkomen uit de specifieke shaping-mechanismen en niet uit generieke intrinsieke motivatie of ruis.

2. Emergente Transdiagnostische Structuur

De stoornissen zelforganiseren zich in een tweedimensionale affectieve ruimte (Beloning-Benadering vs. Dreiging-Vermijding) zonder dat deze structuur expliciet in de beloning is gecodeerd:

• Manie en Angst kwamen naar voren als exacte spiegels over de oorsprong (gedisinhibeerde overmatige benadering vs. hypervigilante vermijding).
• OCD bezette een distincte dimensie (compulsiviteit) orthogonaal aan het hoofdplane.
• Depressie bracht terugtrekking in kaart; Verslaving en Impulsiviteit brachten overmatige benadering in kaart.

3. Behandeling Dissociatie (Redding vs. Weerstand)

De auteurs testten "behandeling" door de pathologische knob te verwijderen na training:

• Beloningsvervormingsstoornissen (Manie, OCD, Verslaving): Symptomen remitteerden onmiddellijk bij het verwijderen van de knob, omdat de doelgradiënt weer dominant werd.
• Gewoonte/Vermijdingsstoornissen (Angst, PTSS, Depressie, Impulsiviteit): Symptomen weerstonden passieve verwijdering. De agents behielden hun maladaptieve policies omdat het vermijdingsgedrag voorkwam dat ze confronterende bewijzen tegenkwamen.
• Resolutie: De resistente stoornissen (Angst, PTSS) werden alleen hersteld via een gegradeerd expositie-curriculum (het bestraffen van de vermijdingsroute), wat klinische exposure-therapie nabootst.

4. Emergente Comorbiditeit

Wanneer twee knobs simultaan werden geactiveerd, was de interactie niet-additief:

• Manie × Impulsiviteit: Impulsiviteit (steile discontering) onderdrukte de letaliteit van manie. De manische agent die de roekeloze benadering van lava vereiste, had een meerstaps commitment nodig, waar de myope impulsieve agent niet toe bereid was.
• Angst × Depressie: Ernstige depressie (hoge inspanningskost) overrulede de angst-output; de agent stopte volledig met handelen, waardoor de expressie van vermijding werd voorkomen.

5. Generalisatie naar 3D Pixel Omgevingen

Drie stoornissen (Depressie, Verslaving, Angst) werden getransfereerd naar een 3D pixel omgeving (MiniWorld) met behulp van een standaard CNN-agent zonder een appraisal critic.

• Dezelfde fenotypische signaturen kwamen naar voren (bijv. depressie verminderde voorwaartse actie; verslaving verhoogde drug-occupancy).
• Cross-assay dissociatie bleef standhouden: de depressie-knob verhoogde de drug-occupancy niet, en de angst-knob onderdrukte de lokomotie niet. Dit bevestigt dat de mechanismen eigenschappen zijn van de beloningsstructuur, en niet specifiek voor grid worlds of de appraisal critic architectuur.

Betekenis en Claims

Het artikel claimt een controleerbaar, gegrond substraat te hebben gevestigd voor het bestuderen van affectieve fenotypes in kunstmatige agents. De primaire bijdragen zijn:

1. Van Beschrijving naar Manipulatie: Het verschuift de modellering van stoornissen van post-hoc labeling naar een falsifieerbare wetenschap waarbij de ernst continu instelbaar is via enkelvoudige, interpreteerbare parameters.
2. Emergente Klinische Parallellen: Het framework reproduceert complexe klinische fenomenen (bijv. de weerstand van vermijdingsstoornissen tegen passieve verwijdering van stressoren, de niet-additieve aard van comorbiditeit) zonder deze expliciet te programmeren. Dit zijn emergente eigenschappen van de interactie tussen de leerdynamiek van de agent en de gevormde beloning.
3. Verenigd Framework: Het demonstreert dat een enkele agent-architectuur de inductie, structurele organisatie (transdiagnostische ruimte) en behandeling (redding/extinctie) van meerdere stoornissen tegelijkertijd kan modelleren.
4. Mechanistische Specificiteit: De dissociatie-resultaten bevestigen dat specifieke "knobs" specifieke symptoomdimensies targeten zonder kruisbesmetting, wat de mechanistische gronding van de aanpak valideert.

De auteurs concluderen dat appraisal-gewichten een ruimte parametriseren waarin dezelfde mechanismen die een stoornis induceren, ook de behandeling ervan kunnen modelleren, wat een nieuw testbed biedt voor computationele psychiatrie en een lens op de faalmodi van affectieve controle in RL.