🤖 machine learning

A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents

Dieses Paper führt einen transdiagnostischen Rahmen zur Modellierung von sieben psychischen Störungen in Reinforcement-Learning-Agenten durch die Manipulation kognitiver Bewertungssignale ein und zeigt auf, dass diese induzierten Phänotypen einen steuerbaren, dosisabhängigen affektiven Raum bilden, der nicht nur Symptome von Störungen repliziert, sondern auch Behandlungsreaktionen und komorbide Interaktionen über verschiedene Umgebungen hinweg vorhersagt.

Ursprüngliche Autoren: Hari Prasad

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hari Prasad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Roboterfreund, der lernt, durch ein Labyrinth zu navigieren. Normalerweise bringen wir Robotern bei, perfekt zu sein: das Ziel finden, die Lava vermeiden, die Bestleistung erzielen. Aber was wäre, wenn wir verstehen wollten, warum Menschen manchmal in Schleifen aus Sorge, rücksichtslosem Verhalten oder tiefer Traurigkeit stecken bleiben? Anstatt Menschen nur zu beobachten, baut dieses Paper ein „Störungs-Simulator“ im Gehirn eines Roboters auf.

Die Forscher haben nicht einfach nur den Code des Roboters manipuliert, um ihn seltsam agieren zu lassen. Stattdessen bauten sie ein spezielles „emotionales Dashboard“ namens Appraisal (Bewertung). Stellen Sie sich dieses Dashboard als eine Reihe von sechs Reglern vor, die ständig messen, wie der Roboter seine Situation empfindet: Ist das wichtig? Ist es sicher? Weiß ich, was passiert? Kann ich damit umgehen?

Die große Entdeckung? Durch das Drehen an nur einem einzigen Knopf auf diesem Dashboard konnten sie den Roboter ein spezifisches „störungsähnliches“ Verhalten entwickeln lassen. Sie haben den Roboter nicht darauf programmiert, ängstlich oder süchtig zu sein; sie haben nur eine einzige Zahl angepasst, und das Gehirn des Roboters hat das schlechte Verhalten von selbst „erfunden“.

Die sieben „Knöpfe“ des Unheils

Das Team erstellte sieben verschiedene „Knöpfe“, die jeweils auf realen psychologischen Theorien basieren. Hier ist das, was passiert, wenn man sie dreht:

Der Angst-Knopf (Anxiety): Dieser macht den Roboter hyper-bewusst für Bedrohungen. Er hört auf, Risiken einzugehen, und beginnt, allem auszuweichen, selbst wenn er dadurch den großen Preis verpassen würde. Es ist wie bei einem Menschen, der das Haus nicht verlassen will, weil die Straße vielleicht einen Hund hat.
Der Manie-Knopf (Mania): Dies ist das genaue Gegenteil von Angst. Der Roboter wird rücksichtslos, sucht gezielt nach Gefahr und Lava, anstatt sie zu vermeiden. Er ist das Spiegelbild der Angst, getrieben von dem Gefühl, dass alles sicher und aufregend ist, selbst wenn es das nicht ist.
Der Zwang-Knopf (OCD): Dieser lässt den Robbot Dinge immer und immer wieder überprüfen. Stellen Sie sich einen Roboter vor, der immer wieder zu einer Tür zurückläuft, um sicherzuge-stellen, dass sie abgeschlossen ist, obwohl er sie gerade erst überprüft hat. Je öfter er kontrolliert, desto weniger beruhigt fühlt er sich, also kontrolliert er erneut.
Der Depressions-Knopf (Depression): Dieser fügt jedem Schritt, den der Roboter macht, einen „Kostenfaktor“ hinzu. Das Bewegen wird erschöpfend. Der Roboter hört auf, das Ziel zu erreichen, weil sich der Aufwand zu schwer anfühlt, obwohl er es noch tun könnte.
Der Impulsivitäts-Knopf (Impulsivity): Dieser lässt den Roboter nur an das „Jetzt“ denken. Er schnappt sich eine kleine Belohnung direkt vor ihm, anstatt auf eine riesige Belohnung zu warten, die nur ein paar Schritte entfernt liegt.
Der Sucht-Knopf (Addiction): Dieser führt ein „Drogentile“ ein, das eine massive, niemals endende Belohnung gibt. Der Roboter ignoriert das eigentliche Ziel, um diesem Tile nachzujagen, und vergisst schließlich die Mission komplett.
Der PTBS-Knopf (PTSD): Dieser platziert einen „Schock“ auf dem kürzesten Weg zum Ziel. Der Roboter lernt, eine lange, windige Umleitung zu nehmen, um diesen einen Ort zu vermeiden, selbst wenn die Umleitung schrecklich ist.

Die Magie der „Dosis“

Der coolste Teil ist, dass dies keine einfachen „An“- oder „Aus“-Schalter sind. Die Forscher konnten die Knöpfe wie Lautstärkeregler hoch- und runterdrehen. Sie ließen die Simulation 1.375 Mal mit unterschiedlichen Einstellungen laufen. Sie fanden heraus, dass sich das schlechte Verhalten mit dem Hochdrehen des Knopfes in einer glatten, vorhersehbaren Linie verschlechterte. Wenn sie ihn herunterdrehten, verbesserte sich der Roboter. Dies beweist, dass das Verhalten kein Glitch war, sondern eine direkte Reaktion auf die „Dosis“ des emotionalen Signals.

Die Überraschung: Das Gehirn des Roboters organisiert sich selbst

Hier wird das Paper wirklich interessant. Die Forscher sagten dem Roboter nicht, wie er diese Verhaltensweisen organisieren soll. Sie drehten nur die Knöpfe. Aber als sie die Ergebnisse darstellten, ordneten sich die Störungen selbst in einer ordentlichen Karte an:

Angst und Manie waren perfekte Gegensätze und befanden sich auf gegenüberliegenden Seiten der Karte.
Sucht und Impulsivität drängten den Roboter beide in Richtung „Übersteigerung des Verfolgens“ (Over-pursuing).
Depression zog den Roboter in den „Rückzug“ (Withdrawal).

Es ist, als ob das Gehirn des Roboters diese chaotischen Verhaltensweisen ganz natürlich in eine logische Struktur sortiert hat, nur durch das Lernen aus den Signalen.

Das „Heilungs“-Experiment

Das Team versuchte auch, die Roboter zu „heilen“, indem sie die Knöpfe wieder auf Null drehten. Die Ergebnisse waren überraschend und entsprachen der Logik realer menschlicher Therapie:

Die einfachen Lösungen: Bei den „Belohnungs-Verzerrungs“-Störungen (wie Manie, Zwang und Sucht) führte das einfache Ausschalten des Knopfes dazu, dass der Roboter sofort in den Normalzustand zurückkehrte. Die schlechte Gewohnheit war nicht tief verwurzelt.
Die schwierigen Lösungen: Bei den „Vermeidungs“-Störungen (wie Angst und PTBS) funktionierte das bloße Ausschalten des Knopfes nicht. Der Roboter vermied den beängstigenden Pfad weiterhin, weil er die Gewohnheit des Sicheren-Bleibens gelernt hatte. Er benötigte eine „graduierte Expositionstherapie“: Die Forscher mussten den Roboter sanft dazu zwingen, dem beängstigenden Pfad wieder Schritt für Schritt zu begegnen, bis er erkannte, dass er sicher war. Dies ahmt nach, wie echte Therapie bei Menschen mit Angstzuständen funktioniert.

Was dies NICHT ist

Es ist wichtig zu wissen, was dieses Paper nicht aussagt.

Diese Roboter sind keine Menschen. Sie haben keine Gefühle, Erinnerungen oder Traumata im menschlichen Sinne. Sie sind mathematische Modelle.
Die Forscher haben den Roboter nicht darauf programmiert, „ängstlich zu sein“. Sie haben ein Signal programmiert, und die Angst entstand als Nebenwirkung.
Sie haben nicht bewiesen, dass dies die einzigen Ursachen dieser Störungen bei echten Menschen sind. Sie haben lediglich gezeigt, dass diese spezifischen Mechanismen ausreichen, um diese Verhaltensweisen in einer Simulation zu erzeugen.

Der Abschlusstest: Funktioniert es auch in 3D?

Um sicherzustellen, dass dies nicht nur ein Trick des einfachen 2D-Labyrinths war, testeten sie drei der Störungen (Depression, Sucht, Angst) an einem Roboter mit einer Kamera, der sich in einer 3D-Pixelwelt (wie einem Videospiel) bewegt. Dieselben Knöpfe funktionierten exakt gleich. Der Roboter wurde depressiv, süchtig oder ängstlich, selbst ohne das spezielle „Dashboard“, das die Forscher im ersten Test verwendeten. Dies deutet darauf hin, dass das Problem nicht die Augen oder das Gehirn des Roboters ist, sondern die Art und Weise, wie die „Belohnungssignale“ strukturiert sind.

Das Fazit

Dieses Paper legt nahe, dass wir komplexe menschliche Kämpfe wie Angst oder Sucht modellieren können, indem wir einfache mathematische Signale in einem lernenden Agenten anpassen. Es zeigt, dass diese Störungen unterschiedliche Punkte auf einer gemeinsamen Karte dessen sein könnten, wie wir Belohnungen und Bedrohungen verarbeiten. Am wichtigsten ist jedoch, dass es andeutet, dass die Lösung dieser Probleme unterschiedliche Strategien erfordern kann: Manchmal muss man nur das schlechte Signal entfernen, aber ein anderes Mal muss man das Verhalten aktiv neu trainieren. Es verwandelt die Untersuchung der psychischen Gesundheit von einem reinen Beobachten dessen, was schiefläuft, in einen Spielplatz, auf dem man genau testen kann, wie man es repariert.

Technisches Resümee: Ein transdiagnostischer Raum für störungsähnliche Phänotypen in Reinforcement-Learning-Agenten

Problemstellung

In Reinforcement-Learning-Agenten (RL), die im Gesundheitswesen und in menschenzentrierten Systemen eingesetzt werden, ist affektive Stabilität erforderlich; Fehler in der Wertabschätzung können zu katastrophalen Ausfallmodi wie Vermeidung, Perseveration oder Rücksichtslosigkeit führen. Während bisherige Arbeiten versucht haben, psychische Störungen in Agenten zu modellieren, leiden sie unter drei primären Schwächen:

Mangelnde mechanistische Fundierung: Manipulationen sind oft handgesteuerte Heuristiken statt aus computerpsychiatrischen Modellen abgeleitet, was zu losen Zuordnungen zu klinischen Konstrukten führt.
Post-hoc-Etikettierung: Verhaltensweisen werden erst nach der Beobachtung gelabelt (z. B. „das sieht wie Zwangsstörung aus“), anstatt sie gegen präregistrierte Kriterien zu messen, was Bestätigungsfehler provoziert.
Mangelnde Stringenz: Ergebnisse werden typischerweise als Einzeldurchläufe ohne Varianz, Kontrollen oder Dosis-Wirkungs-Analysen berichtet.

Darüber hinaus können bestehende computerpsychiatrische Modelle abstrakte Aufgaben zwar an Verhalten anpassen, aber sie können nicht kontinuierlich die Schwere einer Störung manipulieren oder den vollständigen Pfad von Gesundheit über Pathologie bis zurück zur Gesundheit beobachten.

Methodik

Die AG-PPO-Architektur

Die Autoren führen AG-PPO (Appraisal-Guided Proximal Policy Optimization) ein, einen Agenten, der die Appraisal-Theorie (Lazarus, 1991; Scherer, 2001) in den RL-Loop integriert.

Architektur: Ein gemeinsamer konvolutionaler Encoder verarbeitet egozentrische symbolische Beobachtungen (7×7×3). Der Output speist sowohl einen Actor als auch einen Critic.
Appraisal-Vektor ( $\zeta$ ): Der Critic konsumiert zusätzlich einen sechsdimensionalen Appraisal-Vektor $\zeta_t$ $ζ_{t}$ , der in jedem Schritt berechnet wird:
1. Motivational Relevance ( $\zeta_{MR}$ ): Eine Funktion der Distanz zum Agentenziel.
2. Goal Congruence ( $\zeta_{GC}$ ): Geometrische Ausrichtung mit den Zielen.
3. Certainty ( $\zeta_{C}$ ): Abgeleitet aus der Policy-Entropie.
4. Novelty ( $\zeta_{N}$ ): Abgeleitet aus der KL-Divergenz gegenüber einer uniformen Policy.
5. Coping Potential ( $\zeta_{CP}$ ): Anteil der Bedrohungen außerhalb der Sicht des Agenten.
6. Anticipation ( $\zeta_{A}$ ): Komplement zum Next-Reward-Prediction-Error (geliefert durch ein Next-Reward Estimation Netzwerk).
Reward Shaping: Die Belohnung der Umgebung $r_t$ wird durch eine Shaping-Funktion modifiziert: $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{spezifische Terme}$ . Entscheidend ist, dass jede Störung dadurch induziert wird, dass exakt einen Term in dieser Gleichung aktiviert oder den Diskontierungsfaktor $\gamma$ verändert wird.

Störungsmechanismen (Die „Regler“)

Sieben Störungen werden als dosissteuerbare „Regler“ modelliert, von denen jeder in einem spezifischen computerpsychiatrischen Account fundiert ist:

Angststörung (Anxiety): Bestraft niedriges Coping-Potential (Hypervigilanz gegenüber Bedrohungen).
Manie (Mania): Bestraft hohes Coping-Potential (Belohnungshypersensitivität/Bedrohungssuche).
Zwangsstörung (OCD - Checking): Gewährt einen abnehmenden Bonus für das Wiederbesuchen von Checkpoints (Modellierung abnehmender Rückversicherung).
Depression: Erlegt eine pro Schritt anfallende Anstrengungskosten für Bewegungen auf (Reduktion der Verhaltensaktivierung).
Impulsivität: Reduziert den Diskontierungsfaktor $\gamma$ (steile Verzögerungsdiskontierung).
Sucht (Addiction): Fügt einen nicht-habituierten Bonus für „Drug Tiles“ hinzu (unkapazitive Incentive-Salienz).
PTBS (PTSD): Wendet einen konditionierten Schock auf ein Trauma-Tile an, was zu einer Vermeidungs-Überverallgemeinerung führt.

Experimentelles Protokoll

Umgebungen: Vier Threat/Spatial Grid Worlds (Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma) und eine 3D-Pixel-Umgebung (MiniWorld).
Assays: Die primären Symptom-Assays waren für jede Störung präregistriert (z. B. risikoreiche Zielwahl bei Angststörung, Checking-Rate bei Zwangsstörungen).
Kontrollen: Vier Kontrollbedingungen wurden verwendet: Standard PPO, Critic-Noise (zufälliger Vektor), PPO+RND (intrinsische Motivation) und ein Appraisal-Critic ohne Shaping.
Statistische Stringenz: Die Experimente liefen über 1.375 Konfigurationen auf 10 Seeds (95 % Konfidenzintervalle).

Zentrale Ergebnisse

1. Gestufter Dosis-Wirkungs-Zusammenhang

Über alle sieben Störungen hinweg erzeugte die Erhöhung der „Regler“-Dosis eine gestufte, monotone Reaktion im primären Symptom-Assay. Die Kontrollen konnten diese Phänotypen nicht reproduzieren, was bestätigt, dass die Effekte aus den spezifischen Shaping-Mechanismen stammen und nicht aus generischer intrinsischer Motivation oder Rauschen.

2. Emergente transdiagnostische Struktur

Die Störungen organisieren sich selbst in einem zweidimensionalen affektiven Raum (Reward-Approach vs. Threat-Avoidance), ohne dass diese Struktur explizit kodiert wurde:

Manie und Angst erschienen als exakte Spiegelbilder über dem Ursprung (disinhibierte Übersteigerung vs. hypervigilante Vermeidung).
Zwangsstörung (OCD) besetzte eine distinkte Dimension (Kompulsivität), die orthogonal zur Hauptebene liegt.
Depression wurde der Rückzug zugeordnet; Sucht und Impulsivität dem Übermaß an Streben (Over-pursuit).

3. Behandlung-Dissoziation (Rettung vs. Resistenz)

Die Autoren testeten die „Behandlung“, indem sie den pathologischen Regler nach dem Training entfernten:

Belohnungs-Verzerrungs-Störungen (Manie, OCD, Sucht): Die Symptome remittierten unmittelbar nach Entfernung des Reglers, da der Gradient der Belohnung wieder dominierte.
Gewohnheits-/Vermeidungs-Störungen (Angst, PTBS, Depression, Impulsivität): Die Symptome resistenten gegen die passive Entfernung. Die Agenten behielten ihre maladaptiven Policies bei, da das Vermeidungsverhalten sie daran hinderte, entlastende Evidenz zu erfahren.
Lösung: Die resistenten Störungen (Angst, PTBS) konnten nur durch ein gestuftes Expositions-Curriculum (Bestrafung der Vermeidungsroute) geheilt werden, was der klinischen Expositionstherapie entspricht.

4. Emergente Komorbidität

Wenn zwei Regler gleichzeitig aktiviert wurden, war die Interaktion nicht-additiv:

Manie × Impulsivität: Impulsivität (steile Diskontierung) unterdrückte die Letalität der Manie. Der manische Agenten-Ansatz auf Lava erforderte ein mehrstufiges Commitment, dem der myope, impulsive Agent nicht nachkommen würde.
Angst × Depression: Schwere Depression (hohe Anstrengungskosten) überlagerte die Angst-Auslese; der Agent stellte jegliche Handlung ein und verhinderte so die Expression der Vermeidung.

5. Generalisierung auf 3D-Pixel-Umgebungen

Drei Störungen (Depression, Sucht, Angst) wurden auf eine 3D-Pixel-Umgebung (MiniWorld) übertragen, wobei ein Standard-CNN-Agent ohne einen Appraisal-Critic verwendet wurde.

Dieselben phänotypischen Signaturen traten hervor (z. B. reduzierte Vorwärtsbewegung bei Depression, erhöhte Drug-Occupancy bei Sucht).
Die Cross-Assay-Dissoziation blieb bestehen: Der Depressions-Regler erhöhte nicht die Drug-Occupancy, und der Angst-Regler unterdrückte nicht die Lokomotion. Dies bestätigt, dass die Mechanismen Eigenschaften der Belohnungsstruktur sind und nicht spezifisch für Grid-Worlds oder die Architektur des Appraisal-Critics.

Bedeutung und Ansprüche

Das Paper beansprucht, eine kontrollierbare, fundierte Substrat für die Untersuchung affektiver Phänotypen in künstlichen Agenten etabliert zu haben. Seine primären Beiträge sind:

Vom Beschreiben zum Manipulieren: Es verschiebt die Modellierung von Störungen von der Post-hoc-Etikettierung hin zu einer falsifizierbaren Wissenschaft, in der die Schwere über einzelne, interpretierbare Parameter kontinuierlich steuerbar ist.
Emergente klinische Parallelen: Das Framework reproduziert komplexe klinische Phänomene (z. B. die Resistenz von Vermeidungsstörungen gegen passive Stressoren-Entfernung, die nicht-additive Natur von Komorbidität), ohne diese explizit programmiert zu haben. Dies sind emergente Eigenschaften der Interaktion zwischen den Lern-Dynamiken des Agenten und der geformten Belohnung.
Vereinheitlichtes Framework: Es demonstriert, dass eine einzige Agenten-Architektur die Induktion, die strukturelle Organisation (transdiagnostischer Raum) und die Behandlung (Rettung/Extinktion) mehrerer Störungen gleichzeitig modellieren kann.
Mechanistische Spezifität: Die Dissoziations-Ergebnisse bestäten, dass spezifische „Regler“ gezielt bestimmte Symptom-Dimensionen ansprechen, ohne Kreuzkontamination, was die mechanistische Fundierung des Ansatzes validiert.

Die Autoren kommen zu dem Schluss, dass Appraisal-Gewichte einen Raum parametrisieren, in dem dieselben Mechanismen, die eine Störung induzieren, auch deren Behandlung modellieren können, was einen neuen Teststand für die computergestützte Psychiatrie und eine Linse auf das Versagen affektiver Kontrolle im RL bietet.