BioLLMAgent: A Hybrid Framework with Enhanced Structural Interpretability for Simulating Human Decision-Making in Computational Psychiatry

Die Studie stellt BioLLMAgent vor, ein hybrides Framework, das verstärkendes Lernen mit großen Sprachmodellen kombiniert, um menschliches Entscheidungsverhalten in der computergestützten Psychiatrie sowohl realistisch als auch strukturell interpretierbar zu simulieren und therapeutische Interventionen zu testen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, das menschliche Gehirn zu verstehen, wenn es schwierige Entscheidungen trifft – zum Beispiel, warum jemand trotz schlechter Erfahrungen immer wieder in eine riskante Situation zurückfällt. Das ist das Herzstück der Computational Psychiatry (Rechnergestützte Psychiatrie).

Bisher hatten die Wissenschaftler ein großes Problem: Sie mussten sich zwischen zwei Werkzeugen entscheiden, die beide nur die Hälfte des Puzzles lieferten.

1. Der alte Mathematiker (Reinforcement Learning): Dieser Ansatz ist wie ein strenger, aber sehr klarer Mathematiker. Er kann genau berechnen, wie jemand lernt, basierend auf Belohnungen und Bestrafungen. Man versteht seine Gedankenwege perfekt (er ist "interpretierbar"). Aber er ist oft zu starr. Er kann nicht wirklich "fühlen" oder auf neue, unvorhergesehene Situationen flexibel reagieren, wie ein echter Mensch.
2. Der moderne Schauspieler (Large Language Models / KI): Dieser Ansatz ist wie ein genialer Schauspieler. Er kann sich in jede Rolle hineinversetzen, spricht natürlich und verhält sich sehr menschlich. Aber er ist ein "Black Box"-Geheimnis. Niemand weiß genau, warum er eine bestimmte Entscheidung trifft. Es ist wie Magie: Man sieht das Ergebnis, aber nicht den Mechanismus dahinter.

Die Lösung: BioLLMAgent – Das perfekte Team

Die Forscher haben jetzt BioLLMAgent entwickelt. Man kann sich das wie ein Zweikopf-System vorstellen, das die Stärken beider Welten vereint:

• Kopf 1: Der erfahrene Trainer (Der interne RL-Engine)
  Dieser Kopf ist der "Mathematiker". Er lernt aus der Erfahrung. Wenn Deck A oft Geld kostet und Deck D oft bringt, merkt sich der Trainer das. Er repräsentiert unser tiefes, unbewusstes Lernen durch Versuch und Irrtum (wie ein Hund, der lernt, nicht an die heiße Herdplatte zu fassen).
• Kopf 2: Der kluge Berater (Der externe LLM-Schale)
  Dieser Kopf ist der "Schauspieler". Er kann Dinge wie Ratschläge, Therapien oder allgemeine Lebensweisheiten verstehen. Wenn ein Therapeut sagt: "Vertraue nicht auf den schnellen Gewinn", kann dieser Kopf diese Idee aufnehmen und in die Entscheidung einfließen lassen.

Wie arbeiten sie zusammen?
Stellen Sie sich vor, Sie stehen vor einer Entscheidung. Der Trainer sagt: "Lass uns Deck D wählen, das hat sich in der Vergangenheit bewährt." Der Berater sagt: "Aber warte, der Therapeut hat gesagt, wir sollen vorsichtig sein."
BioLLMAgent mischt diese beiden Stimmen. Ein Schieberegler (in der Studie mit dem griechischen Buchstaben Omega $\omega$) bestimmt, wie viel Gewicht die Erfahrung des Trainers hat und wie viel der Rat des Beraters.

• Bei gesunden Menschen ist der Trainer oft stärker.
• Bei Menschen mit Suchtproblemen (die oft impulsive Entscheidungen treffen) kann der Berater (z. B. eine Therapie-Anweisung) helfen, den Trainer zu korrigieren.

Was haben die Forscher herausgefunden?

Sie haben dieses System an einem klassischen Test namens Iowa Gambling Task getestet. Dabei müssen Spieler aus vier Kartenstapeln wählen. Zwei Stapel geben viel Geld, kosten aber am Ende mehr. Zwei Stapel geben wenig Geld, kosten aber kaum etwas. Gesunde Menschen lernen schnell, die "schlechten" Stapel zu meiden. Menschen mit Suchtproblemen tun sich schwer damit.

Das Ergebnis von BioLLMAgent war beeindruckend:

1. Es verhält sich wie ein Mensch: Der Agent lernt genau wie echte Patienten. Er macht die gleichen Fehler und lernt aus denselben Gründen.
2. Es ist durchschaubar: Da der "Trainer" (der Mathematiker) im System steckt, können die Forscher genau sehen, welcher Parameter schief läuft. Ist es das Lernen von Verlusten? Oder die Suche nach Belohnung? Das ist für die Medizin extrem wichtig, um Therapien zu entwickeln.
3. Es funktioniert als "Virtuelles Labor": Die Forscher haben Tausende von diesen Agenten in einem simulierten Netzwerk platziert, um zu testen, wie man eine ganze Gesellschaft gesund macht.
   • Die Erkenntnis: Wenn man nur die "schlechtesten" Spieler einzeln behandelt (zielgerichtete Therapie), hilft das nur wenig. Aber wenn man alle gleichzeitig aufklärt (Gemeinschaftsbildung), verbessert sich die Gesundheit der gesamten Gruppe viel stärker. Es ist, als würde man in einem Dorf nicht nur den kranken Nachbarn behandeln, sondern allen beibringen, wie man sich gesund ernährt.

Warum ist das wichtig?

BioLLMAgent ist wie ein Flugsimulator für die Psychiatrie.
Früher mussten Forscher warten, bis echte Patienten neue Therapien ausprobieren, was Jahre dauern kann. Jetzt können sie in diesem digitalen Simulator tausende Szenarien durchspielen: "Was passiert, wenn wir Patient X eine bestimmte Art von Therapie geben?" oder "Wie wirkt sich eine neue Aufklärungskampagne auf die Suchtquote aus?"

Es ist ein Werkzeug, das die Lücke zwischen trockener Mathematik und lebendigem menschlichem Verhalten schließt. Es hilft uns zu verstehen, warum wir tun, was wir tun, und wie wir uns helfen können, bessere Entscheidungen zu treffen.

Technische Zusammenfassung

1. Problemstellung

Das Feld der computergestützten Psychiatrie steht vor einem fundamentalen Zielkonflikt („Trade-off"):

• Traditionelle Reinforcement-Learning (RL)-Modelle (z. B. Prospect Valence Learning, Outcome-Representation Learning) bieten eine hohe strukturelle Interpretierbarkeit. Sie können kognitive Defizite (wie bei Suchterkrankungen) durch mathematische Parameter quantifizieren. Allerdings fehlt ihnen oft die Verhaltensrealität; sie generieren keine komplexen, kontextsensitiven Verhaltensmuster, die menschliche Variabilität vollständig abbilden.
• Large Language Models (LLM) können hochrealistisches, kontextbewusstes Verhalten generieren und „virtuelle Patienten" simulieren. Sie leiden jedoch unter dem „Black-Box"-Problem: Ihre Entscheidungen basieren auf Milliarden undurchsichtiger Parameter und sind nicht an etablierte psychologische oder neurowissenschaftliche Theorien gebunden, was eine mechanistische Analyse unmöglich macht.

Das Ziel der Arbeit ist es, diese Lücke zu schließen, indem ein Framework entwickelt wird, das die Interpretierbarkeit mathematischer Modelle mit der Verhaltensrealität von LLMs vereint.

2. Methodik: Das BioLLMAgent-Framework

BioLLMAgent ist ein hybrides Agenten-System, das aus drei Kernkomponenten besteht, die in einem modularen Informationsfluss zusammenarbeiten (siehe Abb. 2 im Paper):

A. Interne RL-Engine (Endogener Antrieb)

• Modell: Im Kern steht das Outcome-Representation Learning (ORL)-Modell, ein validiertes RL-Modell für den Iowa Gambling Task (IGT).
• Funktion: Sie simuliert das lernbasierte, erfahrungsgesteuerte Wertlernen durch direkte Interaktion mit der Umgebung.
• Komponenten: Das Modell berechnet drei separate Nutzenwerte (Utilities):
  1. Erwarteter Wert (Expected Value, EV).
  2. Erwartete Häufigkeit (Expected Frequency, EF).
  3. Persistenz (Perseveration, PS).
• Interpretierbarkeit: Die Parameter des ORL-Modells (z. B. Lernraten für Belohnung/Strafe, Vergessensparameter) dienen als kognitive Biomarker und bleiben vollständig identifizierbar.

B. Externe LLM-Schale (Exogener Antrieb)

• Funktion: Die LLM-Schale erfasst hochrangige kognitive Strategien, therapeutische Interventionen oder situatives Denken durch „Persona-Prompts".
• Prozess:
  1. Policy Sampling: Ein „reiner LLM-Agent" führt den gesamten IGT durch und generiert Wahrscheinlichkeitsverteilungen für jede Aktion.
  2. Aggregation: Diese Verteilungen werden über alle Versuche gemittelt, um eine statische Prior-Wahrscheinlichkeit ($\Pi_{prob}$) zu erhalten.
  3. Konvertierung: Die Wahrscheinlichkeiten werden in einen Nutzenvektor ($\Pi_{util}$) umgewandelt, der mit den RL-Werten kompatibel ist.
• Rolle: Dies repräsentiert externe Einflüsse (z. B. Ratschläge eines Therapeuten oder internalisierte Überzeugungen) als statischen kognitiven Prior.

C. Entscheidungs-Fusionsmechanismus

• Integration: Die dynamischen internen RL-Werte ($U_{RL}$) und die statischen externen LLM-Prior-Werte ($\Pi_{util}$) werden gewichtet gemittelt.
• Formel: $U_{Combined} = (1 - \omega) \cdot U_{RL} + \omega \cdot \Pi_{util}$.
• Hyperparameter $\omega$: Steuert das Verhältnis zwischen internem Lernen und externem Einfluss. Ein Wert von $\omega = 0.25$ wurde als optimaler Kompromiss zwischen Verhaltensverbesserung und Robustheit identifiziert.
• Aktion: Die kombinierte Nutzenvektor wird durch eine Softmax-Funktion in eine Wahrscheinlichkeitsverteilung umgewandelt, aus der die endgültige Aktion gewählt wird.

3. Wichtige Beiträge

1. Hybride Architektur: Erstmalige Integration eines validierten, interpretierbaren RL-Modells (ORL) als „Motor" innerhalb eines LLM-Agenten, wodurch die Black-Box-Natur des LLMs durch eine strukturell transparente Komponente eingeschränkt wird.
2. Strukturelle Interpretierbarkeit: Das Framework behält die Fähigkeit zur Parameteridentifizierung bei (Korrelationen > 0,67 für Kernparameter), was es ermöglicht, kognitive Defizite quantitativ zu messen, während gleichzeitig realistische Verhaltensdaten generiert werden.
3. Steuerbarkeit und Intervention: Durch die Anpassung der Prompts für die LLM-Schale können therapeutische Prinzipien (z. B. aus der Kognitiven Verhaltenstherapie, CBT) als externe Priors kodiert werden, um das Verhalten des Agenten gezielt zu modulieren.
4. Skalierbare Simulation: Das Framework ermöglicht Multi-Agenten-Simulationen auf Netzwerkebene, um soziale Dynamiken und Interventionsstrategien zu testen.

4. Ergebnisse

Die Studie wurde an sechs Datensätzen (insgesamt $N=350$) validiert, die gesunde Kontrollgruppen sowie Suchtpopulationen (Amphetamin- und Heroinabhängige) umfassten. Zusätzlich wurde das Framework auf den Delay Discounting Task generalisiert.

• Verhaltensvalidität: BioLLMAgent reproduziert menschliche Verhaltensmuster (insbesondere die Wahlverläufe im IGT) mit hoher Genauigkeit. Die Korrelation zwischen den Vorhersagen des hybriden Modells und dem reinen ORL-Modell liegt bei $r > 0,95$.
• Parameteridentifizierbarkeit: Die Kernparameter des ORL-Modells (Lernraten, Persistenz) bleiben auch im hybriden System robust identifizierbar (Korrelationen zwischen wahren und rekonstruierten Parametern oft > 0,8).
• Einfluss des LLMs:
  • Kontrollierbarkeit: Große Modelle (GPT-4o, DeepSeek) folgen Anweisungen zur Uniformität oder therapeutischen Führung präzise. Kleinere Modelle zeigen oft „Instruction Resistance".
  • Therapeutische Simulation: Die Kodierung von CBT-Prinzipien führte zu einer signifikanten Verschiebung hin zu vorteilhaften Entscheidungen, besonders bei klinischen Populationen (bis zu +38% Verbesserung).
• Netzwerkebene: In Multi-Agenten-Simulationen (100 Agenten) erwies sich eine flächendeckende Gemeinschaftsaufklärung (Community Education) als wirksamer als gezielte Einzeltherapien oder Interventionen bei Netzwerk-Hubs.
• Sensitivität: Der Fusionsparameter $\omega$ zeigt populationsabhängige Unterschiede; klinische Gruppen profitieren stärker von externen Hinweisen als gesunde Kontrollen.

5. Bedeutung und Ausblick

BioLLMAgent stellt einen Paradigmenwechsel in der computergestützten Psychiatrie dar:

• Computational Sandbox: Es bietet eine sichere Umgebung, um theoretische Hypothesen und Interventionsstrategien (z. B. verschiedene Therapieansätze) in silico zu testen, bevor sie in klinischen Studien angewendet werden.
• Mechanistisches Verständnis: Es ermöglicht die Untersuchung von Entscheidungsdefiziten unter Berücksichtigung sowohl biologischer Lernmechanismen als auch kognitiver/sozialer Einflüsse.
• Personalisierte Medizin: Der Parameter $\omega$ könnte als quantitativer Biomarker dienen, um vorherzusagen, welche Patienten besonders stark auf externe therapeutische Führung reagieren.
• Limitationen: Die Abhängigkeit von großen LLMs (>70B Parameter) für die Befolgung von Anweisungen und die Vereinfachung therapeutischer Prozesse zu statischen Priors sind aktuelle Einschränkungen.

Zusammenfassend bietet BioLLMAgent einen vielversprechenden Weg, um die Lücke zwischen mathematischer Strenge und biologischer Plausibilität in der Modellierung menschlichen Verhaltens zu schließen.