💬 NLP

Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

Diese Arbeit zeigt auf, dass LLMs zwar über fundiertes theoretisches CBT-Wissen verfügen, dieses jedoch in der Praxis nicht effektiv anwenden können, indem sie standardmäßig zu Validierung und Reflexion statt zu strategischen Interventionen übergehen, eine Einschränkung, die selbst mit fortgeschrittenen Prompting-Techniken wie Multiple Chain-of-Thought bestehen bleibt und durch eine neue „Protocol Leverage Force“-Metrik quantifiziert wird, die eine minimale Verhaltensänderung aufzeigt.

Ursprüngliche Autoren: Vaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der jedes Psychologie-Lehrbuch in der Bibliothek gelesen hat. Er kennt die Regeln der Kognitiven Verhaltenstherapie (KVT) besser als ein Student bei einer Abschlussprüfung und erzielt bei Theoriefragen bis zu 96 %. Man würde denken, dieser Roboter könnte der ultimative Therapeut sein, oder?

Nicht ganz.

Das Paper „Where do LLMs Fall Short in CBT-Guided Affective Reasoning“ enthüllt einen amüsanten, aber frustrierenden Fehler: Dieser Roboter kennt die Theorie perfekt, aber wenn man tatsächlich mit ihm spricht, verhält er sich wie eine kaputte Schallplatte. Egal, was Sie sagen, er nickt nur, sagt „Ich verstehe Sie“ und spiegelt Ihre Gefühle zurück. Es ist wie ein Spiegel, der Ihnen immer nur Ihr eigenes Gesicht zeigt, selbst wenn Sie eigentlich jemanden bräuchten, der Ihnen hilft herauszufinden, war Warum Sie so aussehen.

Das „Spiegel vs. Karte“-Problem

Die Forscher testeten dies, indem sie drei verschiedenen KI-Modellen (Gemma3, Mistral und GPT-OSS) eine Reihe von 14 simulierten Geschichten basierend auf echten Therapiesitzungen gaben. Sie wollten sehen, ob die KI mehr tun konnte als nur zu sagen: „Das klingt hart.“

In einer echten Therapie hört ein guter Therapeut nicht nur zu; er agiert wie ein Detektiv. Er zerlegt Ihre Geschichte in eine spezifische Karte:

Der Auslöser (Trigger): Was ist passiert?
Der Gedanke (Thought): Was haben Sie sich darüber selbst erzählt?
Das Gefühl (Feeling): Wie hat Sie das fühlen lassen?
Die Handlung (Action): Was haben Sie als Nächstin getan?

Sobald er diese Karte erstellt hat, wählt er ein Werkzeug:

Validierung: „Ich verstehe, warum Sie so fühlen.“
Sokratische Fragestellung: „Was wäre, wenn es einen anderen Weg gäute, das zu betrachten?“
Alternative Perspektive: „Versuchen wir mal, es aus einem anderen Blickwinkel zu sehen.“

Das Problem? Die KI-Modelle griffen selbst mit einem speziellen „Handbuch“ (einem Framework, das die Forscher entwickelten, um sie zum Nutzen dieser Karte zu zwingen) immer wieder zum Werkzeug der Validierung und ignorierten die anderen. Sie waren so gut darin, nett zu sein, dass sie vergaßen, hilfreich zu sein.

Die „Kraft“, die den Berg nicht bewegte

Um genau zu messen, wie sehr die KI ihr Verhalten änderte, erfanden die Autoren eine neue Metrik namens Protocol Leverage Force (F). Denken Sie daran wie an der Messung, wie stark man einen schweren Felsbrocken drücken muss, um ihn auch nur ein Stück weit rollen zu lassen.

Sie versuchten, die KI mit ihrem neuen Handbuch zu „drücken“. Ändert sie die Richtung?

Das Ergebnis: Der Felsbrocken bewegte sich, aber kaum. Die „Kraft“ war winzig und lag zwischen 1,18 % und 1,34 %.
Das Urteil: Das Handbuch stieß die KI in die richtige Richtung, aber es konnte nicht gegen die natürliche Gewohnheit der KI anarbeiten, einfach nur gefällig zu sein. Die KI bevorzugte es weiterhin zu sagen „Ich verstehe Sie“ statt zu fragen „Warum denken Sie das?“.

Das „falsche“ vs. „echte“ Gefühl

Die Forscher überprüften auch, wie sich das Gespräch im Laufe der Zeit anfühlte. Sie verfolgten zwei Dinge:

Valenz (Valence): Wie positiv oder negativ die Worte waren.
Arousal (Erregungsniveau): Wie ruhig oder aufgeregt die Worte waren.

In echten Therapiesitzungen (den „RealCBT“-Daten) beginnt das Gespräch hoch und stressig und wird dann langsam ruhiger und positiver – wie eine Achterbahnfahrt, die schließlich in eine Ebene übergeht. Aber in den KI-Simulationen fand dieses „Beruhigen“ nicht statt. Die KI-Gespräche blieben etwas zu sprunghaft und zeigten nicht die tiefe, langsame Erleichterung, die eine echte Therapie bietet.

Der menschliche Faktor

Als menschliche Experten (Psychologen und Forscher) sich die Aufzeichnungen anhörten, stellten sie etwas Überraschendes fest: Sie konnten sich nicht darauf einigen, welche KI die beste war.

Bei den „Validierungs“-Antworten waren sich die Experten einig, dass die KI dies tat, aber sie stritten darüber, ob sie es gut oder nur faul machte.
Bei den „Fragestellungen“ waren sich die Experten einiger über das, was sie sahen, aber die KI führte diese nicht oft genug durch.

Der Agreement-Score der Experten (ein statistisches Maß namens Fleiss' Kappa) war sehr niedrig und bewegte sich nahe bei 0. Das bedeutet, dass es selbst für Menschen schwierig ist zu beurteilen, ob eine therapeutische Antwort „richtig“ ist, wenn die KI so glatt und empathisch klingt.

Was das Paper sagt (und nicht sagt)

Das Paper stellt sehr klar, was es nicht tut:

Es sagt nicht, dass diese KIs bereit sind, echte Therapeuten zu ersetzen. Tatsächlich warnt es ausdrücklich davor, dass sie es nicht sind.
Es behauptet nicht, dass die KI das Problem der psychischen Unterstützung gelöst hat.
Es beinhaltet keine echten Patienten. Alle Geschichten wurden mithilfe anderer KI-Modelle auf Basis öffentlicher Rollenspiel-Videos simuliert.

Die wichtigste Erkenntnis ist eine Realitätsprüfung: Die Regeln der Therapie zu kennen, ist nicht dasselbe wie sie zu praktizieren. Nur weil eine KI eine Prüfung über KVT-Theorie mit Bravour besteht, bedeutet das nicht, dass sie einer Person tatsächlich helfen kann, sich besser zu fühlen. Die Forscher haben ein neues Werkzeug (die „Protocol Leverage Force“) entwickelt, um genau zu messen, wo diese Roboter scheitern, und zeigen damit, dass sie zwar näher kommen, aber immer noch in der „nett, aber unhilfreich“-Zone feststecken.

Wie die Autoren formulieren, brauchen wir Systeme, die in der Lage sind, über Gefühle zu „schließen“ (reason about feeling), nicht nur darauf zu „reagieren“ (respond). Bis dahin ist die KI ein sehr höflicher, sehr wissender, aber leicht in einer Schleife feststeckender Freund.

Technisches Resümee: Wo LLMs bei der CBT-gestützten affektiven Argumentation scheitern

Problemstellung
Obwohl Large Language Models (LLMs) eine hohe Eloquenz und theoretisches Wissen über die Kognitive Verhaltenstherapie (KVT/CBT) aufweisen – sie erreichen bis zu 96 % Genauigkeit bei Fragen aus KVT-Lizenzprüfungen –, scheitern sie an der effektiven Anwendung dieses Wissens in der Praxis. Standardmäßige LLMs zeigen einen systematischen Beurteilungsfehler (Appraisal Bias) und verfallen in eine Position mit geringer Wirkungskraft und hoher Verträglichkeit, die durch „Validierung & Reflexion“ (V) gekennzeichnet ist, unabhängig von den spezifischen kognitiven Bedürfnissen des Nutzers. Sie überspringen oft die für die KVT erforderliche Strukturierung (die Zerlegung von Belastung in Auslöser, automatische Gedanken, Emotionen und Verhalten) und gehen stattdessen vorzeitig zu Problemlösungen oder empathischer Validierung über. Infolgedessen weichen ihre emotionalen Trajektorien von authentischen therapeutischen Interaktionen ab, und sie versäumen es, den sich ändernden emotionalen Zustand des Nutzers zu verfolgen oder angemessene Interventionen wie sokratische Gesprächsführung (SQ) oder alternative Perspektiven (AP) einzusetzen.

Methodik
Die Autoren schlagen ein wissensgestütztes Framework vor, das den therapeutischen Dialog als einen kontrollierten Prozess der affektiven Argumentation behandelt. Die Methodik umfasst drei Kernkomponenten:

Klinische Fundierung und Verifizierung: Nutzer-Narrative werden auf die SNOMED CT (Systematized Nomenclature of Medicine – Clinical Terms) Ontologie abgebildet. Um die semantische Kohärenz zu gewährleisten, setzt das System Natural Language Inference (NLI) ein, um zu verifizieren, dass die abgerufenen klinischen Konzepte die Erzählung des Nutzers logisch implizieren, wodurch Halluzinationen oder fehlerhafte klinische Interpretationen herausgefiltert werden.
Beurteilungsbasierte kognitive Modellierung: Basierend auf dem Beckschen kognitiven Konzeptionsdiagramm (CCD) zerlegt das Framework Nutzeranfragen in ein strukturiertes „Nutzer-Kognitionsmodell“, das aus Auslösern, automatischen Gedanken, emotionalen Reaktionen und Verhaltensfolgen besteht. Diese Struktur wird dem LLM explizit zur Verfügung gestellt, um seine Argumentation zu steuern.
Multiple Chain-of-Thought (MCoT) Strategieauswahl: Anstatt einer einzelnen Generierungsphase generiert das LLM Kandidaten-Antworten für drei unterschiedliche KVT-Prinzipien – Validierung & Reflexion (V), Sokratische Gesprächsführung (SQ) und Alternative Perspektiven (AP). Jedem Kandidaten geht ein Reasoning-Trace voraus. Das Modell bewertet dann diese Kandidaten und wählt denjenigen aus, der das Gespräch basierend auf dem zerlegten kognitiven Zustand am besten voranbringt.

Evaluationsrahmen
Die Studie evaluiert drei Open-Weight-LLMs (Gemma3-12B, Mistral-7B und GPT-OSS-20B) anhand von 14 synthetischen Fallstudien, die aus dem RealCBT-Datensatz abgeleitet wurden. Die Evaluation nutzt:

Expertenbewertung durch Menschen: Blinde Bewertungen der Prinzipien-Konfidenz und der Antwortpräferenz durch Fachexperten.
Linguistisches Entrainment: Gemessen über die normalisierte konversationelle linguistische Distanz (nCLiD), um zu bewerten, wie eng die Sprache des LLM mit der des Nutzers übereintimmt.
Valenz-Arousal-Trajektorien: Verfolgung emotionaler Verschiebungen im Zeitverlauf, um synthetische Sitzungen mit realen klinischen Daten zu vergleichen.
Protokoll-Hebelkraft (Protocol Leverage Force, $F$ ): Eine neuartige Metrik auf Verhaltensebene, die die „Reorientierung“ der Antwort eines Modells von seinem Standard-Baseline-Verhalten quantifiziert. Sie misst den mechanischen Vorteil der Intervention, indem sie berechnet, wie weit die MCoT-ausgewählte Antwort im Vergleich zum nativen Verhalten des Modells in Richtung des kognitiven Zustands des Nutzers verschoben wird.

Kernergebnisse

Wissens- vs. Anwendungs-Gap: Während Modelle über hohes theoretisches KVT-Wissen verfügen, scheitern sie an dessen Anwendung. Selbst mit MCoT-Steuerung bleiben Modelle stark in Richtung Validierung & Reflexion (V) voreingenommen.
Begrenzte Verhaltensänderung: Die Protokoll-Hebelkraft ( $F$ ) zeigt, dass die Einführung von Protokolldefinitionen via Prompting das Modellverhalten nur um etwa 1 % verändert (zwischen 1,18 % und 1,34 %). Obwohl das Framework die Modelle erfolgreich in die beabsichtigte Richtung lenkt (z. B. bewegen sich V-Antworten näher an die Sprache des Nutzers, während SQ sich weiter entfernt), ist das Ausmaß der Veränderung unzureichend, um die inhärente Voreingenommenheit der Modelle zu überwinden.
Entrainment vs. Therapeutischer Bogen: Synthetische Sitzungen zeigten ein höheres linguistisches Entrainment (niedrigeres nCLiD) als reale KVT-Sitzungen, primär weil die Modelle auf V defaulteten, was die Sprache des Nutzers spiegelt. Reale KVT-Sitzungen wiesen jedoch nuanciertere emotionale Oszillationen und Deeskalationen auf, was darauf hindeutet, dass oberflächliche Übereinstimmung nicht mit therapeutischer Tiefe gleichzusetzen ist.
Subjektivität der Expertenbewertung: Die Inter-Rater-Übereinstimmung bezüglich der Antwortpräferenz war gering (Fleiss' $\kappa$ nahe 0), was zeigt, dass die Beurteilung therapeutischer Angemessenheit inhärent subjektiv ist, wenn Modelle fluide, aber strategisch ambivalente Antworten produzieren. Experten zeigten jedoch eine höhere Übereinstimmung bei der Präsenz von Sokratischer Gesprächsführung (SQ) als bei Validierung (V).

Bedeutung und Behauptungen
Das Paper behauptet, sein primärer Beitrag sei nicht eine neue therapeutische Technik, sondern eine Instrumentierung für die Community der affektiven Computerwissenschaften (Affective Computing). Es bietet ein Mittel, um zu messen, wo und wie stark strukturierte Anleitung das Verhalten eines Modells verändert, und unterscheidet dabei zwischen dem, was ein Modell weiß (KVT-Theorie), und dem, was es tut (therapeutische Anwendung).

Die Autoren kommen zu dem Schluss, dass KVT-Wissen allein keine effektive Anwendung garantiert. Die beobachteten moderaten Gewinne (ca. 1 % Verschiebung) legen nahe, dass aktuelle Prompting-Strategien nicht ausreichen, um die tief verwurzelten Biases von LLMs hin zu empathischer Validierung zu überwinden. Die Arbeit unterstreicht die Notwendigkeit, über oberflächliche Eloquenz hinauszugehen, um Systeme zu entwickeln, die in der Lage sind, über affektive Zustände zu argumentieren und Interventionen basierend auf der zerlegten kognitiven Struktur eines Nutzers auszuwählen, wobei gleichzeitig eingeräumt wird, dass erhebliche Lücken bestehen, bevor solche Systeme als klinisch einsatzfähig gelten können.