Large language models show fragile cognitive reasoning about human emotions

Die Studie zeigt, dass Large Language Models zwar systematische Zusammenhänge zwischen kognitiven Bewertungen und Emotionen erfassen, jedoch im Vergleich zu menschlichen Urteilen inkonsistent sind und bei kontextuellen Variationen versagen.

Das Wesentliche

🧠 Wenn KI versucht, Gefühle zu verstehen: Ein fragiler Tanz

Stell dir vor, du hast einen sehr intelligenten Roboter (eine große KI), der Millionen von Büchern gelesen hat. Er kann dir sagen, dass ein Mensch weint, wenn er traurig ist. Aber versteht er wirklich, warum er weint? Oder hat er sich nur eine oberflächliche Regel gemerkt: „Weinen = Traurigkeit"?

Diese Studie fragt genau das: Verstehen moderne KIs (wie Chatbots) menschliche Gefühle wirklich, oder tun sie nur so, als ob?

Die Forscher haben dafür eine neue Art von „Gefühls-Test" entwickelt, den sie CoRE nennen. Statt nur zu fragen: „Wie fühlt sich dieser Mensch?", fragten sie die KIs: „Was genau in dieser Situation löst dieses Gefühl aus?"

Hier ist, was sie herausfunden, erklärt mit ein paar einfachen Metaphern:

1. Der Baukasten-Test (Kognitive Bewertung)

Stell dir Gefühle wie ein komplexes Gebäude vor. Um ein Haus zu bauen, brauchst du Ziegelsteine. In der Psychologie sind diese „Ziegelsteine" Dinge wie:

• „War das fair?" (Gerechtigkeit)
• „Konnte ich etwas tun?" (Kontrolle)
• „War es angenehm?" (Freude)
• „Wie viel Mühe war nötig?" (Anstrengung)

Menschen bauen ihre Gefühle aus diesen Steinen auf. Wenn etwas unfair ist, fühlen wir uns wütend. Wenn wir die Kontrolle haben, fühlen wir uns stolz.

Das Ergebnis: Die KIs können die Steine zwar erkennen und sortieren, aber sie kleben sie oft falsch zusammen.

• Das „Anstrengungs"-Problem: Für Menschen ist „Anstrengung" (z. B. wie sehr man sich mühte) nur ein kleiner Stein. Für die KIs ist es ein riesiger Betonblock, der fast alles andere überdeckt. Sie denken: „Oh, wenn jemand viel Mühe hat, muss das ein wichtiges Gefühl sein!" – auch wenn es für uns gar nicht so wichtig ist.
• Das „Gerechtigkeits"-Problem: Menschen nutzen das Gefühl von „Fairness", um Wut zu verstehen. Die KIs ignorieren diesen Stein fast komplett. Sie wissen nicht, dass Ungerechtigkeit oft der Auslöser für Wut ist.

2. Der Spiegel, der lügt (Inkonsistenz)

Stell dir vor, du fragst einen Schauspieler: „Was ist dir am wichtigsten für deine Rolle?" und er antwortet: „Mein Herz." Aber wenn du ihn dann auf der Bühne siehst, nutzt er nur seine Hände und Füße, um die Rolle zu spielen.

Genau das passiert bei den KIs:

• Wenn man sie direkt fragt: „Welcher Aspekt ist hier am wichtigsten?", sagen sie oft: „Kontrolle" oder „Verantwortung".
• Aber wenn man analysiert, wie sie tatsächlich denken (im Hintergrund), nutzen sie völlig andere Dinge, wie „Anstrengung" oder „Probleme", ohne es zuzugeben.
• Die Lehre: Die KIs wissen nicht, was sie eigentlich denken. Sie sind wie ein Schüler, der die Antwort auswendig gelernt hat, aber den Lösungsweg nicht versteht.

3. Der gleiche Geschmack für alle? (Kultur vs. Persönlichkeit)

Menschen fühlen unterschiedlich, je nachdem, woher sie kommen (Kultur) oder wie ihre Persönlichkeit ist.

• Persönlichkeit: Wenn man der KI sagt: „Stell dir vor, du bist ein sehr nervöser, ängstlicher Mensch", dann ändert sich ihre Antwort sofort. Sie wird pessimistischer. Das funktioniert gut, wie ein Schauspieler, der eine Rolle annimmt.
• Kultur: Wenn man der KI sagt: „Stell dir vor, du bist ein Japaner" oder „Du bist ein Amerikaner", passiert gar nichts. Die KI reagiert immer noch genau gleich.
• Die Metapher: Die KI kann eine Maske für eine Persönlichkeit aufsetzen, aber sie hat keine Ahnung von kulturellen Nuancen. Es ist, als würde sie versuchen, einen Akzent zu imitieren, aber sie klingt für alle gleich – wie ein Roboter, der nur eine Sprache spricht, egal in welchem Land er steht.

4. Der flache Horizont (Fehlende Tiefe)

Wenn man die Gefühle der KI auf einer Landkarte betrachtet, sieht man nur zwei große Inseln: „Gut" (Positiv) und „Schlecht" (Negativ).

• Menschen können feine Unterschiede machen: Der Unterschied zwischen „Stolz" und „Hoffnung" ist für uns klar.
• Für die KI verschwimmen diese Inseln oft. Sie sieht nur das große „Gut" und das große „Schlecht". Feine Details wie „Scham" oder „Ekel" werden oft verwechselt oder gar nicht erkannt.

🏁 Das Fazit: Warum ist das wichtig?

Die Studie sagt uns: KIs sind in Gefühlsfragen noch sehr fragil (brüchig).

Sie können Gefühle benennen, aber sie verstehen die tiefe Logik dahinter nicht wirklich.

• Das Risiko: Wenn wir diese KIs in sensiblen Bereichen einsetzen (z. B. in der Therapie, bei der Diagnose von Depressionen oder in der Personalabteilung), könnten sie falsche Schlüsse ziehen. Sie könnten denken, jemand sei wütend, weil er „viel gearbeitet" hat, statt weil er „ungerecht behandelt" wurde.
• Die Hoffnung: Die Forscher hoffen, dass wir KIs nicht nur lehren, Antworten zu geben, sondern ihnen beibringen, wie Menschen wirklich denken und fühlen. Wir brauchen KIs, die nicht nur Wörter kennen, sondern die Welt so verstehen, wie wir sie fühlen.

Kurz gesagt: Die KIs sind wie sehr gute Nachahmer, die die Melodie eines Liedes singen können, aber die Bedeutung der Lyrics noch nicht verstanden haben.

Technische Zusammenfassung

Problemstellung

Die Forschung im Bereich der affektiven Informatik zielt darauf ab, KI-Systeme zu befähigen, menschliche Emotionen zu verarbeiten und darauf kohärent zu reagieren. Während große Sprachmodelle (LLMs) häufig für emotionale Aufgaben trainiert und evaluiert werden, geschieht dies meist durch überwachtes Lernen mit diskreten Emotionslabels (z. B. „Wut", „Freude"). Diese Evaluierungen konzentrieren sich oft nur auf oberflächliche Phänomene wie das Erkennen ausgedrückter Emotionen. Es bleibt jedoch unklar, ob diese Systeme Emotionen auf eine kognitiv sinnvolle Weise verarbeiten oder ob sie lediglich statistische Korrelationen zwischen Stimuli und Labels lernen. Das zentrale Problem ist die Frage, ob LLMs Emotionen durch zugrundeliegende kognitive Dimensionen (Appraisal-Dimensionen) reasoning können, anstatt nur Labels zuzuordnen.

Methodik: Der CoRE-Benchmark

Die Autoren stellen CoRE (Cognitive Reasoning for Emotions) vor, einen groß angelegten Benchmark, der auf der kognitiven Appraisal-Theorie (Cognitive Appraisal Theory) aus der Psychologie basiert. Diese Theorie besagt, dass emotionale Reaktionen davon abhängen, wie ein Stimulus entlang spezifischer kognitiver Dimensionen interpretiert wird.

• Datensatz: Der Benchmark besteht aus ca. 70.000 Prompts, die auf 274 einzigartigen, von Menschen validierten emotionalen Szenarien basieren.
• Dimensionen: Jedes Szenario wird entlang von 17 kognitiven Appraisal-Dimensionen abgefragt (z. B. Angenehmheit, Kontrolle, Verantwortung, Fairness, Anstrengung, Unsicherheit). Diese decken 8 übergeordnete Kategorien ab.
• Modelle: Es wurden 6 führende LLMs unterschiedlicher Familien und Größen getestet (GPT-o4, Gemini 2.5 Flash, DeepSeek R1, LLaMA 3, Phi-4, QwQ-32B).
• Evaluierungsansätze:
  1. Implizite Struktur: Analyse der Verteilung der Appraisal-Ratings mittels Hauptkomponentenanalyse (PCA), um zu sehen, welche Dimensionen das Modell intern als wichtig erachtet.
  2. Explizite Werte: Ein Choice-Based-Task, bei dem das Modell die eine wichtigste Dimension für ein Szenario auswählen muss, um die Konsistenz zwischen implizitem Verhalten und expliziter Aussage zu testen.
  3. Verteilungsvergleich: Nutzung der Wasserstein-Distanz und des Maximum Mean Discrepancy (MMD)-Tests, um die Ähnlichkeit der emotionalen Repräsentationen zwischen verschiedenen Modellen und im Vergleich zu menschlichen Daten zu messen.
  4. Vorhersagekraft: Einsatz von logistischer Regression und SynthTree (einem interpretierbaren Modellframework), um zu prüfen, wie gut Appraisal-Dimensionen Emotionen vorhersagen können.
  5. Kontextuelle Robustheit: Untersuchung des Einflusses von Kultur (Nationalität) und Persönlichkeit (Big Five Traits) auf die Appraisal-Ergebnisse.

Wichtige Beiträge

1. Erster Benchmark für kognitive Selbst-Appraisals: CoRE ist der erste groß angelegte Benchmark, der nicht die Vorhersage der Emotionen anderer (Other-Appraisal) untersucht, sondern die internen kognitiven Strukturen des Modells selbst (Self-Appraisal).
2. Trennung von Implizitem und Explizitem: Die Studie führt eine neue Methodik ein, um die Diskrepanz zwischen den Dimensionen zu messen, die ein Modell tatsächlich nutzt (implizit), und denen, die es behauptet, zu nutzen (explizit).
3. Kontextuelle Analyse: Erster systematischer Nachweis, wie kulturelle und persönlichkeitsbasierte Personas die emotionale Reasoning-Fähigkeit von LLMs beeinflussen.

Ergebnisse

Die Studie zeigt, dass LLMs zwar systematische Beziehungen zwischen Appraisals und Emotionen erfassen, diese aber fragil und oft inkonsistent mit menschlichen Mustern sind.

• Fehlende Ausrichtung (Misalignment):
  • Anstrengung (Effort): LLMs messen der Dimension „Anstrengung" eine überproportional hohe implizite Bedeutung bei, die in menschlichen Daten nicht so stark korreliert.
  • Wahrgenommene Fairness: Diese Dimension erklärt in den meisten LLMs kaum Varianz, ist jedoch für Menschen ein zentraler Faktor (insbesondere bei Wut).
  • Diskrepanz: Es besteht eine signifikante Lücke zwischen dem, was Modelle explizit als wichtig nennen (z. B. Verantwortung), und dem, was sie implizit nutzen (z. B. Anstrengung und Problembezug).
• Strukturelle Fragilität:
  • Proprietäre Modelle zeigen kohärentere, niedrigdimensionale Strukturen (ähnlich Menschen), während Open-Source-Modelle oft diffusere, weniger strukturierte Repräsentationen aufweisen.
  • Die Trennung von Emotionen erfolgt primär entlang der Valenz (positiv/negativ). Feinere Unterscheidungen (z. B. zwischen Scham und Schuld) fehlen oft oder sind inkonsistent.
• Vorhersagekraft:
  • Einfache Emotionen wie „Herausforderung" (Challenge) werden gut vorhergesagt, während komplexe oder nuancierte Emotionen wie „Scham", „Ekel" oder „Traurigkeit" oft schlecht vorhergesagt werden.
  • Die Vorhersagegenauigkeit sinkt drastisch, wenn die Granularität der Emotionslabels erhöht wird (15 Klassen vs. 4 Valenz-Arousal-Klassen).
• Kontextuelle Robustheit:
  • Kultur: LLMs zeigen keine signifikanten Unterschiede in den Appraisals basierend auf kulturellen Personas (USA, Mexiko, Nigeria, Dänemark, Japan). Sie scheinen kulturelle Nuancen nicht zu internalisieren.
  • Persönlichkeit: Im Gegensatz dazu reagieren LLMs stark auf Persönlichkeits-Personas. Positive Persönlichkeiten führen zu optimistischeren Appraisals (höhere Kontrolle, geringere Anstrengung), negative zu pessimistischeren Mustern.

Bedeutung und Implikationen

Die Ergebnisse haben weitreichende Konsequenzen für die Entwicklung von KI-Systemen:

1. Gefahr in Hochrisiko-Szenarien: Die Fragilität des emotionalen Reasonings macht LLMs für Anwendungen im Gesundheitswesen (z. B. Triage, Diagnose) oder in therapeutischen Settings riskant, da sie kulturelle Nuancen ignorieren und inkonsistente Schlüsse ziehen können.
2. Notwendigkeit neuer Lernparadigmen: Das reine überwachtes Lernen auf Emotionslabels reicht nicht aus, um robuste innere Weltmodelle von Emotionen zu erzeugen. Die Autoren schlagen alternative Ansätze vor, wie evolutionäres Lernen oder Ziele im latenten Raum, um die interne Struktur der Repräsentation an die menschliche Kognition anzupassen.
3. Fokus auf Kognition statt Output: Die Evaluation von emotionaler Intelligenz bei KI sollte sich nicht nur auf das Endergebnis (das Label) konzentrieren, sondern darauf, ob der zugrundeliegende Reasoning-Prozess menschlichen kognitiven Mustern entspricht.

Zusammenfassend demonstriert das Paper, dass LLMs zwar oberflächliche emotionale Muster erkennen können, ihnen jedoch das tiefe, robuste und kontextsensitive kognitive Reasoning fehlt, das für echtes emotionales Verständnis notwendig ist.