💻 computer science

CAREBench: Evaluating LLMs' Emotion Understanding by Assessing Cognitive Appraisal Reasoning

Die Arbeit stellt CAREBench vor, einen neuartigen Benchmark, der auf der Bewertungstheorie basiert und das Emotionsverständnis von LLMs durch kognitive Schlussfolgerungsketten anstelle einfacher Labelvorhersagen bewertet, wobei sich zeigt, dass aktuelle Modelle trotz einer mit der menschlichen Leistung übereinstimmenden Performance bei bestimmten Aufgaben Schwierigkeiten mit der Bewertungslogik und der Erkennung positiver Emotionen haben.

Ursprüngliche Autoren: Zhaoyue Sun, Hainiu Xu, Andero Uusberg, James J. Gross, Petr Slovak, Yulan He

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaoyue Sun, Hainiu Xu, Andero Uusberg, James J. Gross, Petr Slovak, Yulan He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, menschliche Gefühle zu verstehen. Lange Zeit testeten wir diese Roboter, indem wir ihnen eine einfache Frage stellten: „Was fühlt diese Person?" und erwarteten eine einzelne Antwort wie „Traurig" oder „Glücklich".

Die Autoren dieser Arbeit, CAREBench, argumentieren, dass dies so ist, als würde man einen Koch testen, indem man ihn nur fragt: „Ist die Suppe salzig?", ohne jemals zu fragen, warum sie so schmeckt oder wie sie zubereitet wurde. Ein Roboter könnte „salzig" nur durch das Auswendiglernen von Mustern richtig raten, ohne den Kochprozess tatsächlich zu verstehen.

Hier ist eine einfache Aufschlüsselung dessen, was sie taten und was sie fanden, unter Verwendung alltäglicher Analogien.

1. Das Problem: Die „Black Box" der Emotion

Aktuelle Tests für das emotionale Verständnis von KI sind zu oberflächlich. Sie behandeln Emotionen wie einen Automaten: Sie stecken eine Geschichte hinein, und der Automat spuckt ein Etikett aus (z. B. „Wütend"). Doch echte menschliche Emotionen sind eher wie ein komplexes Rezept. Sie hängen davon ab, wie eine Person eine Situation interpretiert.

Der alte Weg: „Das Auto ist liegengeblieben." -> KI sagt: „Frustriert."
Der echte Weg: „Das Auto ist liegengeblieben" -> Interpretation: „Ich komme zu spät zur Arbeit und kann das nicht selbst reparieren" -> Ergebnis: „Frustriert."

Die Arbeit argumentiert, dass eine KI, wenn sie den Schritt der „Interpretation" überspringt, die Emotion nicht wirklich versteht; sie rät lediglich basierend auf Schlüsselwörtern.

2. Die Lösung: Das „CAREBench"-Rezeptbuch

Um dies zu beheben, entwickelten die Forscher einen neuen Test namens CAREBench. Anstatt nur nach der finalen Emotion zu fragen, erstellten sie einen Datensatz, der die KI zwingt, ihre Arbeit Schritt für Schritt zu zeigen.

Sie sammelten 1.000 reale Geschichten von Menschen über emotionale Ereignisse. Dann baten sie Menschen, diese Geschichten in vier Schichten zu annotieren, wodurch eine vollständige „Gedankenkette" entstand:

Die Geschichte: Was ist passiert?
Die Begründung: Warum ist das wichtig? (z. B. „Das zerstört meinen Plan.")
Die Bewertung: Wie intensiv ist dieses Gefühl? (z. B. „Ich fühle mich zu 80 % kontrolliert.")
Die Emotion: Was ist das finale Gefühl? (z. B. „Ängstlich.")

Entscheidend ist, dass sie dies aus zwei Perspektiven taten:

Erste Person: Die Person, die die Geschichte erlebt hat.
Dritte Person: Ein Beobachter, der die Geschichte liest.

Das ist so, als würde ein Detektiv (die KI) versuchen, ein Verbrechen aufzulösen, indem er sowohl das Tagebuch des Verdächtigen (Erste Person) als auch ein Zeugnis eines Zeugen, der den Vorfall gesehen hat (Dritte Person), untersucht.

3. Der Test: Sechs KI-Modelle in der Küche

Die Forscher testeten sechs verschiedene Large Language Models (LLMs) – einige bekannte wie GPT und Claude sowie einige spezialisierte, die auf Psychologiedaten trainiert wurden. Sie baten die Modelle, jeden Schritt der Kette auszuführen, nicht nur die finale Emotionsannahme.

4. Die Ergebnisse: Die KI ist ein guter Rater, aber ein schlechter Koch

Hier ist das, was sie entdeckten, unter Verwendung einfacher Metaphern:

Die „gute Nachricht" (Oberflächenebene): Wenn die KI nur die finale Emotion raten musste (wie „Ist diese Person glücklich oder traurig?"), schnitten die intelligentesten Modelle genauso gut oder sogar besser ab als menschliche Beobachter. Sie sind hervorragend darin, die offensichtlichen Anzeichen zu erkennen.
Die „schlechte Nachricht" (Tiefes Verständnis): Wenn sie aufgefordert wurden, zu erklären, warum sich die Person so gefühlt hat (der Schritt der Begründung), hatte die KI Schwierigkeiten. Oft gab sie vage oder allgemeine Antworten. Das ist wie ein Schüler, der die richtige Antwort in einem Mathtest bekommt, aber die Rechnung nicht vorführen kann.
Der Blind Fleck für „positive Emotionen": Die KI war überraschend schlecht darin, positive Emotionen (wie „hoffnungsvoll" oder „dankbar") zu identifizieren. Sie war viel besser darin, negative zu erkennen (wie „wütend" oder „traurig"). Es ist, als wäre der Roboter darauf abgestimmt, Alarme zu hören, aber das Geräusch von Lachen zu verpassen.
Der „Kettenreaktions"-Fehler: Die Forscher versuchten, der KI zu helfen, indem sie ihr zuerst den „Begründungs"-Text gaben, in der Hoffnung, dass sie diesen nutzen würde, um die Emotion richtig zu erraten.
- Ergebnis: Wenn Menschen die Begründung lieferten, wurde die KI besser.
- Ergebnis: Wenn die KI versuchte, ihre eigene Begründung zuerst zu schreiben, wurde sie tatsächlich schlechter. Sie neigte dazu, ihre eigenen Gedanken zu überdramatisieren, was ihre finale Antwort verwirrte.
Die Lücke der „menschlichen Vielfalt": Menschen reagieren nicht alle gleich. Wenn Sie eine traurige Geschichte lesen, könnte eine Person „traurig", eine andere „wütend" und eine dritte „mitfühlend" fühlen. Die KI-Modelle schafften es nicht, diese Vielfalt einzufangen. Sie neigten dazu, eine einzelne, durchschnittliche Antwort zu geben und übersahen dabei, dass verschiedene Menschen über dasselbe Ereignis unterschiedlich empfinden.

5. Die große Erkenntnis

Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Modelle „oberflächliche" Emotionsdetektoren sind. Sie sind hervorragend im Mustererkennen, um das finale Etikett zu erraten, aber sie haben den komplexen mentalen Prozess, wie Menschen Emotionen erzeugen, nicht wirklich verinnerlicht.

Wenn wir KI nur darauf testen, ob sie das richtige Emotionsetikett erraten kann, überschätzen wir ihre Intelligenz. Wir müssen sie an ihrer Fähigkeit testen, durch das „Warum" und „Wie" zu reasoning, genau wie wir einen Schüler an seinem Verständnis des Stoffes testen und nicht nur an seiner Fähigkeit, den Antwortenschlüssel auswendig zu lernen.

Kurz gesagt: Die KI kann Ihnen sagen, was jemand fühlt, aber sie versteht immer noch nicht vollständig, warum sie sich so fühlen, noch erfasst sie, dass verschiedene Menschen über dieselbe Situation unterschiedlich empfinden könnten.

Technische Zusammenfassung: CAREBench

Problemstellung

Das Verständnis von Emotionen ist eine kritische Fähigkeit für Large Language Models (LLMs) im Bereich des affektiven Computings und der Mensch-KI-Interaktion. Die bestehenden Evaluierungsparadigmen stützen sich jedoch überwiegend auf die Vorhersage diskreter Emotionslabels, was die kognitiven Prozesse, die der Emotionsgenerierung zugrunde liegen, nicht erfasst. Obwohl sich neuere Arbeiten auf die Bewertungs-Theorie (Appraisal Theory) stützen, um das Emotionsverständnis zu fundieren, leiden die bestehenden, auf Bewertungs-Theorie basierenden Datensätze unter drei wesentlichen Einschränkungen:

Fehlendes Schlussfolgern: Sie behandeln Bewertungen der Bewertungsdimensionen als einzige Repräsentation der kognitiven Bewertung und ignorieren den inferenziellen Prozess über mentale Zustände (Glaubenssätze, Wünsche), der diesen Bewertungen vorausgeht.
Vereinfachte Emotionsmodellierung: Sie verlassen sich auf einzelne Emotionslabels und erfassen nicht die gemischte und gleichzeitige Natur realer emotionaler Erfahrungen.
Perspektivenverzerrung: Die meisten Datensätze bieten nur Annotationen aus der dritten Person, was es schwierig macht zu analysieren, wie Perspektivunterschiede zwischen Erlebenden und Beobachtern Urteile beeinflussen.

Folglich bleibt unklar, ob Modelle die mentalen Zustände des Erlebenden wirklich verstehen oder lediglich oberflächliche Abbildungen von Situationen zu Bewertungen erlernen.

Methodik

Der CAREBench-Datensatz

Die Autoren stellen CAREBench vor, einen Benchmark, der entwickelt wurde, um das kognitive Bewertungs-Schlussfolgern im Emotionsverständnis zu evaluieren. Der Datensatz basiert auf der Bewertungs-Theorie und wurde durch einen zweiphasigen Datenerfassungsprozess erstellt, an dem 1.000 reale emotionale Narrative beteiligt waren:

Phase 1 (Erste Person): Teilnehmer erinnerten sich an emotional bedeutsame Ereignisse. Unter Verwendung eines „Micro-Narratives"-Rahmens, unterstützt durch ein LLM, lieferten sie offene Schlussfolgerungen für fünf Kern-Bewertungsdimensionen (Relevanz, Gewissheit, Kongruenz, Kontrolle, Verantwortlichkeit), hierarchische Bewertungen für 22 Subdimensionen sowie Multi-Label-Emotionsannotationen (Intensität und Labels).
Phase 2 (Dritte Person): Unabhängige Annotatoren lasen die Narrative und führten dieselbe dreischichtige Annotationsaufgabe durch, ohne Zugang zu den Antworten aus der ersten Person zu haben.

Hauptmerkmale:

Inferenzkette: Der Datensatz etabliert eine vollständige $s \to r \to a \to e$ -Kette: Situation ( $s$ ) $\to$ Schlussfolgerung ( $r$ ) $\to$ Bewertungs-Ratings ( $a$ ) $\to$ Emotion ( $e$ ).
Duale Perspektive: Annotationen existieren sowohl für den Erlebenden in der ersten Person als auch für mehrere Beobachter in der dritten Person.
Multi-Label & Intensität: Emotionen werden mit Intensitätswerten und mehreren gleichzeitig auftretenden Labels annotiert.
Subjektivitätsdaten: Es werden Demografiedaten der Annotatoren und Big-Five-Persönlichkeitsmerkmale gesammelt, um subjektive Heterogenität zu analysieren.

Evaluierungsrahmen

Die Autoren schlagen einen Evaluierungsrahmen auf Prozessebene vor, der die gesamte Inferenzkette abdeckt und über die Vorhersage einzelner Schritte hinausgeht. Sechs LLMs wurden evaluiert (GPT-5.2, Claude-Sonnet-4.6, Llama 3.1, Qwen 3.5, PsyLLM und EmoLLaMa) im Rahmen von vier Forschungsfragen (RQs):

RQ1 (Kettenleistung): Wie gut performen Modelle jeden Schritt ( $s \to r$ , $s \to a$ , $s \to e$ )?
RQ2 (Nützlichkeit des Schlussfolgerns): Verbessert das Einspeisen von Bewertungs-Schlussfolgerungen ( $r$ ) oder Ratings ( $a$ ) die nachgelagerte Vorhersage?
RQ3 (Sensitivität): Sind Modelle sensitiv gegenüber strukturierten Bewertungs-Interventionen (z. B. Austausch von Schlussfolgerungen aus der ersten Person gegen solche aus der dritten Person)?
RQ4 (Subjektivität): Können Modelle die Verteilungsheterogenität menschlicher Bewertungsurteile erfassen?

Die Metriken umfassten BLEU/ROUGE für Schlussfolgerungen, RMSE für Ratings/Intensität, F1-Werte für Labels sowie den Wasserstein-Abstand/Spearman-Korrelation für die Modellierung von Subjektivität.

Hauptergebnisse

1. Leistungsunterschiede entlang der Kette

Nachgelagert vs. Vorgelagert: Stärkere Modelle (z. B. Claude, GPT) erreichen oder übertreffen menschliche Beobachter in der dritten Person bei Bewertungs-Ratings und der Identifizierung negativer Emotionslabels. Sie bleiben jedoch bei der Generierung von Bewertungs-Schlussfolgerungen und der Identifizierung positiver Emotionen durchgehend hinterher.
Lücke bei positiven Emotionen: Modelle zeigen ein signifikantes Ungleichgewicht zwischen Präzision und Recall bei positiven Emotionen, was zu deutlich niedrigeren F1-Werten im Vergleich zu Menschen führt.
Dissoziation: Domänenspezifisch feinabgestimmte Modelle (PsyLLM, EmoLLaMa) zeigten Vorteile bei bestimmten vorgelagerten Aufgaben (z. B. Metriken für Bewertungs-Schlussfolgerungen), übertrugen diese Gewinne jedoch nicht auf die nachgelagerte Auswahl von Emotionslabels. Dies deutet darauf hin, dass eine starke nachgelagerte Leistung nicht zwingend eine korrekte, durch Bewertung vermittelte Schlussfolgerung impliziert.

2. Die Rolle des Schlussfolgerns

Menschliches Schlussfolgern: Das Einspeisen von Texten mit Bewertungs-Schlussfolgerungen aus der ersten Person verbesserte die Vorhersage von Bewertungen und die Emotionserkennung (insbesondere den Recall) über alle Modelle hinweg signifikant.
Modell-Schlussfolgern: Wenn Modelle ihre eigenen Schlussfolgerungen ( $\hat{r}$ ) generierten, um sie zurück in den Prompt einzuspeisen, verschlechterte sich die Leistung oft. Die qualitative Analyse ergab, dass Modelle in selbstgenerierten Schlussfolgerungen dazu neigen, übertriebene emotionale Sprache zu verwenden, was Rauschen einführt, das sich zu nachgelagerten Fehlern fortpflanzt.

3. Sensitivität gegenüber Interventionen

Modelle zeigten unterschiedliche Grade der Sensitivität gegenüber strukturierten Bewertungs-Interventionen. Stärkere Modelle (Claude, GPT, Qwen) wiesen moderate bis starke positive Korrelationen zwischen durch Interventionen verursachten Änderungen in den Schlussfolgerungen und Änderungen in den vorhergesagten Bewertungen/Emotionen auf, was mit der Bewertungs-Theorie übereinstimmt.
Einige Modelle mit angemessener nachgelageter Leistung (z. B. Llama, PsyLLM) zeigten jedoch eine schwache gerichtete Sensitivität, was darauf hindeutet, dass sie sich eher auf assoziative Muster als auf echtes Bewertungs-Schlussfolgern verlassen.

4. Modellierung von Subjektivität

Obwohl das Einspeisen von Kern-Bewertungs-Schlussfolgerungen half, menschliche Bewertungsverteilungen zu approximieren, haben aktuelle Modelle die Mechanismen nicht internalisiert, die erforderlich sind, um Meinungsverschiedenheiten zwischen Beobachtern autonom zu erfassen.
Modelle konnten die Varianz in menschlichen Urteilen nicht reproduzieren, was darauf hindeutet, dass sie die Verteilungsheterogenität, die dem menschlichen Emotionsverständnis inhärent ist, noch nicht modellieren können.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CAREBench eine Grundlage für eine diagnostisch informativere Evaluierung der affektiven kognitiven Fähigkeiten von LLMs bietet. Die primäre Bedeutung liegt in der Erkenntnis, dass nachgelagerte Metriken zur Emotionsvorhersage das wahre Emotionsverständnis überschätzen können. Durch die Evaluierung der gesamten Inferenzkette offenbaren die Autoren Fähigkeitslücken – insbesondere bei der Generierung von Schlussfolgerungen und der Erkennung positiver Emotionen –, die Paradigmen der Vorhersage einzelner Schritte übersehen.

Die Arbeit legt nahe, dass aktuelle LLMs die kognitiven Kapazitäten für eine differenzierte Emotionsunterscheidung noch nicht erworben haben, insbesondere jene, die komplexe kausale Zuschreibungen (Kontrolle, Verantwortlichkeit) und positive emotionale Zustände betreffen. Der Rahmen deckt die Blindstellen auf, die sich aus der alleinigen reliance auf die Genauigkeit von Ausgaben ergeben, und bietet eine methodische Basis für die Entwicklung kognitiv interpretierbarer affektiver Modelle.

Einschränkungen

Die Autoren weisen auf mehrere Einschränkungen hin:

Kultureller Rahmen: Die Daten sind auf englischsprachige Teilnehmer in den USA und Großbritannien beschränkt, was die Generalisierbarkeit auf andere Kulturen möglicherweise einschränkt.
Narrativ-Ungleichgewicht: Die Selbstauswahl der Ereignisse führte zu einer Verzerrung hin zu negativen Emotionen.
Annotationskosten: Der Teilbereich der dritten Person (500 Narrative) begrenzt die Präzision der Verteilungsschätzungen für subjektive Variation.
LLM-Unterstützung: Der Einsatz von LLMs zur Unterstützung bei der Zusammenstellung von Narrativen führt, trotz Überprüfung, zu einem Risiko, überflüssige Details einzufügen.