Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?

Die Studie zeigt anhand des ContArgA-Korpus, dass Appraisal-Theorien im Vergleich zu kategorischen Emotionsmodellen die Vorhersage der Überzeugungskraft von Argumenten aufgrund ihrer Berücksichtigung subjektiver kognitiver Bewertungen deutlich besser erklären.

Das Wesentliche

Stell dir vor, du sitzt in einem großen Saal und hörst zwei verschiedene Reden. Beide reden über das gleiche Thema, aber die eine Rede bringt dich zum Schmunzeln und nickst zustimmend, während die andere dich nur verwirrt oder sogar wütend macht.

Die Frage, die sich die Forscher aus Bamberg in diesem Papier stellen, ist ganz einfach: Warum überzeugt die eine Rede dich und die andere nicht?

Bisher haben Wissenschaftler oft nur auf die Logik (die Fakten) oder die Persönlichkeit des Redners geachtet. Aber diese Studie sagt: „Moment mal! Das Gefühl, das du beim Zuhören hast, ist mindestens genauso wichtig."

Hier ist die Erklärung der Studie, einfach und mit ein paar bildhaften Vergleichen:

1. Der alte Ansatz: Nur die „Emotions-Kategorien"

Stell dir vor, du versuchst zu beschreiben, wie du dich fühlst, indem du nur ein paar einfache Wörter benutzt: „Ich bin wütend", „Ich bin glücklich" oder „Ich bin traurig".

Das ist wie beim Kategorisieren von Früchten im Supermarkt. Du siehst einen Apfel und sagst: „Das ist ein Apfel." Das ist korrekt, aber es sagt dir nichts darüber, ob der Apfel sauer, süß, reif oder vielleicht schon etwas matschig ist.

In der Computer-Welt nennt man das kategoriale Emotionen. Die Forscher haben getestet, ob es reicht, dem Computer einfach zu sagen: „Der Zuhörer fühlt sich wütend." Das hilft dem Computer zwar ein bisschen, die Überzeugungskraft vorherzusagen, aber es ist wie ein grobes Raster.

2. Der neue Ansatz: Die „Gedanken-Checkliste" (Appraisal-Theorie)

Jetzt kommen die Forscher auf eine viel feinere Idee. Sie sagen: Bevor jemand wütend wird, hat er sich im Kopf eine ganze Reihe von Fragen gestellt.

Stell dir vor, dein Gehirn ist wie ein Sicherheitsbeamter an einem Flughafen. Bevor er jemanden durchlässt (oder ihn wütend macht), prüft er nicht nur, ob die Person „böse" aussieht. Er prüft Details:

• „Ist das hier plötzlich passiert?" (Überraschung)
• „Ist das für mich wichtig?" (Bedeutung)
• „Kann ich damit umgehen?" (Kontrolle)
• „Verletzt das meine Regeln?" (Normen)

Diese Fragen nennt man Appraisals (kognitive Bewertungen). Es ist, als würde man dem Computer nicht nur sagen „Der Passagier ist wütend", sondern ihm die gesamte Checkliste geben, die zum Wutgefühl geführt hat: „Der Passagier ist wütend, weil er das Gefühl hat, er hat keine Kontrolle, die Situation ist unfair und es verletzt seine Regeln."

3. Was haben die Forscher herausgefunden?

Die Forscher haben drei moderne KI-Modelle (die „Gehirne" der Computer) getestet. Sie gaben ihnen Argumente und fragten: „Wie überzeugend ist das?"

• Szenario A: Sie gaben den KI-Modellen nur das Wort „Wut" (die Kategorie).
• Szenario B: Sie gaben den KI-Modellen die ganze Checkliste (die Appraisals).

Das Ergebnis war klar:
Die KI-Modelle wurden viel besser darin, vorherzusagen, ob ein Argument überzeugt, wenn sie die Checkliste (Appraisals) bekamen.

Warum? Weil die „Wut" allein nicht erklärt, warum das Argument überzeugt oder nicht. Vielleicht macht die Wut das Argument sogar noch stärker (weil es so wichtig ist), oder sie macht es schwächer (weil man denkt, der Redner verliert die Beherrschung). Die Checkliste liefert den Kontext.

4. Ein wichtiger Nebeneffekt: Die „Zwei-in-Eins"-Falle

Die Forscher haben auch versucht, die KI so zu trainieren, dass sie gleichzeitig die Gefühle, die Checkliste und die Überzeugungskraft errät (alles auf einmal).

Das war wie ein Koch, der versucht, gleichzeitig das Essen zu kochen, den Tisch zu decken und die Gäste zu begrüßen. Das Ergebnis? Es ging nicht besser als vorher. Es war sogar oft schlechter.
Es scheint, dass es für die KI besser ist, erst die Gefühle zu verstehen und dann die Überzeugungskraft zu bewerten, als alles in einem großen Haufen zu mischen.

Fazit für den Alltag

Diese Studie zeigt uns etwas Wichtiges über menschliche Kommunikation:

Wenn du jemanden überzeugen willst, reicht es nicht, einfach nur „wütend" oder „glücklich" zu wirken. Es kommt darauf an, welche Gedanken du beim Zuhörer auslöses.

• Fühlt er sich verantwortlich?
• Ist das Thema wichtig für ihn?
• Kann er die Situation beeinflussen?

Die Computer lernen gerade, dass man Menschen nicht mit einfachen Emotionen-Labels manipulieren oder verstehen kann. Man muss verstehen, wie sie die Welt bewerten. Die „Checkliste" im Kopf des Zuhörers ist der Schlüssel zum Erfolg – und nicht nur das Gefühl selbst.

Kurz gesagt: Um zu verstehen, warum ein Argument funktioniert, reicht es nicht zu wissen, dass jemand wütend ist. Man muss wissen, warum er wütend ist. Und genau das liefern die „Appraisals".

Technische Zusammenfassung

1. Problemstellung

Die Überzeugungskraft (Convincingness) eines Arguments hängt nicht nur von seiner logischen Struktur (Logos) oder dem Redner (Ethos) ab, sondern maßgeblich von der emotionalen Wirkung auf den Empfänger (Pathos). Bisherige Forschungsarbeiten zur Argumentanalyse behandeln Emotionen oft entweder als binäre Variable oder als diskrete Kategorien (z. B. Wut, Freude, Angst).

Die Autoren argumentieren, dass die emotionale Reaktion auf ein Argument jedoch hochgradig subjektiv ist und von der kognitiven Bewertung des Empfängers abhängt (Ziele, Vorwissen, Standpunkte). Während kategoriale Emotionsmodelle (z. B. Ekman) diskrete Labels liefern, bieten Appraisal-Theorien (Bewertungstheorien) einen Ansatz, der die kognitive Evaluation eines Ereignisses beschreibt, die einer Emotion vorausgeht. Es ist bisher unklar, welches dieser Modelle besser geeignet ist, um die subjektive Überzeugungskraft von Argumenten computergestützt vorherzusagen.

2. Methodik

Datengrundlage:
Die Studie nutzt das ContArgA-Korpus, das 800 Argumente aus bestehenden Datensätzen (UKP-ConvArgv1, IBM-Rank-30k) enthält. Diese wurden in einem Rollenspiel-Szenario (simulierte Town-Hall-Meetings) von fünf verschiedenen Teilnehmern annotiert. Die Annotationen umfassen:

• Diskrete Emotionskategorien (z. B. Wut, Vertrauen, Erleichterung).
• 15 Appraisal-Dimensionen (z. B. Plötzlichkeit, Bekanntheit, Angenehmheit, Konsequenzen, Kontrollierbarkeit).
• Überzeugungskraft-Ratings (1–5 Skala).

Experimentelles Setup:
Die Autoren führten Zero-Shot-Prompting-Experimente mit drei großen Sprachmodellen (LLMs) durch: Mistral-Small-2407, LLaMA3.3:70B und Gemma-3-27B-IT. Es wurden zwei Hauptkonfigurationen verglichen:

1. Pipeline-Ansatz (Einzelne Vorhersage):

   • Baseline: Vorhersage der Überzeugungskraft (CVC) allein basierend auf dem Text.
   • Emo→CVC: Vorhersage der Überzeugungskraft unter Angabe der gold-annotierten dominanten Emotion.
   • Appr→CVC: Vorhersage der Überzeugungskraft unter Angabe der gold-annotierten Werte für alle 15 Appraisal-Dimensionen.
   • Ziel: RQ1 – Welches Emotionsmodell (kategorial vs. Appraisal) verbessert die Vorhersage?

2. Joint-Ansatz (Gemeinsame Vorhersage):

   • Das Modell muss gleichzeitig die Emotion/Appraisal-Werte und die Überzeugungskraft aus dem Text generieren, ohne dass diese Werte als Eingabe vorgegeben sind.
   • Ziel: RQ2 – Verbessert die gemeinsame Vorhersage (bidirektionaler Informationsfluss) die Leistung im Vergleich zur Pipeline?

Metriken:
Die Leistung bei der Überzeugungskraft wurde mittels Spearman-Korrelation (ρ) gemessen. Für die Emotionsklassifikation wurden Precision, Recall und F1-Scores (macro-average) verwendet.

3. Wichtige Beiträge und Ergebnisse

Ergebnisse zu RQ1 (Einfluss der Modelle):

• Appraisal-Theorien sind überlegen: Die Bereitstellung von Appraisal-Dimensionen führte bei zwei der drei Modelle (Mistral und Llama) zu den stärksten Verbesserungen der Überzeugungskraftsvorhersage (z. B. +0,15 für Llama im Vergleich zur Baseline).
• Kategoriale Emotionen: Auch diskrete Emotionslabels verbesserten die Vorhersage im Vergleich zur Baseline, jedoch weniger konsistent und stark als Appraisals. Bei Gemma führte die Angabe von Appraisals sogar zu einer Verschlechterung der Leistung, während Emotionen eine Verbesserung brachten.
• Fazit: Kognitive Bewertungen (Appraisals) sind aussagekräftiger für die Überzeugungskraft als reine Emotionslabels.

Ergebnisse zu RQ2 (Joint vs. Pipeline):

• Pipeline ist besser: Der Pipeline-Ansatz (bei dem gold-annotierte Emotionen/Appraisals als Eingabe genutzt wurden) übertraf den Joint-Ansatz (bei dem das Modell beides gleichzeitig vorhersagen musste).
• Der Joint-Ansatz führte bei den meisten Modellen zu schlechteren Ergebnissen als die Baseline oder nur marginale Verbesserungen. Dies deutet darauf hin, dass Zero-Shot-LLMs Schwierigkeiten haben, die komplexen, bidirektionalen Beziehungen zwischen Emotion, Bewertung und Überzeugungskraft gleichzeitig zu modellieren.

Analyse der Vorhersagegüte:

• Die Modelle zeigten generell eine geringe Leistung bei der direkten Vorhersage von Emotionen und Appraisals (niedrige F1-Scores, Korrelationen meist < 0,3).
• Negative Emotionen (Wut, Angst) wurden besser erkannt als positive.
• Unter den Appraisals wurden „Angenehmheit" (Pleasantness) und „Unangenehmheit" (Unpleasantness) am besten vorhergesagt.

4. Bedeutung und Implikationen

• Theoretische Relevanz: Die Studie liefert den ersten systematischen Vergleich zwischen kategorialen Emotionsmodellen und Appraisal-Theorien im Kontext der Argumentanalyse. Sie bestätigt die Hypothese, dass die subjektive Natur der Argumentbewertung besser durch kognitive Bewertungsdimensionen (Appraisals) erfasst wird als durch einfache Emotionslabels.
• Praktische Anwendung: Für die Entwicklung robusterer Systeme zur Argumentanalyse (Argument Mining) sollte der Fokus von reinen Emotionsklassifikatoren hin zu Appraisal-basierten Frameworks verschoben werden.
• Herausforderungen: Die Ergebnisse zeigen, dass Zero-Shot-Prompting allein nicht ausreicht, um die komplexen psychologischen Prozesse hinter der Überzeugungskraft vollständig zu modellieren. Zukünftige Arbeiten sollten Fine-Tuning, Multi-Task-Learning oder adaptivere Modelle erforschen, um die Vorhersagegüte von Appraisals zu verbessern.
• Ethische Aspekte: Die Fähigkeit, emotionale und kognitive Reaktionen vorherzusagen, birgt Risiken (z. B. Manipulation), weshalb Sicherheitsmaßnahmen für zukünftige Anwendungen gefordert werden.

Zusammenfassend demonstriert das Paper, dass Appraisal-Theorien ein überlegenes Werkzeug zur Erklärung und Vorhersage der Überzeugungskraft von Argumenten sind, auch wenn die automatische Extraktion dieser Bewertungen durch aktuelle LLMs noch verbessert werden muss.