Trust Me, I Can Convince You: The Contextualized Argument Appraisal Framework

Diese Arbeit stellt das „Contextualized Argument Appraisal Framework" vor, das psychologische Bewertungsmodelle auf das Argument-Mining überträgt, um durch eine neuartige rollenspielerische Annotation die subjektive Überzeugungskraft von Argumenten in Abhängigkeit von Emotionen und individuellen Faktoren wie Bekanntheit zu analysieren.

Das Wesentliche

🧠 Der große Versuch: Warum Argumente nicht alle gleich wirken

Stell dir vor, du stehst auf einem Dorfplatz (oder in einem modernen Town-Hall-Meeting). Jemand kommt auf dich zu und sagt: „Wir sollten Plastikflaschen verbieten!"

In der alten Welt der Computer und KI dachte man: „Okay, das Argument ist logisch aufgebaut, also ist es gut." Aber die Forscher aus Bamberg sagen: „Warte mal! Das ist zu einfach."

Warum? Weil du nicht nur das Argument hörst, sondern auch wer es sagt, wie du dich fühlst und was es für dich persönlich bedeutet.

🎭 Das Theater: Die Rolle des Zuschauers

Die Forscher haben sich einen cleveren Trick ausgedacht, um das zu testen. Sie haben keine Leute gebeten, einfach nur „trocken" zu bewerten, ob ein Text gut ist. Stattdessen haben sie ein Rollenspiel organisiert.

• Die Bühne: Die Teilnehmer mussten sich vorstellen, sie wären auf einer echten Versammlung. Sie sollten sich ausmalen: Wo sitze ich? Wen sehe ich? Wie fühlt sich die Luft an?
• Der Schauspieler: Ein Sprecher (manchmal alt, manchmal jung, manchmal Mann, manchmal Frau) hielt eine Rede.
• Die Reaktion: Die Teilnehmer sollten nicht nur sagen: „Das war überzeugend." Sie sollten sagen: „Was habe ich gerade gefühlt?"

🔍 Die Lupe: Der „Appraisal"-Filter

Hier kommt der wichtigste Teil der Forschung ins Spiel. Die Forscher nennen es das „Contextualized Argument Appraisal Framework". Klingt kompliziert, ist aber eigentlich wie eine Brille mit mehreren Gläsern, durch die wir auf ein Argument schauen:

1. Das „Wie gefällt mir das?"-Glas (Pleasantness): Ist das Argument angenehm oder ekelhaft?
2. Das „Kennt das schon?"-Glas (Familiarity): Kommt mir das bekannt vor oder ist es neu?
3. Das „Was passiert mit mir?"-Glas (Consequences): Wenn ich das glaube, verliere ich meinen Job? Oder spare ich Geld?
4. Das „Muss ich sofort handeln?"-Glas (Response Urgency): Fühle ich mich gezwungen, sofort zu antworten?

Die Analogie:
Stell dir vor, du bekommst ein Geschenk (das Argument).

• Wenn es von deinem besten Freund kommt (Sender) und du liebst die Farbe (Pleasantness) und es ist genau das, was du brauchst (Consequences), dann bist du glücklich und überzeugt.
• Wenn es von einem Fremden kommt, der dich anstrengt, und du denkst: „Das kostet mich Geld!", dann fühlst du Angst oder Wut und bist nicht überzeugt.

📊 Was haben sie herausgefunden? (Die Ergebnisse)

Sie haben 4.000 dieser „Theater-Szenen" ausgewertet. Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

• Positive Gefühle = Überzeugung: Wenn ein Argument Vertrauen (Trust), Erleichterung (Relief) oder Stolz (Pride) auslöst, dann ist es sehr wahrscheinlich überzeugend.
• Negative Gefühle = Widerstand: Wenn ein Argument Wut (Anger) oder Ekel (Disgust) auslöst, dann wirkt es eher abschreckend.
• Die „Bekanntschaft"-Falle: Das Interessanteste war: Je vertrauter einem ein Argument ist, desto eher wird es als überzeugend empfunden. Wenn etwas fremd und ungewohnt ist, schalten wir oft ab.
• Wer zählt am meisten? Man dachte vielleicht, der Sprecher (der Schauspieler) sei der wichtigste. Aber nein! Das Argument selbst ist der Hauptauslöser für unsere Gefühle. Der Sprecher spielt eine Rolle, aber der Inhalt trifft uns am härtesten.

🎒 Warum ist das wichtig?

Bisher haben Computer versucht, Argumente wie ein Mathematiker zu prüfen (Logik, Fakten). Diese Forschung sagt: „Nein, Menschen sind keine Computer."

Wir sind wie Gärtner. Ein Samen (das Argument) wächst nur, wenn der Boden (unser Gemüt, unsere Erfahrung, unser Umfeld) bereit ist. Wenn der Boden zu trocken ist (wir haben Angst oder Wut), wächst nichts, egal wie gut der Samen ist.

Das Fazit:
Um zu verstehen, warum Menschen Dinge glauben oder ablehnen, müssen wir nicht nur auf die Worte hören. Wir müssen verstehen, welche Gefühle diese Worte in uns auslösen und wie wir sie persönlich bewerten. Die Forscher haben damit eine neue Landkarte erstellt, die zeigt, wie wir wirklich funktionieren – mit allen unseren Emotionen und Vorurteilen.

Und das Beste: Sie haben alle ihre Daten veröffentlicht, damit andere Forscher diese neue „Gefühls-Karte" nutzen können, um bessere KI-Systeme zu bauen, die verstehen, warum wir so sind, wie wir sind.

Technische Zusammenfassung

1. Problemstellung

Die Forschung im Bereich des Argument Mining konzentriert sich traditionell stark auf die logische Struktur (Logos), die Glaubwürdigkeit des Sprechers (Ethos) und die allgemeine Überzeugungskraft von Argumenten. Der emotionale Aspekt (Pathos) und insbesondere die subjektive emotionale Reaktion eines Empfängers auf ein Argument wurden in der natürlichen Sprachverarbeitung (NLP) bisher vernachlässigt.

Das zentrale Problem besteht darin, dass die Überzeugungskraft eines Arguments nicht nur von dessen Inhalt abhängt, sondern stark von der kognitiven Bewertung (Appraisal) durch den Empfänger beeinflusst wird. Ein Argument kann je nach Kontext, Vorwissen, Persönlichkeit und der wahrgenommenen Beziehung zum Sender unterschiedliche Emotionen auslösen (z. B. Angst bei einem Arbeiter, dem eine Arbeitsplatzgefährdung droht), was wiederum die Überzeugungskraft mindert. Bisher fehlte ein psychologisches Rahmenwerk, das diese Interaktion zwischen Sender, Empfänger und Argument im Kontext der Überzeugungskraft modelliert, sowie ein entsprechender Datensatz für NLP-Aufgaben.

2. Methodik

Das Contextualized Argument Appraisal Framework (CAAF)

Die Autoren stellen ein neues Framework vor, das auf etablierten psychologischen Appraisal-Theorien (z. B. Scherer, Troiano et al.) basiert, diese jedoch an den Bereich des Argument Mining anpasst. Das Framework modelliert die gleichzeitige Bewertung durch den Empfänger in drei Hauptkomponenten:

1. Emotionen: Diskrete Kategorien (z. B. Wut, Vertrauen, Freude) und deren Intensität.
2. Appraisal-Dimensionen: Kognitive Bewertungen des Arguments im Hinblick auf den Selbstbezug. Dazu gehören:
   • Bekanntheit (Familiarity): Wie vertraut ist das Argument?
   • Angenehmheit (Pleasantness): Wie angenehm ist es?
   • Konsequenzen: Positive/negative Auswirkungen auf die eigenen Ziele.
   • Handlungsdruck (Response Urgency): Dringlichkeit einer Reaktion.
   • Kognitive Anstrengung (Cognitive Effort): Aufwand zur Verarbeitung.
   • Prüfung (Internal/External Check): Widerspruch zu eigenen Werten oder gesellschaftlichen Normen.
3. Überzeugungskraft (Convincingness): Die wahrgenommene Wahrheit oder moralische Richtigkeit des Arguments.

Das Framework berücksichtigt explizit den Kontext: Eigenschaften des Senders (Alter, Geschlecht, Persönlichkeit), des Empfängers (Demografie, Persönlichkeit, Vorurteile) und des Arguments selbst.

Datenerhebung: ContArgA Corpus

Um das Framework zu evaluieren, wurde ein neues Annotationsszenario entwickelt:

• Setup: Ein rollenspielbasiertes Experiment („Town-Hall-Meeting"), bei dem Teilnehmer als Zuschauer in einer Versammlung agieren. Dies soll reale Argumentationssituationen simulieren.
• Prozess: Teilnehmer bewerten zunächst ihre eigene Stimmung und Haltung. Anschließend wird ihnen ein Argument präsentiert (mit manipuliertem Sender-Profile). Sie bewerten daraufhin:
  • Ihre emotionale Reaktion (Dominante Emotion, Intensität, Begründung).
  • Die Appraisal-Dimensionen (Likert-Skala 1–5).
  • Die Überzeugungskraft und Stimmungsänderung.
  • Ihre Wahrnehmung des Senders (Alter, Geschlecht, Persönlichkeit).
• Daten: Es wurden 800 Argumente aus bestehenden Korpora (UKPConvArgv1, IBM-Rank-30k) ausgewählt und von insgesamt 4.000 Annotationen (5 pro Argument) durch annotierte Teilnehmer bewertet.
• Qualitätssicherung: Das Design beinhaltet 7 Aufmerksamkeitschecks, Demografie-Erfassung und Persönlichkeitsprofile (Big Five via TIPI).

3. Schlüsselbeiträge

1. CAAF Framework: Die erste Anwendung von Appraisal-Theorien auf Argumente im NLP-Kontext, die die komplexe Interaktion zwischen kognitiver Bewertung, Emotion und Überzeugungskraft modelliert.
2. ContArgA Corpus: Ein neuartiger, groß angelegter Datensatz mit 4.000 Annotationen, der nicht nur binäre Emotionen, sondern feinkörnige Appraisal-Variablen und kontextuelle Faktoren (Sender/Empfänger) enthält.
3. Methodischer Ansatz: Die Einführung eines rollenspielbasierten Annotations-Setups, das die subjektive Natur von Argumentbewertung besser erfasst als traditionelle Methoden.
4. Perspektivismus: Das Papier fördert den Ansatz des Perspektivismus in der NLP, indem es anerkennt, dass es kein einziges „Gold-Label" für die Überzeugungskraft gibt, sondern dass diese stark vom individuellen Empfänger abhängt.

4. Ergebnisse

Die Analyse des ContArgA-Korpus liefert folgende zentrale Erkenntnisse:

• Korrelation Emotion und Überzeugungskraft:

  • Es besteht eine starke positive Korrelation zwischen positiven Emotionen (insbesondere Vertrauen $r=0.58$, Erleichterung, Stolz, Freude) und der wahrgenommenen Überzeugungskraft.
  • Es besteht eine starke negative Korrelation zwischen negativen Emotionen (Wut $r=-0.22$, Ekel $r=-0.23$) und der Überzeugungskraft.
  • Interessanter Befund: Angst zeigt keine signifikante Korrelation mit der Überzeugungskraft, was früheren Annahmen widerspricht, dass Angst immer motivierend wirkt.

• Rolle der Appraisal-Dimensionen:

  • Die Bekanntheit (Familiarity) des Arguments mit dem Empfänger ist ein entscheidender Faktor für die Überzeugungskraft.
  • Negative Appraisals wie „Unangenehmheit", „Verletzung externer Normen" (Argument External Check) und „Widerspruch zu eigenen Werten" (Internal Check) korrelieren stark negativ mit der Überzeugungskraft.
  • Positive Appraisals wie „Positive Konsequenzen" und „Angenehmheit" korrelieren positiv.

• Einflussfaktoren der emotionalen Reaktion (RQ2):

  • Das Argument selbst ist der primäre Treiber für emotionale Reaktionen (Durchschnittswert 3,6/5).
  • Der Empfänger (seine eigene Person) spielt eine mittlere Rolle (3,1/5).
  • Der Sender hat den geringsten direkten Einfluss auf die ausgelöste Emotion (1,9/5), obwohl Sender-Eigenschaften die Bewertung beeinflussen können.
  • Spezifische Muster: Stolz wird meist dem Argument zugeschrieben, während Schuld und Scham selten dem Sender zugeordnet werden.

• Inter-Annotator-Übereinstimmung:

  • Die Übereinstimmung zwischen Annotatoren ist gering (Krippendorff's Alpha für Überzeugungskraft: 0,06). Dies wird nicht als Datenmangel gewertet, sondern als Bestätigung der Notwendigkeit perspektivistischer Modelle, da Argumente auf verschiedenen Personen unterschiedlich wirken.

5. Bedeutung und Ausblick

Das Paper leistet einen wesentlichen Beitrag zum Verständnis von Argumentation in der NLP, indem es zeigt, dass emotionale Reaktionen keine oberflächlichen Phänomene sind, sondern tief mit der kognitiven Verarbeitung von Argumenten verknüpft sind.

• Für die NLP-Forschung: Das Framework und der Datensatz ermöglichen die Entwicklung von Modellen, die nicht nur die Textqualität, sondern auch den emotionalen und kontextuellen Kontext berücksichtigen. Dies ist entscheidend für Aufgaben wie die automatische Vorhersage der Überzeugungskraft oder die Erkennung von Desinformation.
• Anwendungsbezug: Die Ergebnisse können genutzt werden, um Content-Moderationssysteme zu verbessern, die kontextsensitive und emotional bewusste KI-Systeme zu entwickeln und Strategien zur Desinformation besser zu verstehen.
• Zukünftige Arbeiten: Die Autoren schlagen vor, das Framework computergestützt zu modellieren, um die Vorhersagegenauigkeit zu erhöhen und den Entscheidungsprozess von KI transparenter zu machen. Zudem wird die Erweiterung auf mehrstufige Argumentationskonversationen (Multi-Turn) als nächster Schritt identifiziert.

Zusammenfassend stellt das Paper einen Paradigmenwechsel dar: Weg von der rein textbasierten Analyse hin zu einem ganzheitlichen, kontextuellen und psychologisch fundierten Verständnis davon, wie Menschen auf Argumente reagieren.