Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?

Dit onderzoek toont aan dat appraisals, die de subjectieve cognitieve evaluatie van een argument weergeven, een betere voorspeller zijn van de overtuigingskracht dan categorische emoties.

De kern

Titel: Waarom een argument overtuigt: Emotie of de 'Denk-Check'?

Stel je voor dat je in een debat zit. Iemand houdt een toespraak om je te overtuigen. Waarom word je overtuigd? Soms is het omdat de logica klopt (de feiten), soms omdat de spreker betrouwbaar overkomt. Maar vaak speelt ook je gevoel een enorme rol.

Deze paper onderzoekt iets heel interessants: Hoe kunnen computers beter voorspellen of een argument overtuigend is, als we kijken naar wat het argument in je hoofd en hart doet?

De auteurs vergelijken twee manieren om die "harten en geesten" te meten:

1. De Emotie-lijst (Categorisch): "Voel je je boos? Blij? Verdrietig?" (Net als een menukaart met vaste opties).
2. De Denk-Check (Appraisal): "Hoe belangrijk is dit voor mij? Voel ik me bedreigd? Is dit onverwacht?" (Dit is de reden waarom je dat gevoel krijgt).

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het Probleem: Emoties zijn niet altijd hetzelfde

Stel, iemand zegt: "De overheid moet de prijzen van brood verlagen."

• Voor Jan, die net zijn baan heeft verloren, is dit een grote opluchting (relief). Hij vindt het argument heel overtuigend.
• Voor Klaas, die zelf bakker is, is dit boosheid (anger). Hij vindt het argument heel slecht.

Als een computer alleen kijkt naar het woord "boosheid", ziet hij niet waarom Klaas boos is. Misschien is Klaas boos omdat hij bang is voor zijn toekomst, of omdat hij het onrechtvaardig vindt. De Appraisal-theorie (de Denk-Check) kijkt naar die achterliggende gedachten: "Is dit belangrijk voor mijn doel? Kan ik hier iets aan doen?"

2. De Experimenten: De "Chef-koks" van AI

De onderzoekers hebben drie grote AI-modellen (denk aan slimme, digitale chef-koks) getest. Ze gaven hen een recept (een argument) en vroegen: "Hoe overtuigend is dit?"

Ze deden dit op drie manieren:

• Alleen het recept: De AI kijkt alleen naar de tekst.
• Met Emotie-lijst: De AI krijgt te horen: "De lezer voelt zich boos."
• Met Denk-Check: De AI krijgt te horen: "De lezer vindt dit belangrijk, voelt zich bedreigd en kan er niets aan doen."

3. De Resultaten: De Denk-Check wint!

Het was verrassend, maar heel duidelijk:

• De Emotie-lijst hielp al iets: Als je de AI vertelt dat iemand boos is, wordt de voorspelling iets beter. Het is alsof je zegt: "Pas op, deze gast is chagrijnig."
• De Denk-Check was de winnaar: Als je de AI vertelt waarom iemand boos is (bijvoorbeeld: "Hij voelt zich machteloos en het raakt zijn portemonnee"), dan was de AI veel beter in het voorspellen of het argument overtuigend zou zijn.

De Metafoor:
Stel je voor dat je een auto wilt repareren.

• De Emotie-lijst zegt: "De auto maakt een rare geluid." (Dat helpt, maar je weet niet wat er kapot is).
• De Denk-Check zegt: "De riem is versleten en de motor loopt te heet." (Dat geeft je precies de informatie die je nodig hebt om de auto te fixen).

De paper laat zien dat voor het begrijpen van overtuigingskracht, de "Denk-Check" (Appraisal) veel waardevoller is dan alleen weten wat het gevoel is.

4. Een Kleine Teleurstelling: Alles tegelijk doen

De onderzoekers probeerden ook om de AI tegelijkertijd te laten raden: "Wat voelt de lezer? En is het overtuigend?"
Dit werkte niet zo goed als het stap-voor-stap doen. Het is alsof je iemand vraagt om tegelijkertijd een verslag te schrijven, te koken en een auto te repareren; de kwaliteit van alles gaat een beetje achteruit. Het is beter om eerst de "Denk-Check" te doen, en daarna pas te beslissen over de overtuigingskracht.

5. Waarom is dit belangrijk?

Vroeger dachten we: "Als je boos bent, ben je niet overtuigd." Maar dit onderzoek toont aan dat het complexer is.

• Als een argument je doet voelen dat je machteloos bent, is het vaak minder overtuigend.
• Als een argument je doet voelen dat het belangrijk is voor je eigen doelen, is het vaak wel overtuigend.

Door te kijken naar deze cognitieve processen (hoe we dingen beoordelen in ons hoofd) in plaats van alleen naar de emotie zelf, kunnen computers (en misschien ook mensen) veel beter begrijpen waarom we iets geloven of niet.

Kortom:
Als je wilt weten of een argument werkt, kijk dan niet alleen naar of iemand "boos" of "blij" is. Kijk naar wat er in hun hoofd gebeurt: Is dit belangrijk voor hen? Voelen ze zich bedreigd? Die "Denk-Check" is de sleutel tot het begrijpen van overtuigingskracht.

Technische samenvatting

Probleemstelling

De overtuigingskracht van een argument hangt niet alleen af van de logische structuur (logos) of de bron (ethos), maar ook van de emotionele reactie die het bij de ontvanger oproept (pathos). Hoewel de intensiteit en categorische waarden van emoties in argumenten veel aandacht hebben gekregen, is de emotionele reactie inherent subjectief. Deze hangt af van de doelen, normen, voorkennis en het standpunt van de ontvanger.

Bestaande onderzoek benadert emoties vaak als discrete categorieën (bijv. woede, vreugde) of als continue scores. Echter, deze benaderingen negeren de onderliggende cognitieve evaluatieprocessen die leiden tot een emotie. De auteurs stellen dat appraisal-theorieën (beoordelingstheorieën) een geschikter kader bieden, omdat deze de subjectieve cognitieve evaluatie van een gebeurtenis (zoals een argument) modelleren en de relatie tussen deze evaluatie en specifieke emoties beschrijven. Het is nog onbekend of deze theorieën effectiever zijn dan categorische emotiemodellen voor het voorspellen van de overtuigingskracht van argumenten.

Methodologie

De studie gebruikt zero-shot prompting met drie grote taalmodellen (LLMs): Mistral-Small-2407, LLaMA3.3:70B en Gemma-3-27B-IT.

Data:
Het onderzoek maakt gebruik van het ContArgA-corpus, een dataset met 800 argumenten (afkomstig van UKP-ConvArgv1 en IBM-Rank-30k) die zijn geannoteerd door vijf deelnemers in een rollenspel-situatie. Elke annotatie bevat:

• Discrete emotiecategorieën (bijv. woede, vertrouwen, verdriet).
• Waarden voor 15 appraisal-dimensies (bijv. aangenaamheid, onverwachtseheid, consequentiaal belang, controle).
• Een subjectieve score voor overtuigingskracht (1-5 schaal).

Experimentele Opzet:
De auteurs vergelijken verschillende configuraties om te bepalen welke emotionele informatie de voorspelling van overtuigingskracht het beste verbetert:

1. Baseline (CVC): Voorspelling van overtuigingskracht zonder extra emotionele input.
2. Pipeline (Eenzijdige stroom):
   • Emo→CVC: Het model krijgt de gouden (geannoteerde) dominante emotie als input.
   • Appr→CVC: Het model krijgt de gouden waarden van de 15 appraisal-dimensies als input.
3. Joint (Tweezijdige stroom): Het model moet gelijktijdig de emoties/appraisals én de overtuigingskracht voorspellen zonder vooraf bekende labels voor de emoties/appraisals.

De prestaties worden gemeten aan de hand van Spearman's $\rho$ (correlatie) voor de overtuigingskrachtvoorspelling en Precision/Recall/F1 voor de emotie- en appraisal-classificatie.

Belangrijkste Resultaten

1. Appraisal-theorieën presteren beter dan categorische emoties:

   • Het toevoegen van appraisal-informatie leidt tot de grootste verbetering in de voorspelling van overtuigingskracht voor Mistral en LLaMA (respectievelijk +0.08 en +0.15 verbetering ten opzichte van de baseline).
   • Het toevoegen van categorische emoties verbetert de prestaties ook, maar minder sterk dan appraisals (bijv. +0.09 voor LLaMA).
   • Opmerking: Voor het Gemma-model leidde het toevoegen van appraisal-waarden tot een daling in prestatie, wat suggereert dat modellen verschillend reageren op de type emotionele representatie.

2. Pipeline vs. Joint benadering:

   • De pipeline-benadering (waarbij de emotionele/appraisal-labels al bekend zijn en als input worden gegeven) werkt consistent beter dan de joint-benadering.
   • Het gezamenlijk voorspellen van emoties/appraisals en overtuigingskracht (zonder vooraf bekende labels) resulteerde in lagere prestaties voor de overtuigingskrachtvoorspelling dan de baseline of de pipeline-configuratie. Dit wijst erop dat de huidige zero-shot prompting niet in staat is om de complexe, wederzijdse afhankelijkheid tussen emotie, cognitie en overtuigingskracht effectief te modelleren zonder externe supervisie.

3. Prestatie van emotionele en appraisal-taken:

   • De modellen presteerden over het algemeen slecht op de taak om emoties en appraisals zelf te voorspellen (lage F1-scores, gemiddeld rond de 0.12-0.14).
   • Negatieve emoties (woede, angst) hadden een hoge recall maar lage precisie.
   • Voor appraisals waren dimensies als "aangenaamheid" (pleasantness) en "onaangenaamheid" (unpleasantness) het beste te voorspellen, terwijl dimensies zoals "consequentiemanageability" de slechtste prestaties lieten zien.

Bijdragen

• Eerste systematische vergelijking: Dit is het eerste werk dat systematisch categorische emotiemodellen vergelijkt met appraisal-theorieën voor de voorspelling van argumentovertuigingskracht.
• Validatie van Appraisal-theorieën: Het bewijst dat cognitieve evaluaties (appraisals) een sterkere voorspeller zijn voor subjectieve overtuigingskracht zijn dan de resulterende discrete emotiecategorieën.
• Inzicht in LLM-gedrag: Het onthult dat LLMs gevoeliger zijn voor dimensionale cognitieve informatie dan voor discrete labels, maar dat ze moeite hebben met het gezamenlijk modelleren van deze complexe relaties in een zero-shot setting.

Significantie en Conclusie

De studie concludeert dat de subjectieve aard van argumentevaluatie baat heeft bij de meer granulaire cognitieve beoordeling die appraisal-dimensies bieden. Hoewel categorische emoties nuttig zijn, bieden appraisals een dieper inzicht in waarom een argument overtuigend wordt gevonden (bijv. door de waargenomen consequenties of normschendingen).

De resultaten suggereren dat de toekomst van computationele argumentatieanalyse verschuift van simpele emotieherkenning naar cognitief onderbouwde appraisal-modellen. Echter, de lage prestaties bij het gezamenlijk voorspellen van deze variabelen benadrukt de noodzaak van geavanceerdere methoden (zoals fine-tuning of multi-task learning) om de bidirectionele relaties tussen emotie, cognitie en overtuigingskracht volledig te benutten. Dit heeft belangrijke implicaties voor het ontwikkelen van robuustere systemen voor argumentatie-analyse en het genereren van mensgerichte, overtuigende argumenten.