Trust Me, I Can Convince You: The Contextualized Argument Appraisal Framework

Dit paper introduceert het Contextualized Argument Appraisal Framework, dat de interactie tussen zender, ontvanger en argument modelleert om te verklaren hoe subjectieve cognitieve beoordelingen en emoties de overtuigingskracht van argumenten beïnvloeden, ondersteund door een nieuw corpus van 4000 annotaties.

De kern

Vertrouw me, ik kan je overtuigen: Waarom een argument soms werkt en soms niet

Stel je voor dat je op een drukke markt staat. Iemand komt op je af en zegt: "Stop met plastic flessen kopen, ze zijn slecht voor het milieu."

Voor de één is dit een heldere, overtuigende boodschap die hem of haar direct doet knikken. Voor de ander, die bijvoorbeeld in een plastic-fabriek werkt, roept dit juist angst op: "Als ze plastic verbieden, verlies ik mijn baan!" Voor die persoon is het argument juist niet overtuigend, zelfs niet als de feiten kloppen.

Dit is precies waar dit onderzoek over gaat. De auteurs van deze paper (uit Duitsland) ontdekten dat overtuiging niet alleen afhangt van wat er gezegd wordt, maar vooral van hoe jij het voelt en hoe jij het beoordeelt.

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. De "Receptie" van een Argument

Stel je een argument voor als een pakketje dat je per post ontvangt.

• De inhoud: Wat er in het pakketje zit (de feiten, de logica).
• De afzender: Wie het verstuurt (een vriend, een politicus, een onbekende).
• De ontvanger (Jij): Hoe jij je voelt, wat je ervaringen zijn en wat je persoonlijkheid is.

De onderzoekers zeggen: "Het pakketje op zich is niet het enige dat telt. Het is alsof je het pakketje opent en direct denkt: 'Wat betekent dit voor mij? Is dit veilig? Is dit nieuw? Kost dit veel energie om te begrijpen?'"

Ze noemen dit het Contextualized Argument Appraisal Framework. Klinkt ingewikkeld, maar het is eigenlijk gewoon: "Hoe beoordeel ik dit verhaal in mijn hoofd, voordat ik er emotioneel op reageer?"

2. De Emotie als Alarmbel

Wanneer je een argument leest, gaat er in je hoofd een alarmbel af. Die bel is een emotie.

• Als je iets leest dat je vertrouwen wekt, voel je je veilig en ben je sneller overtuigd.
• Als je iets leest dat boosheid of afkeer oproept, sluit je je vaak af. Je denkt: "Nee, dit klopt niet," en je bent minder overtuigd.

De onderzoekers hebben een enorme database (een soort digitale bibliotheek) gemaakt met 4.000 van deze reacties. Ze lieten mensen in een rolspel (alsof ze op een dorpsvergadering zaten) naar argumenten kijken en vragen stellen als:

• "Wat voel je nu?" (Bijvoorbeeld: boos, blij, angstig).
• "Waarom voel je dat?" (Bijvoorbeeld: "Ik vind het eng omdat ik mijn baan kwijt kan raken").
• "Hoe overtuigend is dit?" (Op een schaal van 1 tot 5).

3. De "Oordeels-Checklist"

De onderzoekers hebben een nieuwe checklist bedacht om te kijken hoe mensen een argument beoordelen. Het is alsof je een keuring doet van een tweedehands auto voordat je hem koopt:

• Is dit bekend? (Herken ik dit verhaal al?)
• Is dit prettig? (Voelt het goed in mijn maag?)
• Wat zijn de gevolgen? (Krijg ik er geld van of ben ik er de dupe van?)
• Moet ik nu direct iets doen? (Voel ik de drang om te reageren?)

Ze ontdekten dat als mensen een argument als "bekend" en "prettig" ervaren, ze het veel sneller geloven. Als ze denken dat het argument hun normen schendt of gevaarlijk is, worden ze boos en is het argument minder overtuigend.

4. De Belangrijkste Ontdekkingen

Wat bleek eruit na het analyseren van al die data?

1. Positieve gevoelens zijn de sleutel: Als een argument vertrouwen of verlichting geeft, is het vaak overtuigend.
2. Negatieve gevoelens blokkeren: Boosheid, afkeer en schaamte maken dat mensen minder snel overtuigd raken.
3. Jij bent belangrijk: Het maakt niet uit hoe slim het argument is; als het je persoonlijk raakt (bijvoorbeeld door je angst aan te spreken), reageer je daarop.
4. De afzender telt mee, maar minder dan je denkt: Of de spreker een man of vrouw is, of oud of jong, heeft invloed, maar het argument zelf en jouw eigen gevoelens zijn veel belangrijker.

5. Waarom is dit nuttig?

Vroeger keken computers alleen naar de tekst van een argument om te zien of het goed was. Dit onderzoek zegt: "Nee, kijk ook naar de mens achter het scherm."

Dit helpt bij het bouwen van slimme computersystemen die beter begrijpen waarom mensen dingen geloven of niet. Het kan helpen bij het bestrijden van nepnieuws (desinformatie), omdat we dan snappen welke emoties nepnieuws triggert en hoe we die kunnen doorbreken.

Kortom:
Een argument is niet zomaar een rijtje feiten. Het is een interactie tussen wat er gezegd wordt, wie het zegt, en vooral: hoe jij je erbij voelt. Als je wilt overtuigen, moet je niet alleen logisch zijn, maar ook begrijpen wat het argument voor de ander betekent.

Technische samenvatting

Probleemstelling

In het veld van Natural Language Processing (NLP) is er veel onderzoek gedaan naar de kwaliteit en overtuigingskracht van argumenten, vaak gefocust op logische structuur (logos), sprekerscredibiliteit (ethos) en contextuele relevantie. Echter, de emotionele aspecten van argumenten (pathos) en hoe deze de overtuigingskracht beïnvloeden, blijven onderbelicht.
Bestaande onderzoek naar emoties in argumenten richt zich vaak op binair "emotioneel vs. niet-emotioneel" of op de expliciete emoties in de tekst. Dit negeert het feit dat de emotionele reactie van een ontvanger (de lezer) niet alleen afhangt van de tekst, maar ook van een subjectieve cognitieve evaluatie (appraisal) van de impact van het argument op de eigen doelen, de relatie met de zender en de persoonlijke context. Er ontbreekt een psychologisch raamwerk dat specifiek is ontworpen voor de evaluatie van argumenten binnen de NLP, noch bestaat er een corpus dat deze complexe interactie tussen zender, ontvanger en argument in kaart brengt.

Methodologie

De auteurs introduceren een nieuwe aanpak die psychologische theorieën combineert met argument mining.

1. Het Contextualized Argument Appraisal Framework (CAAF)
Dit raamwerk modelleert het interactieproces tussen de zender, de ontvanger en het argument. Het gaat uit van een gelijktijdige cognitieve evaluatie waarbij de ontvanger:

• Het argument, de context en de zender interpreteert.
• Een cognitieve beoordeling (appraisal) uitvoert.
• Een discrete emotie ervaart.
• De overtuigingskracht (convincingness) beoordeelt.

Het framework integreert bestaande appraisal-modellen uit de psychologie (o.a. gebaseerd op Troiano et al., 2023) en past deze aan voor argumenten. Er worden specifieke dimensies gedefinieerd zoals:

• Aangenaamheid/Onaangenaamheid: Hoe prettig is het argument?
• Vertrouwdheid: Is het argument bekend?
• Gevolgen: Heeft het positieve of negatieve gevolgen voor de eigen doelen?
• Beheersbaarheid: Kunnen de gevolgen worden opgevangen?
• Dringende reactie: Is er een drang om direct te reageren?
• Interne/Externe checks: Strijdt het argument met persoonlijke idealen of sociale normen?

2. Het ContArgA Corpus
Om dit framework te valideren, hebben de auteurs het ContArgA corpus ontwikkeld.

• Data: Het bevat 4.000 individuele annotaties van 800 argumenten over 39 verschillende controversiële onderwerpen (gebaseerd op de UKPConvArgv1 en IBM-Rank-30k datasets).
• Annotatie-Setup: De studie gebruikt een rollenspel-gebaseerde benadering. Deelnemers werden geïmmerseerd in een scenario van een "town hall meeting" om een realistische context te simuleren.
• Proces: Deelnemers (ontvangers) kregen een argument te zien, geassocieerd met een zender (waarbij geslacht en leeftijd van de zender gevarieerd werden). Ze moesten vervolgens:
  • Hun emotie en intensiteit rapporteren (o.a. woede, vertrouwen, schuld, trots).
  • De oorzaak van de emotie uitleggen (zender, argument of eigen identiteit).
  • De appraisal-dimensies beoordelen.
  • De overtuigingskracht inschatten.
  • Demografische gegevens en persoonlijkheidstrekken (Big Five) van zichzelf en hun perceptie van de zender doorgeven.
• Kwaliteitsborging: De studie omvatte 7 aandachtstests en filterde data van deelnemers die te snel waren of de tests faalden.

Belangrijkste Bijdragen

1. Het CAAF Framework: Het eerste psychologisch onderbouwde raamwerk dat specifiek is ontworpen voor de analyse van argumenten in NLP, met een focus op de subjectieve perceptie van de ontvanger.
2. Het ContArgA Corpus: Een uniek dataset met 4.000 annotaties die niet alleen overtuigingskracht en emotie bevat, maar ook gedetailleerde appraisal-variabelen, demografische data en persoonlijkheidstrekken van zowel de annotator als de waargenomen zender.
3. Perspectivisme: De auteurs benadrukken dat er geen "gouden label" bestaat voor de overtuigingskracht van een argument; deze is inherent subjectief en afhankelijk van de ontvanger. Het corpus is opgezet om deze variatie te modelleren in plaats van te elimineren.

Resultaten

De analyse van het ContArgA corpus leverde de volgende inzichten op:

• Correlatie Emotie en Overtuigingskracht:
  • Er is een sterke positieve correlatie tussen positieve emoties (zoals vertrouwen, opluchting, trots en blijdschap) en de overtuigingskracht.
  • Er is een sterke negatieve correlatie tussen negatieve emoties (zoals woede, walging en schaamte) en de overtuigingskracht.
  • Opmerkelijk: Angst toonde geen significante correlatie met overtuigingskracht, wat in strijd is met sommige eerdere psychologische theorieën die angst als persuasief zien.
• Invloed van Appraisal-dimensies:
  • Vertrouwdheid (familiarity) en aangenaamheid (pleasantness) zijn sterk positief gecorreleerd met overtuigingskracht.
  • Onaangenaamheid, extern check (schending van sociale normen) en interne check (strijding met idealen) correleren negatief met overtuigingskracht.
  • De variabele "familiarity" bleek cruciaal: argumenten die bekend zijn bij de ontvanger worden over het algemeen als overtuigender ervaren.
• Factoren die de Emotie bepalen:
  • Het argument zelf is de primaire drijver van de emotionele reactie (gemiddelde score 3.6 op een schaal van 1-5).
  • De ontvanger (eigen identiteit/standpunt) speelt een secundaire rol (3.1).
  • De zender heeft de minste invloed op de geëvoceerde emotie (1.9), hoewel dit per onderwerp kan variëren.
• Inter-Annotator Agreement: De overeenstemming tussen annotatoren was laag (Krippendorff's alpha 0.06 voor overtuigingskracht), wat bevestigt dat de reactie op argumenten sterk subjectief is en dat perspectivistische modellering noodzakelijk is.

Betekenis en Toekomst

Dit werk vormt een brug tussen psychologie en NLP door te tonen dat affectieve reacties op argumenten niet oppervlakkig zijn, maar diep geworteld in cognitieve beoordelingsprocessen.

• Voor NLP: Het biedt een basis voor het ontwikkelen van modellen die de overtuigingskracht van argumenten beter kunnen voorspellen door rekening te houden met de context van de ontvanger en de zender, in plaats van alleen de tekst te analyseren.
• Toepassingen: Het framework kan worden ingezet in systemen voor argument mining, content moderatie en het bestrijden van desinformatie, waarbij rekening wordt gehouden met hoe verschillende doelgroepen op dezelfde boodschap reageren.
• Toekomstig werk: De auteurs plannen om CAAF computatieel te modelleren en uit te breiden naar multi-turn conversaties (dialogen) en meertalige contexten.

Samenvattend introduceert dit paper een paradigmaverschuiving: van het analyseren van argumenten als statische objecten naar het begrijpen van argumenten als dynamische interacties die afhankelijk zijn van de subjectieve cognitieve evaluatie van de ontvanger.