Technische Samenvatting: Omgaan met Controverses: Een Corpus van Emoties en Copingstrategieën Gebaseerd op Rollenspel

Probleemstelling

Er bestaat een aanzienlijke discrepantie tussen psychologische en computationele studies naar emoties. Waar psychologisch onderzoek zich richt op het verklaren van de interne mechanismen van emotionele fenomenen, vereenvoudigt computationeel werk in Natural Language Processing (NLP) emoties vaak tot discrete labels of vectoren gedefinieerd door dimensies zoals valentie, arousal en dominantie. Bijgevolg blijven fundamentele aspecten van hoe emoties ontstaan en hoe individuen ermee omgaan (coping) onderbelicht in NLP. Specifiek worden de complexe mechanismen die het ontstaan van emoties en hun daaropvolgende effect op gedrag sturen—conceptueel in de psychologie omschreven als "copingprocessen"—zelden geadresseerd. Huidige modellen worstelen met het vastleggen van de link tussen emoties en de gedragsstrategieën (bijv. aanvallen, contact maken, afstand nemen of een stimulus afwijzen) die mensen hanteren als reactie op emotie-opwekkende gebeurtenissen.

Methodologie

Om dit gat te dichten, introduceren de auteurs COPING, het eerste corpus dat gericht is op coping-informatie, geconstrueerd via een rollenspelmethodologie. De studie is gebaseerd op de theorie van Roseman (2013), die 16 specifieke emoties koppelt aan vier generieke copingstrategieën: Attack (Aanval), Contact, Distance (Afstand) en Reject (Afwijzing).

Datacreatie

Gezien de moeilijkheid om natuurlijk voorkomende tekst te vinden die geannoteerd is met copingstrategieën, hebben de auteurs een crowdsourced rollenspelmethode gebruikt:

1. Karakterdefinities: Vier fictieve personages (X) werden gedefinieerd, die elk één van de vier copingstrategieën belichamen. Deze definities werden verfijnd via iteratieve pre-testrondes om ervoor te zorgen dat annotatoren de beoogde strategie correct konden identificeren.
2. Scenario-generatie: Met behulp van ChatGPT-4 genereerden de auteurs controversiële scenario's over vijf sociaal relevante onderwerpen (abortus, immigratie, racisme, LGBTQ+-rechten en drugs). In elk scenario doet een fictieve gesprekspartner (Y) een controversiële uitspraak die de identiteit van karakter X bedreigt.
3. Rollenspeltaak: Crowdworkers kregen de opdracht om het personage X te imiteren. Zij moesten:
   • Een verbaal antwoord genereren dat de uitspraak van Y tegenspreekt.
   • Het non-verbale gedrag van X beschrijven.
   • De emotionele reacties van X beoordelen op basis van de taxonomie van Roseman.
   • Zelfreflecteren op de vraag of zij op een vergelijkbare manier zouden reageren als X.
4. Demografische Targeting: Om sterkere en authentiekere coping-expressies op te roepen, werden deelnemers geselecteerd op basis van specifieke demografieën die relevant zijn voor de onderwerpen (bijv. LGBTQ+-personen voor LGBTQ+-scenario's).

Het resulterende COPING-corpus bevat 1.200 datapunten, gebalanceerd over strategieën, onderwerpen en scenario's. Elk item bevat de gegenereerde tekst, gedragsbeschrijvingen en emotionele beoordelingen.

Experimentele Opzet

Het artikel onderzoekt twee primaire onderzoeksvragen (RQs):

• RQ1: Kunnen copingstrategieën worden opgeroepen in taal en geannoteerd worden?
• RQ2: Kunnen copingstrategieën automatisch worden geïdentificeerd?

Om RQ2 te beantwoorden, evalueerden de auteurs de haalbaarheid van automatische detectie met behulp van:

• Supervised Learning: Het fine-tunen van drie Small Language Models (SLMs)—BERT, DistilBERT en RoBERTa—op het corpus.
• Zero-Shot Prompting: Het gebruik van vier Large Language Models (LLMs)—phi-2, mistral-2, nous-hermes-2 en dolphin-2—in een zero-shot setting.
• Inputvariaties: Modellen werden getest op drie typen input: alleen het verbale antwoord, alleen de gedragsbeschrijving, en een concatenatie (samenvoeging) van beide.

Belangrijkste Bijdragen

1. Theoretische Integratie: Het artikel zet een eerste stap in het bestuderen van de vier copingcategorieën (Attack, Contact, Distance, Reject) die ten grondslag liggen aan standaard emotielabels, door deze te koppelen aan specifieke gedragsfuncties en emotiegroepen zoals gedefinieerd door Roseman (2013).
2. COPING Corpus: De release van een hooggestructureerd corpus, opgebouwd met een nieuwe rollenspelstrategie voor het verzamelen van emotie-gecentreerde informatie. Dit adresseert het tekort aan data die geannoteerd is met copingmechanismen.
3. Taakbenchmarking: De introductie en benchmarking van de copingstrategie-identificatietaak. De studie levert het eerste empirische bewijs voor de haalbaarheid van het detecteren van deze strategieën in tekst.

Resultaten

Menselijke Annotatie en Begrip

• Strategie-oproeping: Kwantitatieve en kwalitatieve analyses bevestigen dat copingstrategieën in taal kunnen worden opgeroepen. Crowdworkers toonden een robuust begrip van de strategieën, met een hoge nauwkeurigheid bij het mappen van karakterbeschrijvingen naar de juiste strategieën (bijv. 100% nauwkeurigheid voor Attack en Contact tijdens de pre-test).
• Emotionele Afstemming: De emotionele profielen gegenereerd door de rollenspelers stemden grotendeels overeen met het theoretische kader van Roseman (bijv. frustratie correleerde met Attack, hoop met Contact). Er werden echter enkele afwijkingen opgemerkt, zoals de moeilijkheid om "Reject" te onderscheiden van andere strategieën.
• Subjectiviteit: De inter-annotatorovereenstemming op de gegenereerde teksten was laag ($\kappa = .34$), wat aangeeft dat de perceptie van copingstrategieën in tekst zeer subjectief is. "Contact" was de meest herkenbare strategie, terwijl "Reject" de minst herkenbare was.

Automatische Classificatie

• Prestatiebeperkingen: Automatische identificatie van copingstrategieën bleek uitdagend. Alle modellen, zowel de gefine-tunde SLMs als de zero-shot LLMs, behaalden F1-scores onder de 0,55.
• Inputgevoeligheid:
  • DistilBERT presteerde het best op verbale antwoorden (F1 = 0,523).
  • RoBERTa presteerde het best op gedragsbeschrijvingen (F1 = 0,537).
  • Het combineren van antwoorden en gedrag verbeterde de prestaties niet consistent ten opzichte van enkelvoudige inputs.
  • Zero-shot LLMs presteerden op hetzelfde niveau als gefine-tunde modellen, waarbij input op basis van gedrag over het algemeen betere resultaten opleverde dan input op basis van alleen het antwoord.
• Moeilijkheidsgraad van Strategie: Consistent met de menselijke annotatie was Contact de makkelijkste strategie om te classificeren (F1 $\approx$ 0,64), terwijl Reject de moeilijkste bleef (F1 $\approx$ 0,41).

Betekenis en Claims

De auteurs stellen dat hun werk een veelbelovende onderzoeksrichting opent voor het verbeteren van het vermogen van modellen om de mechanismen van emoties uit tekst te extraheren. Door de focus te verschuiven van statische emotielabels naar dynamische copingstrategieën, overbrugt de studie de kloof tussen psychologische theorieën over de interactie tussen emotie en gedrag en computationele NLP.

Het artikel concludeert bescheiden dat hoewel het ontstaan van coping uit tekst minder rechtlijnig is dan aanvankelijk werd verondersteld—met name voor strategieën die betrokken zijn bij onthechting zoals "Distance" en "Reject"—het corpus en de geobserveerde links tussen strategieën en emoties het potentieel van deze aanpak valideren. De auteurs benadrukken dat hun opzet, hoewel kunstmatig, succesvol heeft aangetoond dat data over dit psychologische concept via crowdsourcing verkregen kan worden en dat deze strategieën theoretisch onderbouwd zijn in tekst, ook al blijft hun automatische detectie een aanzienlijke uitdaging. Dit werk suggereert dat het integreren van copingstrategieën downstream taken zoals argumentatieanalyse en event-gecentreerde emotieanalyse kan verbeteren.