Human-like Affective Cognition in Foundation Models

Probleemstelling

Het begrijpen van emoties is fundamenteel voor menselijke interactie, maar ook voor AI-systemen die met mensen communiceren. Bestaande AI-benaderingen voor emotieherkenning zijn vaak beperkt tot perceptieve taken, zoals het analyseren van gezichtsuitdrukkingen of sentimentanalyse in tekst. Deze methoden proberen een "ground truth" label te vinden op basis van directe stimuli.

Het echte menselijke vermogen tot affectieve cognitie gaat echter verder: het vereist redeneren over hoe mensen hun ervaringen subjectief interpreteren op basis van hun overtuigingen, doelen en verwachtingen (een proces dat cognitieve evaluatie of appraisal wordt genoemd). De kernvraag van dit onderzoek is: Kunnen moderne foundation-modellen (LLMs) menselijke emoties begrijpen door dezelfde inferenties te maken als mensen, rekening houdend met deze complexe causale relaties? Er ontbreekt tot nu toe een gestructureerd raamwerk om deze specifieke redeneercapaciteiten systematisch te evalueren.

Methodologie

De auteurs introduceren een principieel evaluatiekader gebaseerd op psychologische theorieën over affectieve cognitie (Ong et al., 2019; Saxe & Houlihan, 2017).

1. Causale Template: Ze definiëren een abstract causaal diagram dat de relaties tussen vier tot vijf factoren beschrijft:

   • Outcome: Het resultaat van een situatie.
   • Appraisals: De subjectieve evaluatie van het resultaat (bijv. doelcongruentie, controle, veiligheid, verwachting).
   • Emotion: Het resulterende gevoel.
   • Expression: De gezichtsuitdrukking (in multimodale experimenten).
   • Context: De achtergrondverhaal.

2. Procedurale Generatie van Stimuli:

   • Ze genereren synthetische scenario's in drie fasen:
     1. Definieer een abstract causaal template.
     2. Gebruik een taalmodel om waarden voor de variabelen te genereren (bijv. een verhaal over Amy die naar een universiteit solliciteert, met specifieke doelen en controle-over het resultaat).
     3. Composeer de stimuli-items.
   • Er zijn 1.280 unieke scenario's gegenereerd, variërend in twee sets van appraisal-dimensies:
     • Experiment 1a/2a: Doelcongruentie en Perceived Control.
     • Experiment 1b/2b: Veiligheid en Verwachtbaarheid.
   • Voor elk scenario kunnen vier inferentietaken worden gesteld (waarbij drie variabelen bekend zijn en één moet worden afgeleid: Emotie, Outcome, of een specifieke Appraisal).
   • In Experiment 2 worden gezichtsuitdrukkingen (gegenereerd met Unreal Engine op basis van Facial Action Units) toegevoegd als multimodale input.

3. Evaluatie:

   • Menselijke Ground Truth: 567 native English-sprekende deelnemers beantwoordden alle vragen. De "ground truth" werd bepaald door de meerderheidsantwoord (modal response) en de onderlinge overeenstemming (inter-participant agreement).
   • Model Test: Drie state-of-the-art foundation-modellen werden getest: GPT-4, Claude-3.5, en Gemini-1.5.
   • Prompting Strategieën: De modellen werden getest met twee methoden:
     • 0-shot (direct antwoord).
     • 0-shot Chain-of-Thought (CoT), waarbij het model wordt gevraagd stap-voor-stap te redeneren voordat het antwoordt.

Belangrijkste Bijdragen

• Een nieuw evaluatiekader: Het eerste gestructureerde raamwerk dat affectieve cognitie test door te focussen op het redeneren over causale relaties tussen mentale toestanden, gebeurtenissen en emoties, in plaats van alleen perceptie.
• Schalibare dataset: Een systeematisch gegenereerde dataset van 1.280 items die diverse inferentietypen en multimodale inputs omvat.
• Validatie van menselijke oordelen: Het tonen aan dat menselijke oordelen over deze complexe scenario's consistent zijn (hoge inter-participant overeenstemming), maar dat vooraf toegewezen labels op basis van theorie soms afwijken van menselijke intuïtie.

Resultaten

1. Menselijke Overeenstemming: Mensen tonen een hoge mate van overeenstemming bij het infereren van emoties, uitkomsten en appraisals (significant boven willekeur). Dit valideert de stimuli als betrouwbaar.
2. Modelprestaties vs. Mensen:
   • De foundation-modellen tonen een hoge overeenstemming met menselijke intuïties.
   • In veel gevallen overtreffen de modellen de onderlinge overeenstemming tussen mensen (inter-participant agreement). Dit betekent dat de modellen soms consistenter zijn dan individuele mensen in het voorspellen van het meerderheidsantwoord.
   • De modellen presteren het beste bij het voorspellen van uitkomsten (gebaseerd op emotie en appraisals), gevolgd door het voorspellen van emoties. Het voorspellen van specifieke appraisals (zoals veiligheid) is moeilijker.
3. Invloed van Redeneren (Chain-of-Thought):
   • Het gebruik van CoT-prompting leidt tot een significante verbetering in prestaties (gemiddeld +6,9% tot +8,9% overeenstemming).
   • Dit suggereert dat het vermogen tot affectief oordelen sterk gekoppeld is aan het redeneervermogen van het model.
4. Multimodale Integratie:
   • Wanneer gezichtsuitdrukkingen worden toegevoegd, verbetert de prestatie van de modellen over het algemeen bij het infereren van emoties.
   • Echter, bij het infereren van appraisals op basis van uitdrukkingen (in plaats van emotie) daalt de prestatie soms, wat aangeeft dat de integratie van visuele cues voor complexe mentale toestanden nog uitdagingen kent.
5. Verdeling van Antwoorden: De modellen kunnen niet alleen het meest voorkomende antwoord voorspellen, maar vangen ook de volledige verdeling van menselijke antwoorden goed (gemeten via Wasserstein-afstand).

Betekenis en Conclusie

De studie concludeert dat moderne foundation-modellen een conceptueel begrip van menselijke emoties hebben verworven en in staat zijn om te redeneren over de complexe causale mechanismen die emoties bepalen. Ze kunnen informatie uit uitkomsten, appraisals, emoties en gezichtsuitdrukkingen integreren om menselijke reacties nauwkeurig te voorspellen.

Implicaties:

• Toekomstige AI: Dit suggereert dat AI-assistenten in de toekomst beter in staat kunnen zijn om empathisch en contextueel bewust te communiceren.
• Mentale Gezondheid: Er is potentie voor het gebruik van deze modellen in mentale gezondheidszorg en interventies, hoewel ethische risico's (manipulatie) zorgvuldig moeten worden beheerd.
• Cognitiewetenschap: Het feit dat deze modellen menselijke patronen vertonen, biedt nieuwe inzichten in hoe affectieve cognitie mechanisch kan worden gerepresenteerd en hoe deze vaardigheden kunnen ontstaan in neurale netwerken.

Kortom, de paper levert bewijs dat AI niet alleen emoties kan "herkennen", maar ook de onderliggende menselijke psychologie kan "begrijpen" en redeneren, vooral wanneer er gebruik wordt gemaakt van geavanceerde redeneerstrategieën.