Affect-Aware Human-Agent Conversations: Towards Empathic LLM Interaction

Technische Samenvatting: Affect-bewuste Mens-Agent Conversaties

Probleemstelling
Grote taalmodellen (LLM's) beschikken over conversatievaardigheden, maar missen authentieke emotionele ervaring; ze vertrouwen in plaats daarvan op probabilistische patroonherkenning om empathie te simuleren. Dit creëert een "compassie-illusie", waarbij algoritmische herkenning van emotionele signalen wordt verward met werkelijke resonantie. Huidige mens-AI-interacties zijn voornamelijk tekstgebaseerd, waardoor niet-verbale affectieve signalen die centraal staan bij menselijke interpretatie worden uitgesloten. Bijgevolg missen de reacties van LLM's vaak "relationele gronding", omdat ze uitsluitend afhankelijk zijn van expliciete tekstuele input in plaats van de rijke, gesitueerde context van menselijke communicatie. Hoewel eerder werk "Empathic Prompting" introduceerde als een proof-of-concept, bleef dit verkennend en beperkt tot snelle pilot-implementaties zonder robuuste real-time integratie of uitgebreide gebruikersvalidatie.

Methodologie
De studie stelt Empathic Extended Prompting voor en evalueert dit, een real-time affect-bewust framework dat ontworpen is om mens-LLM conversaties te verrijken met gezichtsuitdrukking-descriptors.

• Systeemarchitectuur: Het systeem maakt gebruik van een client-middleware-server architectuur.

  • Client: Legt de gezichtsuitdrukkingen van de gebruiker vast via een camerastream.
  • Middleware: Verwerkt video met behulp van Noldus FaceReader om hoogwaardige affectieve descriptors te extraheren (dominante emotie, intensiteit, valentie, arousal) in plaats van ruwe Action Units. Een aangepaste middleware filtert, synchroniseert en serialiseert deze descriptors in een compact JSON-achtig formaat, en slaat ze op in een Emotional Parameters Queue (EPQ) om het kortetermijngeheugen van de staat van de gebruiker te behouden.
  • Server: Bij het indienen van tekst door de gebruiker haalt de server de meest recente affectieve samples op. Een tijdsvenster van 3 seconden past 'majority voting' toe voor de dominante emotie en middelt de intensiteit, valentie en arousal. Deze numerieke waarden worden gekoppeld aan discrete linguïstische labels (bijv. "HOGE" intensiteit, "POSITIEVE" valentie) om interpreteerbaarheid door de LLM te waarborgen.
  • Prompt Constructie: Het systeem construeert een uitgebreide gebruikersbeurt ($\tilde{M}_t$) door de real-time affectieve staat ($F^t_e$) en een sessie-niveau affectieve prior ($P^t_e$, afgeleid van een temporele histogram van de priming-fase) voor te voegen aan de tekst van de gebruiker ($M_t$). Deze uitgebreide context wordt gecombineerd met een persistente systeemprompt die de regels voor empathische interactie definieert voordat deze naar de LLM wordt verzonden.

• Experimenteel Ontwerp: Er werd een within-subjects studie uitgevoerd met N = 20 deelnemers.

  • Condities: Deelnemers interageerden met de LLM onder twee condities: een Experimentele conditie (affect-bewust) en een Controle conditie (empathische tekst-alleen baseline).
  • Procedure: De sessie begon met een emotionele priming-fase met behulp van gevalideerde videoclips (The Lion King voor verdriet, Wall-E voor vreugde) om specifieke affectieve staten op te wekken. Deelnemers gingen vervolgens een 5-minuten durende semi-gestructureerde conversatie aan over hun emotionele ervaring. De volgorde van condities en video-stimuli was tegengebalanceerd.
  • Model: Het deepseek-r1:32b model, lokaal gehost via OLLAMA, diende als de conversationele ruggengraat om privacy en consistentie te garanderen.
  • Metingen: De evaluatie omvatte de System Usability Scale (SUS), de Perceived Empathy of Technology Scale (PETS), de Networked Minds Measure of Social Presence, en de Godspeed Questionnaire Series (gericht op Likability, Competence en Safety). Een forced-choice ranking beoordeelde expliciete voorkeur.

Kernbijdragen

1. Real-Time Affect Integratie: De studie implementeert een functionele pipeline die continu gezichtsuitdrukking-descriptors extraheert, verwerkt en injecteert in de LLM-context zonder de ruwe biometrische data aan het model bloot te stellen.
2. Verfijnde Prompting Strategie: In tegen plaats van enkel cues toe te voegen, fundeert dit framework de systeemprompt in een expliciet empathisch interactiemodel. Affectieve signalen informeren de conversationele houding van het model (bijv. tempo gebaseerd op arousal, het maskeren van discrepanties tussen tekst en gezicht) in plaats van te fungeren als eenvoudige metadata.
3. Empirische Validatie: Het artikel biedt een end-user validatiestudie die het affect-bewuste systeem vergelijkt met een tekst-alleen baseline, waarbij specifiek wordt onderzocht of real-time affectieve context de waargenomen interactiekwaliteiten verbetert zonder negatieve effecten zoals de "uncanny valley" of verminderde bruikbaarheid te veroorzaken.

Resultaten

• Waargenomen Kwaliteiten: De affect-bewuste conditie vertoonde hogere descriptieve scores over belangrijke interactiedimensies. Opmerkelijke verbeteringen werden waargenomen in Godspeed Competence ($\Delta = +0,31$), PETS Understanding and Trust ($\Delta = +0,21$), PETS Emotional Responsiveness ($\Delta = +0,16$), en Godspeed Likability ($\Delta = +0,13$).
• Bruikbaarheid en Veiligheid: Bruikbaarheidsscores (SUS) bleven hoog en acceptabel in beide condities (Controle: 81,25, Experimenteel: 79,38), wat aangeeft dat de toevoeging van affectieve verwerking de interface-ervaring niet heeft verslechterd. Percepties van veiligheid bleven stabiel tussen de condities.
• Statistische Significantie: Op het niveau van macro-constructen toonden gepaarde Wilcoxon signed-rank tests geen statistisch significante verschillen tussen de condities aan, waarschijnlijk door de plafondeffecten van moderne, instructie-afgestemde LLM's die al ondersteunende reacties produceren. Echter, de descriptieve trends bevoordeelden consequent de affect-bewuste conditie wat betreft emotionele intelligentie en stemming-responsiviteit.
• Negatieve Effecten: De studie vond geen bewijs dat het injecteren van real-time gezichtssignalen leidde tot negatieve interactionele effecten, verminderde perceptie van veiligheid of "uncanny"-percepties creëerde.

Significantie en Claims
Het artikel claimt dat het integreren van real-time affectieve context kan leiden tot relationele gronding in LLM-conversaties, wat het paradigma verschuift van "AI-als-gereedschap" naar "AI-als-collaborateur". De auteurs benadrukken dat het doel niet is om LLM's echt empathisch te maken (wat onmogelijk is gezien hun probabilistische aard), maar om de perceptie van de gebruiker over empathische afstemming te verbeteren. Door de conversationele houding aan te passen aan continue affectieve feedback, ondersteunt het systeem een meer gesitueerde interactie. De bevindingen suggereren dat multimodale affectieve gronding de waargenomen emotionele intelligentie en responsiviteit versterkt zonder de bruikbaarheid in gevaar te brengen of negatieve psychologische reacties uit te lokken, wat een levensvatbaar pad biedt voor meer naturalistische mens-agent samenwerking.