LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
Dit artikel stelt een taxonomie voor voor verbale-nonverbale mismatches gebaseerd op het kader van Ekman, onderzoekt het gebruik van grote taalmodellen om contextueel passende incongruente gedragingen voor virtuele mensen te selecteren, en valideert hun effectiviteit in het produceren van beoogde waarnemerseffecten door middel van een studie met menselijke proefpersonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille ruimtes tussen gesproken woorden verricht menselijke communicatie vaak haar meest complexe werk. Wanneer we praten, zenden we niet alleen informatie over; we projecteren onze gevoelens, onze sociale status en onze verborgen intenties via ons gezicht, onze ogen en onze houding. Deze stille signalen, bekend als nonverbaal gedrag, kunnen wat we zeggen bevestigen, maar ze kunnen het ook tegenspreken. Een persoon kan zeggen "het gaat goed" terwijl het gezicht strak trekt van bezorgdheid, of een compliment geven met een toon die spot suggereert. Dit vermogen om het lichaam de mond te laten verraden, of om ware gevoelens te maskeren achter een beleefde glimlach, is een fundamenteel onderdeel van hoe mensen relaties navigeren, conflicten beheren en vertrouwen signaleren. Decennialang hebben onderzoekers geprobeerd computers te leren deze complexiteit na te bootsen door virtuele agenten te bouwen die kunnen bewegen en gebaren als mensen. Echter, de meeste van deze digitale personages zijn beperkt gebleven tot een eenvoudige regel: als de woorden blij zijn, moet het gezicht blij zijn. Ze worstelen met het begrip dat de meest eerlijke daad van een persoon soms kan zijn om het ene te zeggen terwijl het lichaam iets anders zegt.
Een team onderzoekers aan de Northeastern University wilde deze beperking aanpakken. Ze wilden zien of ze een virtuele mens konden leren om deze subtiele, tegenstrijdige gedragingen automatisch te genereren, gebruikmakend van een type kunstmatige intelligentie dat bekend staat als een groot taalmodel. Deze modellen zijn krachtige systemen die getraind zijn op enorme hoeveelheden tekst en in staat zijn context en nuance te begrijpen. De onderzoekers stelden een specifieke vraag: als zij de computer een gesprek en een beschrijving van de situatie gaven, kon de computer dan uitzoeken wanneer de spreker ongelukkig zou moeten kijken terwijl hij iets aardigs zei, of vriendelijk zou moeten kijken terwijl hij slecht nieuws bracht? Ze wilden niet alleen dat de computer zou gokken; ze wilden zien of de computer deze keuzes kon maken op een manier die echt aanvoelde voor menselijke waarnemers.
Om dit te testen, maakte het team eerst een kaart van de verschillende manieren waarop mensen hun woorden en hun acties uit elkaar laten lopen. Ze identificeerden vier hoofdoorzaken waarom een persoon dit zou doen. Soms is het ironie, waarbij een spreker lof gebruikt om iemand te beledigen of kritiek om affectie te tonen. Andere keren gaat het over het behoud van het gezicht (face-saving), waarbij een persoon een harde kritiek verzacht met een warme glimlach om gevoelens niet te kwetsen, of een beleefde glimlach dwingt om de eigen woede te verbergen. Er is ook sprake van misleiding, waarbij een persoon probeert een geheim gevoel te verbergen, en emotionele regulatie, waarbij iemand probeert een gevoel te onderdrukken dat van binnenuit naar boven borrelt. Met behulp van deze categorieën ontwierpen de onderzoekers acht specifieke scenario's, zoals een junior werknemer die praat met een baas die zojuist de werkdruk heeft verhoogd, of een moeder die feedback geeft aan haar tienerzoon.
De onderzoekers testten vervolgens drie verschillende manieren om de computer te vragen het gedrag te genereren. In de eerste methode gaven ze de computer alleen de gesproken zin. In de tweede methode voegden ze de geschiedenis van het gesprek toe die aan die zin voorafging. In de derde en meest gedetailleerde methode boden ze de gesprekshistorie plus een schriftelijke beschrijving van de relatie tussen de sprekers en de sociale setting. De computer, aangedreven door een model genaamd Claude, kreeg de opdracht te beslissen wat het gezicht en de ogen van het personage voor elke zin moesten doen. De resultaten waren duidelijk: wanneer de computer alleen de woorden kreeg, liet het het personage meestal blij kijken als de woorden blij waren en verdrietig als de woorden verdrietig waren. Maar wanneer de onderzoekers de volledige context boden — de machtsdynamiek, de geschiedenis en de sociale druk — begon de computer gedragingen te kiezen die de woorden tegenstreden. In het scenario waarin een junior werknemer akkoord moest gaan met meer werk van een veeleisende baas, koos de computer voor een glimlach die klein en beheerst was, vergezeld van een korte blik weg en het aanspannen van de lippen. Het begreep dat de werknemer "ja" zei terwijl hij "nee" voelde.
Om te zien of deze door de computer gegenereerde keuzes daadwerkelijk werkten, zetten de onderzoekers de digitale instructies om in videoclips van een virtuele mens en lieten deze aan mensen zien. In de eerste studie vroegen ze participanten om paren video's te bekijken en te beslissen welke spreker een positievere houding had. Wanneer de virtuele mens iets positiefs zei maar negatief keek, beoordeelden mensen de houding consequent als minder positief dan wanneer de mens blij keek. Wanneer de mens iets negatiefs zei maar warm glimlachte, beoordeelden mensen de houding als positiever dan wanneer de mens boos keek. De tweede studie ging dieper in en vroeg mensen om de specifieke emoties te beoordelen die zij zagen. De resultaten toonden aan dat de door de computer gekozen nonverbale signalen krachtig genoeg waren om de manier waarop mensen over de emoties van de spreker voelden, te verschuiven. Als de computer een frons koos bij een vrolijke zin, rapporteerden mensen dat ze voelden dat de spreker eigenlijk boos of sarcastisch was. Als de computer een warme glimlach koos bij een droevige zin, rapporteerden mensen dat ze medeleven voelden in plaats van woede.
De studie bevestigt dat het voorzien van een kunstmatige intelligentie met de volledige sociale context van een gesprek, de AI in staat stelt om nonverbale gedragingen te genereren die veel menselijker zijn dan die gebaseerd op woorden alleen. De computer herhaalde niet alleen de emotie van de zin; het interpreteerde de situatie en besloot dat een mismatch de meest eerlijke reactie was. Hoewel de onderzoekers opmerkten dat hun systeem nog werk moet verzetten om gebaren en stemtoon te kunnen afhandelen, en dat de video's kort waren, is de kernbevinding significant. Het suggereert dat voor virtuele mensen om echt overtuigend te zijn, vooral in rollen zoals het trainen van therapeuten of onderhandelen, zij in staat moeten zijn om hun lichaam een ander verhaal te laten vertellen dan hun mond. De computer leerde dat de waarheid soms niet in de woorden ligt, maar in de stilte tussen hen in.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.