Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Dit artikel introduceert AffectLoop, een multimodale empathische sociale robotsysteem dat de affectieve lus sluit door zowel de emotionele toestanden van de spreker als de luisteraar dynamisch te volgen om congruente verbale en belichaamde reacties te genereren, wat volgens een pilotstudie de gebruikerstevredenheid en het herstel van stress significant verbetert in vergelijking met tekstgebaseerde baselines.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Menselijk contact berust op meer dan alleen de uitwisseling van woorden. Wanneer we met iemand spreken, lezen we voortdurend iemands gezicht, luisteren we naar de toon van hun stem en voelen we het ritme van het gesprek. We brengen ook onze eigen stemming mee in de interactie, die verschuift en verandert terwijl we luisteren en reageren. Deze dynamische stroom van emotie is wat een gesprek levendig maakt. Decennialang hebben onderzoekers geprobeerd machines te leren deze complexiteit te begrijpen, door systemen te bouwen die kunnen herkennen wanneer een persoon verdrietig of blij is. De meeste van deze digitale luisteraars werken echter als een eenrichtingsverkeer: ze detecteren de emotie van een gebruiker en bieden een vooraf geprogrammeerd antwoord, waarbij ze voorbijgaan aan het feit dat de reactie van de luisteraar zelf het emotionele landschap van het gesprek ook verandert. Ze missen de lus waarin twee mensen elkaars gevoelens in realtime beïnvloeden.
Een team van onderzoekers heeft nu een robot gebouwd die probeert dit gat te dichten. In een studie gepresenteerd tijdens de 2026 Asia Pacific Signal and Information Processing Association Annual Summit, introduceerden zij een systeem genaamd AFFECTLOOP, ontworpen om een sociale robot te helpen begrijpen, niet alleen wat een persoon zegt, maar hoe de emotionele uitwisseling tussen hen evolueert. De onderzoekers rusten een kleine, programmeerbare robot genaamd Misty II uit met het vermogen om de stem en de gezichtsuitdrukkingen van de spreker te volgen, terwijl het tegelijkertijd de eigen interne emotionele staat monitort. Door deze dubbele stroom van informatie in een groot taalmodel te voeden, genereert de robot reacties die niet alleen empathisch zijn, maar ook fysiek expressief, waardoor een continue cyclus van emotionele verbinding ontstaat.
De kern van het idee achter AFFECTLOOP is dat echte empathie een tweerichtingsverkeer vereist. In een typisch gesprek zijn de emoties van een persoon niet statisch; ze verschuiven van moment tot moment op basis van wat er wordt gezegd en hoe de ander reageert. De onderzoekers ontdekten dat bestaande robotsystemen emotie vaak behandelen als een enkel label dat aan een zin is bevestigd, waarbij ze de subtiele dynamiek van hoe gevoelens in de loop van de tijd veranderen, missen. Om dit op te lossen, verdeelt hun systeem de interactie in twee parallelle trajecten. Ten eerste analyseert het de menselijke spreker, waarbij software wordt gebruikt om hun stem om te zetten in een teksttranscript en hun gezichtsbewegingen in een reeks emotionele signalen. Het volgt de stemming van de spreker terwijl deze stijgt en daalt, waarbij veranderingen in hun energie en emotionele intensiteit worden genoteerd. Ten tweede houdt het systeem een lopend verslag bij van de eigen staat van de robot. Het berekent de emotionele toon van de woorden die de robot van plan is te zeggen en de gevoelens die worden overgebracht door de fysieke bewegingen, zoals het kantelen van het hoofd of gebaren.
Deze twee datastromen worden gecombineerd om de volgende zet van de robot te sturen. De robot reageert niet simpelweg op de mens; de robot houdt rekening met hoe de eigen eerdere acties en huidige stemming passen in het lopende gesprek. Deze informatie wordt doorgegeven aan een kunstmatige intelligentie-engine, die fungeert als het brein van de robot. De engine krijgt de instructie om te fungeren als een aandachtige luisteraar, waarbij een korte, gesproken reactie wordt gegenereerd die past bij de emotionele context. Cruciaal is dat de engine ook een besluit neemt over een fysieke actie voor de robot om uit te voeren, om ervoor te zorgen dat de lichaamstaal overeenkomt met de woorden. Als een mens bijvoorbeeld een droevig verhaal deelt en de robot een verschuiving naar wanhoop detecteert, kan de robot een zachte verbale troost genereren terwijl het tegelijkertijd het hoofd laat zakken of de blik verzacht. Zodra de robot spreekt en beweegt, evalueert het systeem de situatie onmiddellijk opnieuw, werkt de eigen emotionele staat bij om te reflecteren wat er zojuist is gebeurd, en wacht vervolgens op de volgende beurt van de mens. Dit creëert een gesloten lus waarbij de reactie van de robot deel wordt van de emotionele dynamiek, net zoals dat in een menselijk gesprek zou gebeuren.
Om te testen of deze aanpak daadwerkelijk werkte, voerden de onderzoekers een kleine studie uit met vijf deelnemers. Elke persoon bracht vijf minuten door met praten tegen de robot in twee verschillende scenario's. In het eerste scenario gebruikte de robot een standaard systeem dat alleen naar de woorden van de mens keek om een reactie te genereren, waarbij de eigen emotionele staat van de robot en de dynamische stroom van het gesprek werden genegeerd. In het tweede scenario gebruikte de robot het nieuwe AFFECTLOOP-systeem. Daarna beoordeelden de deelnemers hun ervaring op verschillende factoren, waaronder hoe natuurlijk het gesprek aanvoelde, hoe goed de robot leek te luisteren en hoe ondersteunend de reacties van de robot waren.
De resultaten suggereerden dat het nieuwe systeem een merkbaar verschil maakte. Deelnemers beoordeelden de AFFECTLOOP-robot hoger in algemene zin, met de meest significante verbetering in hoe ondersteunend en empathisch de reacties van de robot aanvoelden. Mensen voelden zich meer aangemoedigd en geprezen door de robot wanneer deze het closed-loop systeem gebruikte. Ze rapporteerden ook dat ze zich beter voelden na het gesprek, waarbij hun stressniveaus effectiever leken te dalen dan met het standaard systeem. De onderzoekers analyseerden ook de logs van de interacties om te zien wat er onder de oppervlakte gebeurde. Ze ontdekten dat de robot die AFFECTLOOP gebruikte, beter in staat was om zijn emotionele verschuivingen af te stemmen op de mens. Wanneer de stemming van de mens in een bepaalde richting bewoog, had de reactie van de robot de neiging om datzelfde pad nauwer te volgen, in plaats van alleen maar willekeurig te reageren. Bovendien toonden de gegevens aan dat wanneer de mens het gesprek begon met een negatieve stemming, zij eerder geneigd waren in een minder negatieve staat te eindigen na het praten met de AFFECTLOOP-robot.
Hoewel de studie een klein aantal deelnemers omvatte en dient als een voorlopige test, wijzen de bevindingen op een veelbelovende richting voor sociale robotica. De onderzoekers suggereren dat door zowel de veranderende emoties van de spreker als de eigen affectieve staat van de luisteraar expliciet te modelleren, robots verder kunnen gaan dan eenvoudige tekstgebaseerde reacties om een meer oprechte, belichaamde vorm van empathie te creëren. Het systeem zorgde er niet voor dat de robot op elk gebied menselijker leek; op sommige maten scoorde het standaard systeem nog steeds iets hoger op waargenomen natuurlijkheid. Echter, de duidelijke winst in emotionele steun en gebruikerstevredenheid geven aan dat het sluiten van de affectieve lus helpt om de robot meer als een ondersteunende metgezel te laten voelen. Dit werk demonstreert dat voor een robot om echt contact te maken met een mens, hij niet alleen naar de andere persoon moet luisteren, maar ook bewust moet zijn van zijn eigen plek in de emotionele dans van het gesprek.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.