💻 computer science

UGotMe: An Embodied System for Affective Human-Robot Interaction

Dit paper introduceert UGotMe, een systeem voor affectieve mens-robotinteractie dat specifiek is ontworpen voor meervoudige gesprekken door middel van twee ruisreductiestrategieën en efficiënte gegevensoverdracht om real-time emotionele herkenning en expressie op de humanoid robot Ameca mogelijk te maken.

Oorspronkelijke auteurs: Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

UGotMe: De Robot die Emoties Echt Begrijpt (Zelfs in een Drukte)

Stel je voor dat je een robot hebt die eruitziet als een mens, genaamd Ameca. Deze robot wil graag met mensen praten en een gesprek voeren. Maar er is een groot probleem: robots zijn vaak niet slim genoeg om te begrijpen wat mensen voelen, vooral niet als er veel lawaai is of als er mensen in de kamer staan die niet eens aan het praten zijn.

Dit onderzoek introduceert UGotMe, een slim systeem dat Ameca helpt om echt "in de voeling" te komen met de gevoelens van mensen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Luie Kijker" en de "Drukte"

Stel je voor dat je in een drukke café zit en probeert te luisteren naar je vriend die iets vertelt.

Het probleem: Er staan andere mensen om je heen die lachen, boos kijken of gewoon staren. Als je robot-gezicht (de camera) naar de hele kamer kijkt, ziet hij al die gezichten. De robot raakt in de war: "Is mijn vriend blij omdat hij lacht, of is hij boos omdat die andere man naast hem boos kijkt?"
De oplossing: UGotMe leert de robot om alleen te kijken naar degene die op dat moment spreekt. Het is alsof de robot een "spotlight" op zijn hoofd heeft die alleen op de spreker schijnt en de rest van de kamer in het donker laat. Zo negeert hij de afleidende gezichten van mensen die niet praten.

2. De Snelheid: De "Postbode" die niet wacht

Voor een goed gesprek moet de robot snel reageren. Maar robots zijn vaak traag omdat ze beelden moeten sturen naar een supercomputer om die te laten analyseren.

Het probleem: Stel je voor dat je een brief schrijft, die in een envelop stopt, naar de post gaat, en dan wacht tot de ontvanger hem leest. Dat duurt te lang voor een gesprek.
De oplossing: UGotMe gebruikt een slimme "postbode". In plaats van te wachten tot een hele foto klaar is, stuurt de robot de beelden als een stroom van data (zoals een lopende band) direct naar de computer. De computer pakt de beelden er direct af en denkt na, terwijl de robot al doorgaat. Hierdoor voelt het gesprek natuurlijk en snel aan, zonder haperingen.

3. De "Gevoels-Vertaler" (VL2E)

De robot heeft een brein nodig dat niet alleen kijkt, maar ook luistert en begrijpt. Dit noemen de onderzoekers VL2E (Vision-Language to Emotion).

Hoe het werkt: Stel je voor dat de robot een tolk is die twee talen spreekt: Gezichtstaal (wat zie je?) en Woordentaal (wat hoor je?).
- Als iemand zegt: "Mijn paper is aangenomen!" met een blij gezicht, vertaalt de robot dit direct naar: "Ah, hij is blij!"
- De robot gebruikt dan een spiegel-effect: als de mens blij is, maakt de robot ook een blij gezicht. Dit heet "parallelle empathie". Het is alsof de robot zegt: "Ik voel wat jij voelt."

4. De Proef: Ameca in het echt

De onderzoekers hebben dit systeem getest op de echte robot Ameca.

Het scenario: Mensen kwamen langs om te praten. Soms stonden er andere mensen in de kamer die niets zeiden maar wel vreemde gezichten trokken.
Het resultaat:
- Zonder UGotMe (of met een ouderwetse versie): De robot keek naar de verkeerde persoon en maakte een verdrietig gezicht terwijl de spreker juist blij was.
- Met UGotMe: De robot keek alleen naar de spreker, negeerde de afleiding, en maakte precies het juiste gezicht. Mensen vonden dit veel natuurlijker en leuker.

Samenvattend

UGotMe is als een slimme assistent die leert om:

Niet afgeleid te worden door de rest van de kamer (alleen kijken naar wie spreekt).
Snel te schakelen zodat het gesprek niet vastloopt.
Gevoelens te spiegelen, zodat de robot zich aanpast aan de stemming van de mens.

Het is een grote stap voorwaarts om robots niet alleen slim te maken, maar ook emotioneel intelligent in de echte, drukke wereld.

Probleemstelling

Het paper adresseert de uitdagingen bij het toepassen van bestaande, visueel bewuste multimodale emotieherkenningsmodellen in de echte wereld voor affectieve mens-robotinteractie (HRI). Hoewel humanoid robots steeds vaker in gesprek treden met mensen (bijv. in zorg en service), missen huidige systemen vaak de nodige robuustheid en real-time capaciteit. De auteurs identificeren twee specifieke "embodiment"-uitdagingen:

Omgevingsruis (Environmental Noise): In meervoudige gespreksscenario's (multiparty) bevat de visuele waarneming van de robot vaak afleidende objecten (zoals meubels) en inactieve sprekers of andere personen in het gezichtsveld. Deze "ruis" kan modellen verwarren, waardoor ze emoties van de actieve spreker niet correct kunnen extraheren. Figuur 1 illustreert hoe inactieve personen met een andere gezichtsuitdrukking de robot kunnen laten reageren op de verkeerde emotie.
Real-time Respons: Interactieve systemen vereisen een lage latentie. De inferentie van grote diepe modellen, communicatie tussen modules en hardwarebeperkingen maken het moeilijk om een respons te geven die snel genoeg is voor een natuurlijk gesprek.

Methodologie: Het UGotMe Systeem

Om deze problemen op te lossen, stellen de auteurs UGotMe voor, een geïntegreerd systeem specifiek ontworpen voor meervoudige gesprekken met een humanoid robot (in dit geval "Ameca" van Engineered Arts). Het systeem bestaat uit drie fasen:

On-robot multimodale perceptie: De robot verzamelt RGB-beelden via een onboard-camera (linkeroog) en audiosignalen via een microfoon. Tekst wordt gegenereerd via Google Cloud Speech-to-Text.
On-edge Vision-Language to Emotion (VL2E) Modeling: Beeld- en tekstdata worden naar een lokale server gestreamd. Hier worden de kernstrategieën toegepast:
- Ontwerpstrategieën voor ruisreductie (Denoising):
  - Gezichtsextractie: In plaats van het hele beeld te verwerken, worden alleen gezichten van sprekers uit de ruwe beelden gehaald om objecten en achtergrondruis te filteren.
  - Aangepaste extractie van actieve gezichten: De robot past zijn hoofdhouding en camera aan op basis van de aankomstrichting van het geluid om zich te focussen op de actieve spreker. Het gezicht dat centraal op de x-as ligt, wordt geselecteerd.
  - Persoonsspecifieke neutrale normalisatie: Om individuele verschillen in gezichtsuitdrukkingen te compenseren, wordt van elke spreker een neutraal gezicht afgetrokken van de sequentie, waardoor alleen de "delta" (verandering) wordt verwerkt.
- Efficiënte gegevensoverdracht: Beelden worden als bytes continu in een aparte thread naar de server gestreamd en gebufferd (laatste T frames), zodat modellen direct kunnen consumeren zonder wachttijd.
- Het VL2E Model: Een Vision-Language to Emotion model dat gezichtsequenties verwerkt via een visuele encoder (InceptionResnetv1) en tekstuele context via een tekstencoder (SimCSE). Het gebruikt self-attention voor intra-modale interactie en een cross-modal transformer voor het fuseren van visuele en tekstuele features. Context wordt gemodelleerd door de laatste $k$ wisselwoorden in te brengen.
Robotic Facial Expression Execution: De herkende emotie wordt direct gemapt naar een vooraf gedefinieerde set van zeven basisemoties (neutraal, verrassing, angst, verdriet, blijdschap, walging, woede) die de robot Ameca kan vertonen, gebaseerd op het principe van "parallelle empathie" (het vertonen van dezelfde emotie als de gesprekspartner).

Belangrijkste Bijdragen

UGotMe Systeem: Een volledig werkend, geëmbodiment systeem dat specifiek is ontworpen om omgevingsruis in meervoudige gesprekken aan te pakken en real-time eisen te voldoen.
VL2E Model: Een nieuw vision-language model dat compatibel is met de voorgestelde denoising-strategieën. Het presteert beter dan bestaande baselines op het MELD-dataset.
Real-world Validatie: De implementatie en demonstratie op de fysieke humanoid robot Ameca, wat de haalbaarheid van affectieve interactie in de echte wereld bewijst.

Resultaten

De auteurs evalueren het systeem op zowel dataset-niveau als in de echte wereld:

Dataset Prestaties (MELD): Op het MELD-dataset (een meervoudig gespreksdataset uit de serie Friends) behaalde VL2E een gewogen gemiddelde F1-score van 67,29%. Dit is een significante verbetering ten opzichte van state-of-the-art baselines zoals DialogueRNN (+10,26%), ConGCN (+7,89%) en FacialMMT (+0,71%).
Ablatie Studies: Het verwijderen van tekst- of visuele modaliteiten leidde tot een sterke prestatiedaling. Ook het weglaten van gezichtsextractie en neutrale normalisatie resulteerde in lagere scores, wat de effectiviteit van de denoising-strategieën bevestigt.
Real-world Deployments: In experimenten met de robot Ameca werd de systeemversie met VL2E vergeleken met een versie die de geavanceerde denoising-strategieën miste (UGotMe-TelME).
- Emotieresponsnauwkeurigheid: Steeg van 50,63% (zonder geavanceerde denoising) naar 77,29% (met UGotMe-VL2E).
- Gebruikerservaring: Steeg van 6,15 naar 7,89 (op een schaal van 0-10).
- Figuur 5 toont visueel hoe een systeem zonder denoising faalt door de emotie van een inactieve spreker te volgen, terwijl UGotMe correct reageert op de actieve spreker.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof overbrugt tussen theoretische multimodale emotieherkenningsmodellen en hun praktische toepassing in fysieke robotsystemen. Door specifiek in te spelen op de beperkingen van "embodied" systemen (ruis in het gezichtsveld en latentie), maken de auteurs het mogelijk voor robots om natuurlijk en empathisch te reageren in complexe, meervoudige sociale situaties.

Beperkingen en toekomstig werk:

Het systeem gebruikt momenteel alleen visuele en tekstuele data; audiosignalen voor emotionele analyse worden nog niet gebruikt.
De robot toont "parallelle empathie" (dezelfde emotie als de ander). Toekomstig werk richt zich op "reactieve empathie" (een gepaste, maar niet noodzakelijk identieke emotie tonen).
Verdere optimalisatie van de schatting van de neutrale staat van de gebruiker is nodig voor nog betere prestaties in de praktijk.