Hybrid Attention Estimation Pipeline for Adaptive HRI Using an Expressive Robotic Head

Stel je een wereld voor waarin robots niet alleen logge machines zijn die rigide scripts volgen, maar sociale partners die daadwerkelijk de "vibe" kunnen aanvoelen. Dit is de kern van Human-Robot Interaction (HRI), een wetenschappelijk veld dat zich toewijdt aan het leren van machines hoe ze zich gedragen als beleefde, attente vrienden. Om een goede gesprekspartner te zijn, moet een robot het concept van visuele aandacht begrijpen: weten wanneer je naar hem kijkt, wanneer je wordt afgeleid door je telefoon, of wanneer je wegkijkt. Denk erbij als een dans; als één partner niet meer naar de ander kijkt, wordt de dans ongemakkelijk. Als een robot het verschil kan zien tussen jou die hem negeert en jou die slechts even naar een tekstbericht kijkt, kan hij beslissen of hij het gesprek pauzeert, geduldig wacht of doorgaat met praten. Dit artikel onderzoekt hoe je een robot bouwt die niet alleen je gezicht ziet, maar ook begrijpt waarom je misschien wegkijkt, met behulp van een combinatie van snelle wiskunde en slimme AI om de interactie natuurlijk te laten verlopen.

---

De robot die weet wanneer je je verveelt (en wanneer je gewoon op je telefoon kijkt)

Maak kennis met de "InMoov" kop. Het is een 3D-geprinte, expressieve robotkop die zijn wenkbrauwen, oogleden en kaak kan bewegen om emoties te tonen, een beetje zoals een zeer technologische pop. Maar een mooi gezicht is nutteloos als de robot van binnen niet weet wat er om hem heen gebeurt. De onderzoekers achter deze studie wilden een lastig probleem oplossen: Hoe laat je een robot direct reageren wanneer iemand wegkijkt, zonder dat de robot in de war raakt of je gewoon op je telefoon kijkt versus wanneer je naar de lucht kijkt?

Om dit te doen, bouwden ze een "hybride" brein voor de robot, dat werkt als een tweemans-team met twee heel verschillende taken.

De Snelle Renner en de Wijze Waarnemer
Stel je voor dat de robot twee hersenen heeft die tegelijkertijd werken.

1. De Snelle Renner (Geometrische laag): Dit deel is razendsnel. Het gebruikt eenvoudige wiskunde om de hoek van je hoofd te volgen. Als je hoofd naar de robot gericht is, roept de renner: "Aandacht aanwezig!" Als je je hoofd draait, roept hij: "Aandacht verloren!" Het is als een scheidsrechter die op de fluit blaast zodra een speler buiten de lijnen stapt. Het is snel en betrouwbaar voor de timing, maar het weet niet waar je naar kijkt, alleen waarheen je hoofd wijst.
2. De Wijze Waarnemer (Semantische laag): Dit deel is langzamer maar veel slimmer. Het gebruikt een krachtige AI genaamd een Vision-Language Model (VLM). In plaats van alleen hoeken te meten, kijkt het naar het hele plaatje en zegt: "Oh, de persoon kijkt naar zijn telefoon," of "Ze kijken naar een vogel in de boom." Het is als een vriend die merkt dat je aan het appen bent en de context begrijpt.

De magie gebeurt wanneer deze twee met elkaar communiceren. De "Snelle Renner" regelt de directe acties van de robot (zoals het pauzeren van een verhaal), terwijl de "Wijze Waarnemer" toezicht houdt om te controleren of de robot geen fout maakt.

Het Experiment: 10 Mensen, 40 Gesprekken
Het team testte dit systeem met 10 vrijwilligers. Elke persoon zat voor de robot tijdens vier verschillende scenario's. In sommige tests praatte de robot gewoon normaal. In andere gevallen was de robot "adaptief", wat betekende dat hij in de bedoeling was om te merken wanneer iemand werd afgeleid en het gesprek te pauzeren totdat diegene weer terugkeek.

De resultaten waren verrassend soepel. In alle 40 proeven slaagde de robot erin de persoon te spotten, merkte dat de persoon aandacht gaf en begon het gesprek. Het duurde ongeveer 1,73 seconden om de persoon te spotten en 4,74 seconden om te bevestigen dat de persoon naar de robot keek voordat het gesprek begon.

Wanneer de robot in "adaptieve modus" was en de persoon deed alsof hij werd afgeleid (zoals bij het kijken op een telefoon), reageerde de robot perfect. In de test waarbij afleidingen gepland waren, pauzeerde de robot het gesprek in 10 van de 10 gevallen en hervatte het succesvol in 9 van de 10 gevallen. De robot bevroor niet alleen; hij wachtte geduldig en sprong er weer vol in op het moment dat de persoon weer terugkeek.

Waarom twee hersenen beter zijn dan één
Dit is het meest interessante deel: de "Snelle Renner" en de "Wijze Waarnemer" waren het niet altijd met elkaar eens. In ongeveer de helft van de momenten dat ze controleerden, gaven ze verschillende beschrijvingen van wat er gebeurde. Bijvoorbeeld: de Snelle Renner zegt: "Hoofd is weggedraaid, geen aandacht!", terwijl de Wijze Waarnemer zegt: "Ze kijken naar een telefoon."

De onderzoekers ontdekten dat deze twee lagen niet-redundante informatie boden. Dit betekent dat de "Wijze Waarnemer" niet simpelweg herhaalde wat de "Snelle Renner" zei; het voegde nieuwe, nuttige details toe die de wiskunde alleen niet kon zien. Dit bewijst dat je niet kunt vertrouwen op slechts één type sensor om menselijke aandacht te begrijpen. Je hebt de snelheid van geometrie nodig om de timing goed te houden, en de intelligentie van AI om de context te begrijpen.

Wat de robot niet deed
Het is belangrijk om te vermelden wat deze studie niet heeft bewezen. De onderzoekers gaven toe dat ze geen "ground truth" hadden (een perfect, door mensen geannoteerd verslag van exact wat de persoon op elk moment dacht) om tegen te controleren. Dus hoewel de robot goed leek te werken, kunnen ze niet met zekerheid zeggen of elke pauze perfect getimed was aan het exacte moment van afleiding van de mens. Ze hebben ook niet getest hoe het gedrag van de robot de mensen liet voelen — of ze het bijvoorbeeld eng of charmant vonden. Dat is een taak voor de volgende ronde van experimenten.

De Conclusie
Deze studie suggereert dat de beste manier om een sociale robot te bouwen, niet is om te kiezen tussen snelle wiskunde of slimme AI, maar om beide te gebruiken. Door een snel systeem de timing te laten regelen en een slim systeem de context te laten begrijpen, kan de robot handelen als een natuurlijke gesprekspartner — een die weet wanneer hij moet pauzeren, wanneer hij moet wachten en wanneer hij het verhaal moet voortzetten. Het is een kleine stap naar robots die ons niet alleen zien, maar ons ook echt begrijpen.