HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

Stel je voor dat je door een druk park wandelt en een vriendelijke robot naar je toe rolt. Stopt hij en wacht hij tot jij hallo zegt, of raadt hij dat je eraan komt en zwaait hij al voordat je dichtbij bent? Dit is de kern van een vakgebied genaamd Human-Robot Interaction (HRI). Het is de wetenschap van het leren aan machines om ons te begrijpen, niet alleen als bewegende objecten, maar als mensen met intenties. Een essentieel onderdeel hiervan is "anticipatie" — het vermogen om te voorspellen wat een mens de volgende stap zal zetten. Denk aan een danspartner die de volgende stap al kent voordat de muziek zelfs maar verandert. Als een robot kan anticiperen op het feit dat je een praatje wilt maken, kan hij nuttiger en minder ongemakkelijk zijn. Maar om deze dans te leren, moet een robot oefenen. En om goed te oefenen, heeft hij een enorme bibliotheek aan echte voorbeelden nodig, niet alleen gereputeerde scènes in een studio.

Dit is precies wat de onderzoekers achter het artikel "HUI360" van plan waren te bouwen. Ze creëerden een enorme, open-source bibliotheek van videodata genaamd HUI360, die momenteel de grootste dataset van zijn soort is om robots te leren raden wanneer mensen met hen willen interageren. In plaats van acteurs in een gecontroleerd lab te gebruiken, stuurden ze een mobiele robot de "wildernis" in — negen verschillende locaties in de echte wereld zoals cafetaria's, gangen en publieke pleinen — gedurende meerdere maanden. De robot, die een 360-graden camera droeg als een fisheye-lens, keek duizenden mensen voorbijlopen. Sommigen negeerden hem; anderen stopten om stickers op te pakken, afval weg te gooien of voedsel te pakken. Het team gebruikte slimme computer vision-tools om automatisch elke persoon te volgen, hun lichaamsbewegingen in kaart te brengen en het exacte moment te markeren waarop ze fysiek contact maakten met de robot. Ze hebben de data zelfs met de hand opgeschoond om fouten te herstellen, zodat de "lessen" die de robot leert, accuraat zijn.

Het artikel introduceert ook een reeks "baselines", die fungeren als de eerste oefentoetsen voor de robot. Ze trainden eenvoudige computerbreinen (met methoden zoals Random Forests en LSTM's) om naar iemands beweging te kijken en te raden of diegene op het punt staat te interageren. De resultaten suggereren dat deze modellen behoorlijk goed kunnen worden in de taak, vooral wanneer ze gedetailleerde lichaamskaarten gebruiken (zoals gezichts- en handkeypoints) om hun voorspellingen te doen. Echter, het artikel belicht ook een lastige realiteit: wanneer de robot wordt getest in een compleet nieuwe omgeving die hij nog niet heeft gezien, of wanneer de robot zelf verandert (zoals het vervangen van een vuilnisbakrobot door een servicerebot), wordt de voorspelling wat vager. Het is als een student die een wiskundetoets met uitmuntendheid heeft gemaakt in één klaslokaal, maar struikelt wanneer de leraar naar een andere kamer verhuist. De auteurs laten zien dat hoewel huidige methoden werken, ze veel beter moeten worden in het aanpassen aan nieuwe plaatsen en nieuwe robotlichamen om echt nuttig te zijn in de echte wereld.

Cruciaal is dat het artikel een harde grens trekt bij wat een "interactie" precies is. De onderzoekers besloten de lastige zaken te negeren, zoals wanneer iemand uit nieuwsgierigheid naar de robot staart of glimlacht. Die momenten zijn te subjectief en te moeilijk om overeenstemming over te bereiken. In plaats daarvan concentreerden ze zich uitsluitend op fysieke interacties — wanneer een persoon daadwerkelijk de robot aanraakt, iets in de bak gooit of een object van de robot pakt. Dit maakt de data objectief en gemakkelijk te verifiëren. Ze betogen dat hoewel we misschien zouden willen dat robots gedachten kunnen lezen of subtiele blikken kunnen begrijpen, beginnen met duidelijke, fysieke acties de enige manier is om een betrouwbare basis voor leren te leggen.

Dus, wat hebben ze gevonden? De HUI360-dataset, die meer dan 1 miljoen annotaties van mensen en hun bewegingen bevat, bewijst dat robots met verrassende nauwkeurigheid kunnen leren fysieke interacties te anticiperen. De modellen die ze testten, konden een interactie een seconde of twee voordat deze plaatsvond voorspellen, wat genoeg tijd is voor een robot om zijn hoofd te draaien of een begroeting voor te bereiden. Maar het artikel suggereert ook dat dit pas het begin is. De modellen hebben moeite wanneer de omgeving drastisch verandert, wat aangeeft dat toekomstige robots veel flexibeler moeten zijn om de chaos van de echte wereld aan te kunnen. Door deze enorme dataset en de tools om deze te creëren vrij te geven, overhandigen de auteurs de sleutels aan de rest van de wetenschappelijke gemeenschap, en nodigen zij iedereen uit om betere, sociaal bewuster wordende robots te bouwen die eindelijk met ons kunnen dansen in de wildernis.