HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

Stellen Sie sich vor, Sie spazieren durch einen belebten Park und ein freundlicher Roboter rollt auf Sie zu. Bleibt er stehen und wartet darauf, dass Sie Hallo sagen, oder errät er, dass Sie kommen, und winkt Ihnen zu, noch bevor Sie ganz nah dran sind? Dies ist der Kern eines Feldes namens Mensch-Roboter-Interaktion (HRI). Es ist die Wissenschaft, Maschinen beizubringen, uns zu verstehen – nicht nur als bewegliche Objekte, sondern als Menschen mit Absichten. Ein wesentlicher Bestandteil hiervon ist die „Antizipation“ – die Fähigkeit vorherzusagen, was ein Mensch als Nächstes tun wird. Denken Sie an einen Tanzpartner, der den nächsten Schritt kennt, noch bevor sich die Musik ändert. Wenn ein Roboter antizipieren kann, dass Sie sich unterhalten möchten, kann er hilfreicher und weniger unbeholfen sein. Aber damit ein Roboter diesen Tanz lernen kann, muss er üben. Und um gut zu üben, braucht er eine riesige Bibliothek aus realen Beispielen, nicht nur einstudierte Szenen in einem Studio.

Genau das wollten die Forscher hinter dem Paper „HUI3360“ aufbauen. Sie erschufen eine riesige Open-Source-Bibliothek aus Videodaten namens HUI360, die derzeit der größte Datensatz ihrer Art ist, um Robotern beizubringen, wie sie erraten, wann Menschen mit ihnen interagieren wollen. Anstatt Schauspieler in einem kontrollierten Labor einzusetzen, schickten sie einen mobilen Roboter in die „Wildnis“ – an neun verschiedene reale Orte wie Cafeterien, Flure und öffentliche Plätze – über mehrere Monate hinweg. Der Roboter, der eine 360-Grad-Kamera wie ein Fischaugenobjektiv trug, beobachtete tausende Menschen, die vorbeigingen. Einige ignorierten ihn; andere hielten an, um Aufkleber aufzunehmen, Müll abzuwerfen oder Essen zu nehmen. Das Team nutzte intelligente Computer-Vision-Tools, um jede Person automatisch zu verfolgen, ihre Körperbewegungen zu kartieren und den exakten Moment zu markieren, in dem sie den Roboter physisch berührten. Sie bereinigten die Daten sogar von Hand, um Fehler zu korrigieren und sicherzustellen, dass die „Lektionen“, die der Roboter lernt, präzise sind.

Das Paper stellt auch eine Reihe von „Baselines“ vor, die wie die ersten Probetests für den Roboter sind. Sie trainierten einfache computergestützte Gehirne (unter Verwendung von Methoden wie Random Forests und LSPs), um einer Person Bewegungen zuzusehen und zu erraten, ob sie kurz davor steht, zu interagieren. Die Ergebnisse legen nahe, dass diese Modelle ziemlich gut bei der Sache sein können, insbesondere wenn sie detaillierte Körperkarten (wie Gesicht- und Hand-Keypoints) nutzen, um ihre Vermutungen anzustellen. Das Paper hebt jedoch auch eine knifflige Realität hervor: Wenn der Roboter in einer völlig neuen Umgebung getestet wird, die er noch nicht gesehen hat, oder wenn sich der Roboter selbst verändert (wie etwa der Austausch eines Mülleimer-Roboters durch einen Serviceroboter), wird die Vorhersage etwas unschärfer. Es ist wie ein Schüler, der in einem Klassenzimmer eine Mathearbeit mit Bravour bestand, aber ins Straucheln geriet, als der Lehrer in ein anderes Zimmer wechselte. Die Autoren zeigen, dass die aktuellen Methoden zwar funktionieren, aber viel besser darin werden müssen, sich an neue Orte und neue Roboter-Körper anzupassen, um im echten Leben wirklich nützlich zu sein.

Entscheidend ist, dass das Paper eine klare Linie in den Sand zieht, was als „Interaktion“ gilt. Die Forscher entschieden sich, die schwierigen Dinge zu ignorieren, wie etwa wenn jemand den Roboter aus Neugierde nur anstarrt oder ihn anlächelt. Diese Momente sind zu subjektiv und schwer eindeutig zu definieren. Stattdessen konzentrierten sie sich ausschließlich auf physische Interaktionen – wenn eine Person tatsächlich den Roboter berührt, etwas in seinen Behälter wirft oder ein Objekt von ihm aufnimmt. Dies macht die Daten objektiv und leicht verifizierbar. Sie argumentieren, dass wir uns zwar wünschen mögen, dass Roboter Gedanken lesen oder subtile Blicke verstehen können, aber mit klaren, physischen Handlungen zu beginnen, der einzige Weg ist, um ein zuverlässiges Fundament für das Lernen zu schaffen.

Was haben sie also herausgefunden? Der HUI360-Datensatz, der über 1 Million Annotationen von Menschen und deren Bewegungen enthält, beweist, dass Roboter physische Interaktionen mit überraschender Genauigkeit antizipieren können. Die von ihnen getesteten Modelle konnten eine Interaktion eine Sekunde oder zwei vor ihrem Eintreten vorhersagen, was genug Zeit ist, damit ein Roboter den Kopf dreht oder eine Begrüßung vorbereitet. Das Paper legt jedoch auch nahe, dass dies erst der Anfang ist. Die Modelle haben Schwierigkeiten, wenn sich die Umgebung drastisch verändert, was darauf hindeutet, dass zukünftige Roboter viel flexibler sein müssen, um mit dem Chaos der realen Welt umzugehen. Indem sie diesen massiven Datensatz und die Werkzeuge zu dessen Erstellung veröffentlichen, übergeben die Autoren den Rest der wissenschaftlichen Gemeinschaft die Schlüssel und laden alle dazu ein, bessere, sozial bewusstere Roboter zu bauen, die endlich lernen können, mit uns in der Wildnis zu tanzen.