Hybrid Attention Estimation Pipeline for Adaptive HRI Using an Expressive Robotic Head

Stellen Sie sich eine Welt vor, in der Roboter nicht nur klobige Maschinen sind, die starren Skripten folgen, sondern soziale Partner, die tatsächlich „den Raum lesen“ können. Dies ist das Herzstück der Mensch-Roboter-Interaktion (HRI), einem Wissenschaftszweig, der sich darauf konzentriert, Maschinen beizubringen, wie man sich wie ein höflicher, aufmerksamer Freund verhält. Damit ein Roboter ein guter Gesprächspartner ist, muss er das Konzept der visuellen Aufmerksamkeit verstehen: zu wissen, wann Sie ihn ansehen, wann Sie durch Ihr Handy abgelenkt sind oder wann Sie wegsehen. Denken Sie an einen Tanz; wenn ein Partner aufhört, den anderen anzusehen, wird der Tanz unangenehm. Wenn ein Roboter unterscheiden kann, ob Sie ihn ignorieren oder ob Sie nur kurz auf eine Textnachricht schauen, kann er entscheiden, ob er das Gespräch unterbricht, geduldig wartet oder weiterredet. Diese Arbeit untersucht, wie man einen Roboter baut, der nicht nur Ihr Gesicht sieht, sondern auch versteht, warum Sie vielleicht wegsehen, indem er eine Mischung aus schneller Mathematik und intelligenter KI nutzt, um den Interaktionsfluss natürlich aufrechtzuerhalten.

---

Der Roboter, der weiß, wann Sie gelangweilt sind (und wann Sie nur auf Ihr Handy schauen)

Lernen Sie den „InMoov“-Kopf kennen. Es ist ein 3D-gedrucktes, ausdrucksstarkes Robotergesicht, das seine Augenbrauen, Augenlider und seinen Kiefer bewegen kann, um Emotionen zu zeigen – fast wie eine sehr hochtechnisierte Puppe. Aber ein hübsches Gesicht ist nutzlos, wenn der Roboter im Inneren nicht weiß, was um ihn herum geschieht. Die Forscher hinter dieser Studie wollten ein schwieriges Problem lösen: Wie bringt man einen Roboter dazu, sofort zu reagieren, wenn man wegsieht, ohne dass er verwirrt ist, ob man nur auf sein Telefon schaut oder in den Himmel blickt?

Um dies zu erreichen, bauten sie ein „hybrides“ Gehirn für den Roboter, das wie ein Zweierteam mit sehr unterschiedlichen Aufgaben funktioniert.

Der schnelle Läufer und der weise Beobachter
Stellen Sie sich vor, der Roboter hat zwei Gehirne, die gleichzeitig arbeiten.

1. Der schnelle Läufer (Geometrische Ebene): Dieser Teil ist super schnell. Er nutzt einfache Mathematik, um den Winkel Ihres Kopfes zu verfolmessen. Wenn Ihr Kopf zum Roboter gerichtet ist, ruft der Läufer: „Wir haben Aufmerksamkeit!“ Wenn Sie den Kopf drehen, schreit er: „Aufmerksamkeit verloren!“ Es ist wie ein Schiedsrichter, der pfeift, sobald ein Spieler das Spielfeld verlässt. Er ist schnell und zuverlässig für das Timing, aber er weiß nicht, worauf Sie schauen, sondern nur, wohin Ihr Kopf zeigt.
2. Der weise Beobachter (Semantische Ebene): Dieser Teil ist langsamer, aber viel klüger. Er nutzt eine leistungsstarke KI, ein Vision-Language-Modell (VLM). Anstatt nur Winkel zu messen, betrachtet er das gesamte Bild und sagt: „Oh, die Person schaut auf ihr Telefon“ oder „Sie schaut einen Vogel im Baum an.“ Es ist wie ein Freund, der bemerkt, dass Sie gerade eine Nachricht schreiben, und den Kontext versteht.

Die Magie passiert, wenn diese beiden miteinander kommunizieren. Der „schnelle Läufer“ steuert die unmittelbaren Aktionen des Roboters (wie das Pausieren einer Geschichte), während der „weise Beobachterute“ zuschaut, um sicherzustellen, dass der Roboter keinen Fehler macht.

Das Experiment: 10 Menschen, 40 Chats
Das Team testete dieses System mit 10 Freiwilligen. Jede Person saß für vier verschiedene Szenarien vor dem Roboter. In einigen Tests chattete der Roboter einfach ganz normal. In anderen war der Roboter „adaptiv“, was bedeutete, dass er beabsichtigt war, zu bemerken, ob die Person abgelenkt wurde, und das Gespräch zu pausieren, bis sie wieder zurückblickte.

Die Ergebnisse waren überraschend reibungslos. In jeder der 40 Versuche erkannte der Roboter die Person erfolgreich, bemerkte, dass sie aufmerksam war, und begann das Gespräch. Es dauerte etwa 1,73 Sekunden, um die Person zu erfassen, und 4,74 Sekunden, um zu bestätigen, dass sie den Roboter ansah, bevor das Sprechen begann.

Wenn der Roboter im „adaptiven Modus“ war und die Person vorgab, abgelenkt zu sein (wie beim Blick auf ein Telefon), reagierte der Roboter perfekt. In dem Test, in dem Ablenkungen geplant waren, unterbrach der Roboter das Gespräch in 10 von 10 Fällen und setzte es in 9 von 10 Fällen erfolgreich fort. Der Roboter fror nicht einfach ein; er wartete geduldig und sprang in dem Moment wieder in den Chat, als die Person wieder zurückblickte.

Warum zwei Gehirne besser sind als eines
Hier ist der interessanteste Teil: Der „schnelle Läufer“ und der „weise Beobachter“ waren sich nicht immer einig. In etwa der Hälfte der Momente, in denen sie kontrollierten, gaben sie unterschiedliche Beschreibungen dessen, was geschah. Zum Beispiel könnte der schnelle Läufer sagen: „Kopf ist weggedreht, keine Aufmerksamkeit!“, während der weise Beobachter sagt: „Sie schauen auf ein Telefon.“

Die Forscher fanden heraus, dass diese beiden Ebenen nicht-redundante Informationen lieferten. Das bedeutet, dass der „weise Beobachter“ nicht einfach nur wiederholte, was der „schnelle Läufer“ sagte, sondern neue, nützliche Details hinzufügte, die die Mathematik allein nicht sehen konnte. Dies beweist, dass man sich nicht nur auf eine Art von Sensor verlassen kann, um die menschliche Aufmerksamkeit zu verstehen. Man braucht die Geschwindigkeit der Geometrie für das richtige Timing und die Intelligenz der KI für den Kontext.

Was der Roboter nicht tat
Es ist wichtig anzumerken, was diese Studie nicht bewiesen hat. Die Forscher gaben zu, dass sie keine „Ground Truth“ (eine perfekte, von Menschen annotierte Aufzeichnung dessen, was die Person in jedem Moment dachte) hatten, um die Ergebnisse abzugleichen. Daher kann man zwar sagen, dass der Roboter gut funktionierte, aber sie können nicht mit Sicherheit sagen, ob jede einzelne Pause perfekt auf den exakten Moment der Ablenkung des Menschen abgestimmt war. Sie haben auch nicht getestet, wie das Verhalten des Roboters die Menschen fühlte – ob sie es gruselig oder charmant fanden. Das ist eine Aufgabe für die nächste Runde von Experimenten.

Das Fazit
Diese Studie legt nahe, dass der beste Weg, einen sozialen Roboter zu bauen, nicht darin besteht, sich zwischen schneller Mathematik und intelligenter KI zu entscheiden, sondern beides zu nutzen. Indem ein schnelles System das Timing übernimmt und ein intelligentes System den Kontext handhabt, kann der Roboter eher wie ein natürlicher Gesprächspartner agieren – einer, der weiß, wann er pausieren muss, wann er warten muss und wann er die Geschichte fortsetzen sollte. Es ist ein kleiner Schritt hin zu Robotern, die uns nicht nur sehen, sondern uns wirklich verstehen.