Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

Problemstellung

Aktuelle Roboter-Policies für die Mensch-Roboter-Interaktion (HRI) verlassen sich fast ausschließlich auf sprachliche Anweisungen, um menschliche Intentionen zu vermitteln. Während Sprache flexibel ist, erfasst sie oft nicht das volle Spektrum der menschlichen Kommunikation. In natürlichen Interaktionen verlassen sich Menschen häufig auf nonverbale Signale – wie Blickrichtung, Zeigegesten und laufende Aktivitäten –, um ihre verbalen Anfragen zu kontextualisieren. Die ausschließliche Abhängigkeit von Sprache zwingt Nutzer dazu, vollständig spezifizierte, wortreiche Beschreibungen zu liefern (z. B. „Gib mir das Metallprofil mit der hexagonalen Spitze, das links neben dem grünen Schraubenschlüssel liegt“), was kognitiv belastend und unpräzise ist. Umgekehrt haben bestehende nonverbale Ansätze oft Schwierigkeiten mit transienten oder schwachen Signalen (z. B. kurze Blicke), wenn diese über modulare Pipelines verarbeitet werden. Die Kernherausforderung besteht darin, ein Robotik-Framework zu entwickeln, das kontinuierliche Ströme verbaler und nonverbaler Signale in Echtzeit gemeinsam interpretieren kann, um Intentionen zu inferieren und Handlungen natürlich auszuführen.

Methodik: Das EDITH-Framework

Die Autoren präsentieren EDITH, ein Roboter-Framework, das darauf ausgelegt ist, Live-Streams der erstpersönlichen Sicht eines Menschen (egozentrischer Kontext), des Blickwinkels (Gaze) und der Sprache in die Steuerungs-Policy des Roboters zu integrieren. Das System besteht aus zwei Hauptkomponenten: einem Hardware-Setup und einer hierarchischen Policy-Architektur.

1. Hardwaresystem
EDITH nutzt Project Aria Brillen, die vom menschlichen Nutzer getragen werden. Diese Brillen streamen:

• Egozentrischen Kontext ($C^{ego}_t$): Erstpersönliche RGB-Bilder.
• Blickkoordinaten (Gaze Coordinates): Echtzeit-Eye-Tracking-Daten, die auf den Videorahmen projiziert werden.
• Sprache: Audio, das über eine API in Sprachinstruktionen ($\ell_t$) transkribiert wird.
  Diese Signale werden über Zeitstempel mit dem propriozeptiven Zustand und den Kamera-Beobachtungen ($o_t$) des Roboters synchronisiert, wodurch ein ausgerichteter multimodaler Strom entsteht.

2. Hierarchische Policy-Architektur
Um die Komplexität und das Rauschen der menschlichen Signale zu bewältigen, verwendet EDITH eine hierarchische Policy, die aus einer High-Level-Planung ($\pi_h$) und einer Low-Level-Ausführung ($\pi_l$) besteht, welche durch eine asynchrone Aufgabenwarteschlange ($Q$) verbunden sind.

• High-Level Policy ($\pi_h$): Implementiert mittels eines Vision-Language-Modells (VLM), spezifisch Gemini-3.1-Flash-Lite.

  • Input: Sie verarbeitet ein gleitendes Fenster des egozentrischen Kontexts des Menschen und der Sprachinstruktionen. Der Input wird als Videoclip gerendert, bei dem Gaze-Marker auf die Frames überlagert und die Sprache als zeitlich ausgerichtete Bildunterschriften hinzugefügt werden.
  • Funktion: $\pi_h$ inferiert die menschliche Intention und zerlegt sie in eine Sequenz von Subtasks.
  • Output: Jeder Subtask besteht aus einem Paar, bestehend aus einer feingranularen Instruktion (z. B. „Nimm den Schraubendreher mit dem roten Griff auf“) und einem Keyframe ($C^{key}$). Der Keyframe ist ein spezifischer Frame aus dem Input-Stream, in dem das nonverbale Signal (z. B. die Fixierung des Blicks oder die Zeigegeste) am deutlichsten ausgeprägt ist. Dies kontextualisiert die Intention visuell und löst Unklarheiten auf, die Sprache allein nicht beheben kann.
  • Mechanismus: Subtasks werden an die Aufgabenwarteschlange $Q$ angehängt. Wenn keine Intention erkannt wird, bleibt die Warteschlange unverändert.

• Low-Level Policy ($\pi_l$): Implementiert durch das Fine-Tuning eines vortrainierten Vision-Language-Action (VLA)-Modells ($\pi0.5$).

  • Input: Sie erhält die aktuelle Beobachtung des Roboters ($o_t$), die Instruktion des aktuellen Subtasks aus der Warteschlange und den zugehörigen Keyframe.
  • Funktion: $\pi_l$ führt den Subtask aus, indem sie Low-Level-Roboteraktionen ($a_t$) und eine Abschlusswahrscheinlichkeit ($p_t$) vorhersagt.
  • Mechanismus: Sobald $p_t$ einen Schwellenwert überschreitet, wird der Subtask aus der Warteschlange entfernt und der nächste ausgeführt.

3. Trainingsstrategie

• Datenerhebung: Demonstrationen werden gesammelt, bei denen ein menschlicher Akteur (mit Aria-Brille) mit einem Roboter-Teleoperator interagiert. Der Teleoperator erfüllt Anfragen basierend auf den multimodalen Signalen des Menschen. Die Trajektorien werden in Subtasks segmentiert und mit feingranularen Instruktionen, Keyframes und Abschlusswahrscheinlichkeiten annotiert.
• Modality Dropout: Um zu verhindern, dass die Low-Level-Policy sich nur auf eine Modalität verlässt (z. B. den Keyframe ignoriert, wenn der Text ausreichend ist), verwenden die Autoren während des Trainings eine Modality-Dropout-Strategie. Mit gleicher Wahrscheinlichkeit werden entweder: (i) beide Modalitäten beibehalten, (ii) die Instruktion durch eine unterbestimmte Version ersetzt (was die Abhängigkeit vom Keyframe erzwingt), oder (iii) der Keyframe durch ein leeres Bild ersetzt (was die Abhängigkeit von der Instruktion erzwingt).

Wichtigste Ergebnisse

Die Autoren evaluierten EDITH in drei anspruchsvollen HRI-Aufgaben: Muffin-Serving, Tumbler-Sorting und Tool-Passing. In allen Aufgaben waren die Sprachinstruktionen absichtlich unterbestimmt, sodass der Roboter die nonverbalen Hinweise interpretieren musste.

• Leistung: EDITH erreichte eine durchschnittliche Erfolgsrate (Success Rate, SR) von 59,7 % und einen Task Progress (TP) von 84,7 %.
• Vergleich mit Baselines:
  • Rein sprachbasierte Baselines (End-to-End $\pi^{lang}_l$ und hierarchisch $\pi^{lang}_h + \pi^{lang}_l$) schnitten schlecht ab, mit durchschnittlichen SR-Werten unter 6,5 %.
  • Eine End-to-End-Policy, die den egozentrischen Kontext ohne den hierarchischen Keyframe-Mechanismus nutzt ($\pi^{ego+lang}_l$), zeigte eine inkonsistente Leistung und scheiterte signifikant in Aufgaben, in denen die menschliche Aufmerksamkeit intermittierend war (z. B. Tool-Passing).
• Ablationsstudien:
  • Das Entfernen des Keyframes verursachte einen Abfall der Erfolgsrate um ~50 %, was die Notwendigkeit der visuellen Erdung hervorhebt, um Halluzinationen des VLM und mehrdeutige Formulierungen zu vermeiden.
  • Das Entfernen des egozentrischen Kontexts (Verwendung von Robotensicht-Keyframes) führte zu einem Abfall um ~34 % aufgrund von Parallaxenproblemen, bei denen Zeigegesten aus der Sicht des Roboters mehrdeutig, aus der Sicht des Menschen jedoch eindeutig sind.
• Robustheit: EDITH behielt seine Leistung auch bei Ablenkung des Menschen (z. B. beim Checken eines Telefons) bei, während End-to-End-Baselines signifikant degradierten.
• User Study: Eine Studie mit 16 Teilnehmern zeigte, dass EDITH die Instruktionsbelastung (mentale Anforderung, Aufwand, Frustration) im Vergleich zu rein sprachbasierten Baselines signifikant reduzierte ($p < 0.001$). Nutzer fanden es wesentlich einfacher, Intentionen über kurze Äußerungen und Gesten zu vermitteln als über detaillierte verbale Beschreibungen.

Bedeutung und Behauptungen

Das Paper behauptet, dass EDITH das Potenzial aufzeigt, nonverbale Signale neben verbalen Instruktionen zu nutzen, um eine natürliche Mensch-Roboter-Interaktion zu ermöglichen. Die wichtigsten Beiträge sind:

1. Integration egozentrischer Signale: Es erfasst und nutzt erfolgreich die kontinuierliche Erstpersönliche Sicht und den Blick (Gaze), um Roboteraktionen zu erden, und geht damit über die Grenzen textbasierter Schnittstellen hinaus.
2. Hierarchisches Design: Die Trennung von Intent-Inferenz (High-Level) und Aktionsausführung (Low-Level), kombiniert mit der Verwendung von Keyframes, bewältigt effektiv verrauschte, transiente nonverbale Signale, mit denen modulare Pipelines oder End-to-End-Modelle Schwierigkeiten haben.
3. Reduzierte Nutzerbelastung: Durch die Erlaubnis, sich auf natürliche nonverbale Hinweise zu verlassen, senkt das System die kognitive Last, die für die Kommunikation mit Robotern erforderlich ist, erheblich.

Die Autoren räumen Einschränkungen ein, darunter Latenzzeiten durch fensterbasierte Verarbeitung und eine reduzierte Generalisierbarkeit auf Nutzer mit signifikant unterschiedlichen physischen Merkmalen (z. B. Körpergröße) als die in den Trainingsdaten, was auf zukünftige Arbeiten in diverser Datenerhebung und Echtzeit-Streaming-VLMs hindeutet.