Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

Probleemstelling

Huidige robotbeleid voor mens-robotinteractie (HRI) vertrouwt bijna uitsluitend op taalinstructies om de intentie van de mens over te brengen. Hoewel taal flexibel is, slaagt het er vaak niet in om het volledige spectrum van menselijke communicatie te vatten. In natuurlijke interacties vertrouwen mensen frequent op nonverbale signalen—zoals oogbewegingen, wijsgebaren en lopende activiteiten—om hun verbale verzoeken te onderbouwen. Het uitsluitend vertrouwen op taal dwingt gebruikers om volledig gespecificeerde, uitgebreide beschrijvingen te geven (bijv. "Geef me het metalen profiel met de zeshoekige punt dat links van de groene moersleutel ligt"), wat cognitief belastend en onnauwkeurig is. Daartegenover staan bestaande nonverbale benaderingen die vaak moeite hebben met vluchtige of zwakke signalen (bijv. korte blikken) wanneer deze via modulaire pipelines worden verwerkt. De kernuitdaging is het ontwikkelen van een robotframework dat continue stromen van verbale en nonverbale signalen in realtime kan interpreteren om intentie af te leiden en acties natuurlijk uit te voeren.

Methodologie: Het EDITH-framework

De auteurs presenteren EDITH, een robotframework ontworpen om live stromen van het eerste-persoonsperspectief van een mens (egocentrische context), oogbewegingen en spraak te integreren in het controlebeleid van de robot. Het systeem bestaat uit twee hoofdcomponenten: een hardware-opstelling en een hiërarchische beleidsarchitectuur.

1. Hardwaresysteem
EDITH maakt gebruik van Project Aria-brillen die door de menselijke gebruiker worden gedragen. Deze brillen streamen:

• Egocentrische context ($C^{ego}_t$): Eerst-persoons RGB-beelden.
• Gaze-coördinaten: Real-time oogtrackinggegevens geprojecteerd op het videobeeld.
• Spraak: Audio die via een API is getranscribeerd naar taalinstructies ($\ell_t$).
  Deze signalen worden via tijdstempels gesynchroniseerd met de proprioceptieve staat van de robot en camera-observaties ($o_t$), waardoor een uitgelijnde multimodale stroom ontstaat.

2. Hiërarchische Beleidsarchitectuur
Om de rijkdom en ruis van menselijke signalen te verwerken, maakt EDITH gebruik van een hiërarchisch beleid bestaande uit een hoog-niveau planner ($\pi_h$) en een laag-niveau executor ($\pi_l$), verbonden door een asynchrone taakwachtrij ($Q$).

• Hoog-niveau Beleid ($\pi_h$): Geïmplementeerd met een Vision-Language Model (VLM), specifiek Gemini-3.1-Flash-Lite.

  • Input: Het verwerkt een sliding window van de egocentrische context van de mens en taalinstructies. De input wordt gerenderd als een videoclip waarbij gaze-markers over de frames zijn geplaatst en spraak is toegevoegd als tijd-uitgelijnde bijschriften.
  • Functie: $\pi_h$ leidt de intentie van de mens af en ontleedt deze in een sequentie van subtaken.
  • Output: Elke subtaak bestaat uit een paar bestaande uit een fijnmazige instructie (bijv. "Pak de schroevendraaier met de rode handgreep") en een keyframe ($C^{key}$). Het keyframe is een specifiek frame dat is opgehaald uit de inputstroom waar het nonverbale signaal (bijv. de fixatie van de blik of het wijsgebaar) het duidelijkst tot uiting komt. Dit verankert de intentie visueel en lost ambiguïteiten op die taal alleen niet kan oplossen.
  • Mechanisme: Subtaken worden toegevoegd aan een taakwachtrij $Q$. Als er geen intentie wordt gedetecteerd, blijft de wachtrij ongewijzigd.

• Laag-niveau Beleid ($\pi_l$): Geïmplementeerd door het fijn afstemmen van een vooraf getraind Vision-Language-Action (VLA) model ($\pi0.5$).

  • Input: Het ontvangt de huidige observatie van de robot ($o_t$), de subtaakinstructie van de kop van de wachtrij, en het bijbehorende keyframe.
  • Functie: Het voert de subtaak uit door lage-niveau robotacties ($a_t$) en een voltooiingskans ($p_t$) te voorspellen.
  • Mechanisme: Zodra $p_t$ een drempelwaarde overschrijdt, wordt de subtaak uit de wachtrij verwijderd en wordt de volgende uitgevoerd.

3. Trainingsstrategie

• Dataverzameling: Demonstraties worden verzameld waarbij een menselijke acteur (met Aria-bril) interacteert met een robot-teleoperator. De teleoperator vervult verzoeken op basis van de multimodale signalen van de mens. Trajecten worden gesegmenteerd in subtaken en geannoteerd met fijnmazige instructies, keyframes en voltooiingskansen.
• Modality Dropout: Om te voorkomen dat het laag-niveau beleid zich op slechts één modaliteit vertrouwt (bijv. het negeren van het keyframe als de tekst voldoende is), gebruiken de auteurs een modality dropout-strategie tijdens de training. Met gelijke waarschijnlijkheid houden ze ofwel (i) beide modaliteiten aan, (ii) vervangen ze de instructie door een ondergespecificeerde versie (wat dwingt tot vertrouwen op het keyframe), of (iii) vervangen ze het keyframe door een leeg beeld (wat dwingt tot vertrouwen op de instructie).

Belangrijkste Resultaten

De auteurs evalueerden EDITH op drie uitdagende HRI-taken: Muffin-Serving, Tumbler-Sorting en Tool-Passing. In alle taken waren de taalinstructies opzettelijk ondergespecificeerd, waardoor de robot de nonverbale signalen moest interpreteren.

• Prestaties: EDITH behaalde een gemiddelde Success Rate (SR) van 59,7% en een Task Progress (TP) van 84,7%.
• Vergelijking met Baselines:
  • Taal-alleen baselines (end-to-end $\pi^{lang}_l$ en hiërarchisch $\pi^{lang}_h + \pi^{lang}_l$) presteerden slecht, met gemiddelde SR's onder de 6,5%.
  • Een end-to-end beleid dat egocentrische context gebruikt zonder het hiërarchische keyframe-mechanisme ($\pi^{ego+lang}_l$) vertoonde inconsistente prestaties en faalde aanzienlijk in taken waar de menselijke aandacht onderbroken was (bijv. Tool-Passing).
• Ablatie-studies:
  • Het verwijderen van het keyframe veroorzaakte een daling van ongeveer 50% in de succesrate, wat het belang van visuele verankering benadrukt om hallucinaties van de VLM en ambigue formuleringen te voorkomen.
  • Het verwijderen van de egocentrische context (het gebruik van enkel robot-view keyframes) leidde tot een daling van ongeveer 34% door parallax-problemen, waarbij wijsgebaren vanuit het perspectief van de robot ambigu zijn, maar vanuit de mens duidelijk.
• Robuustheid: EDITH behield de prestaties zelfs wanneer mensen afgeleid waren (bijv. door op een telefoon te kijken), terwijl end-to-end baselines significant verslechterden.
• Gebruikersstudie: Een studie met 16 deelnemers toonde aan dat EDITH de instructie-werkbelasting (mentale druk, inspanning, frustratie) aanzienlijk verminderde in vergelijking met taal-alleen baselines ($p < 0.001$). Gebruikers vonden het veel gemakkelijker om intentie over te brengen via korte uitingen en gebaren dan via gedetailleerde verbale beschrijvingen.

Betekenis en Claims

Het artikel beweert dat EDITH de belofte aantoont van het benutten van nonverbale signalen naast verbale instructies om natuurlijke mens-robotinteractie mogelijk te maken. Belangrijkste bijdragen zijn:

1. Integratie van Egocentrische Signalen: Het legt succesvol de eerste-persoons view en oogbewegingen vast en gebruikt deze om robotacties te verankeren, waarmee de beperkingen van tekst-alleen interfaces worden overstegen.
2. Hiërarchisch Ontwerp: De scheiding tussen intentie-inferentie (hoog-niveau) en actie-executie (laag-niveau), gekoppeld aan het gebruik van keyframes, vangt effectief ruisige, vluchtige nonverbale signalen op waar modulaire pipelines of end-to-end modellen moeite mee hebben.
3. Verminderde Gebruikerslast: Door gebruikers toe te staan te vertrouwen op natuurlijke nonverbale signalen, verlaagt het systeem de cognitieve belasting die nodig is om met robots te communiceren aanzienlijk.

De auteurs erkennen beperkingen, waaronder latentie door window-gebaseerde verwerking en een verminderde generalisatie naar gebruikers met fysieke eigenschappen (bijv. lengte) die aanzienlijk verschillen van die in de trainingsdata, wat wijst op toekomstig werk in diverse dataverzameling en real-time streaming VLMs.