Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

Problematica

Le attuali policy robotiche per l'interazione uomo-robot (HRI) si affidano quasi esclusivamente a istruzioni verbali per trasmettere l'intento umano. Sebbene il linguaggio sia flessibile, spesso non riesce a catturare l'intero spettro della comunicazione umana. Nelle interazioni naturali, gli esseri umani fanno spesso affidamento su segnali non verbali — come lo sguardo, i gesti di puntamento e le attività in corso — per contestualizzare le loro richieste verbali. Affidarsi solo al linguaggio costringe gli utenti a fornire descrizioni completamente specificate e verbiose (ad esempio, "Dammi il profilo metallico con la punta esagonale situato a sinistra della chiave inglese verde"), il che è cognitivamente gravoso e impreciso. Al contrario, gli approcci non verbali esistenti spesso faticano a gestire segnali transitori o deboli (ad esempio, sguardi brevi) quando elaborati attraverso pipeline modulari. La sfida centrale è sviluppare un framework robotico in grado di interpretare congiuntamente flussi continui di segnali verbali e non verbali in tempo reale per inferire l'intento ed eseguire azioni in modo naturale.

Metodologia: Il Framework EDITH

Gli autori presentano EDITH, un framework robotico progettato per integraare i flussi live della visione in prima persona di un essere umano (contesto egocentrico), lo sguardo e il parlato nella policy di controllo del robot. Il sistema comprende due componenti principali: un setup hardware e un'architettura di policy gerarchica.

1. Sistema Hardware
EDITH utilizza occhiali Project Aria indossati dall'utente umano. Questi occhiali trasmettono:

• Contesto Egocentrico ($C^{ego}_t$): Immagini RGB in prima persona.
• Coordinate dello Sguardo: Dati di eye-tracking in tempo reale proiettati sul fotogramma video.
• Parlato: Audio trascritto in istruzioni linguistiche ($\ell_t$) tramite un'API.
  Questi segnali sono sincronizzati con lo stato propriocettivo del robot e le osservazioni della telecamera ($o_t$) tramite timestamp, creando un flusso multimodale allineato.

2. Architettura della Policy Gerarchica
Per gestire la ricchezza e il rumore dei segnali umani, EDITH impiega una policy gerarchica composta da un pianificatore di alto livello ($\pi_h$) e un esecutore di basso livello ($\pi_l$), collegati da una coda di task asincrona ($Q$).

• Policy di Alto Livello ($\pi_h$): Implementata utilizzando un Modello Vision-Language (VLM), specificamente Gemini-3.1-Flash-Lite.

  • Input: Elabora una finestra scorrevole del contesto egocentrico dell'uomo e delle istruzioni linguistiche. L'input è renderizzato come un clip video dove i marcatori dello sguardo sono sovrapposti ai fotogrammi e il parlato è aggiunto come didascalie allineate temporalmente.
  • Funzione: $\pi_h$ inferisce l'intento umano e lo decompone in una sequenza di subtask.
  • Output: Ogni subtask è una coppia composta da un'istruzione fine-grained (ad esempio, "Prendi il cacciavite con il manico rosso") e un keyframe ($C^{key}$). Il keyframe è un fotogramma specifico recuperato dal flusso di input in cui il segnale non verbale (ad esempio, la fissazione dello sguardo o il gesto di puntamento) è espresso più chiaramente. Questo ancora l'intento visivamente, risolvendo le ambiguità che il solo linguaggio non può risolvere.
  • Meccanismo: I subtask vengono aggiunti a una coda di task $Q$. Se non viene rilevato alcun intento, la coda rimane invariata.

• Policy di Basso Livello ($\pi_l$): Implementata tramite il fine-tuning di un modello pre-addestrato Vision-Language-Action (VLA) ($\pi0.5$).

  • Input: Riceve l'osservazione corrente del robot ($o_t$), l'istruzione del subtask dalla testa della coda e il relativo keyframe.
  • Funzione: $\pi_l$ esegue il subtask predicendo le azioni robotiche di basso livello ($a_t$) e una probabilità di completamento ($p_t$).
  • Meccanismo: Una volta che $p_t$ supera una soglia, il subtask viene rimosso dalla coda e viene eseguito il successivo.

3. Strategia di Addestramento

• Raccolta Dati: Le dimostrazioni sono raccolte in cui un attore umano (che indossa occhiali Aria) interagisce con un teleoperatore robotico. Il teleoperatore soddisfa le richieste basandosi sui segnali multimodali dell'uomo. Le traiettorie sono segmentate in subtask e annotate con istruzioni fine-grained, keyframe e probabilità di completamento.
• Modality Dropout: Per evitare che la policy di basso livello si affidi a una sola modalità (ad esempio, ignorando il keyframe se il testo è sufficiente), gli autori utilizzano una strategia di modality dropout durante l'addestramento. Con uguale probabilità, essi: (i) mantengono entrambe le modalità, (ii) sostituiscono l'istruzione con una versione sottospecificata (forzando la dipendenza dal keyframe), o (iii) sostituiscono il keyframe con un'immagine vuota (forzando la dipendenza dall'istruzione).

Risultati Chiave

Gli autori hanno valutato EDITH su tre compiti HRI impegnativi: Muffin-Serving, Tumbler-Sorting e Tool-Passing. In tutti i compiti, le istruzioni linguistiche erano intenzionalmente sottospecificate, richiedendo al robot di interpretare gli indizi non verbali.

• Performance: EDITH ha raggiunto un Success Rate (SR) medio del 59,7% e un Task Progress (TP) dell'84,7%.
• Confronto con i Baseline:
  • I baseline basati solo sul linguaggio (end-to-end $\pi^{lang}_l$ e gerarchico $\pi^{lang}_h + \pi^{lang}_l$) hanno performato scarsamente, con SR medi inferiori al 6,5%.
  • Una policy end-to-end che utilizza il contesto egocentrico senza il meccanismo di keyframe gerarchico ($\pi^{ego+lang}_l$) ha mostrato prestazioni inconsistenti, fallendo significativamente in compiti in cui l'attenzione umana era intermittente (ad esempio, Tool-Passing).
• Studi di Ablazione:
  • Rimuovendo il keyframe, si è verificato un calo del successo di circa il 50%, evidenziando la necessità del grounding visivo per prevenire le allucinazioni del VLM e le formulazioni ambigue.
  • Rimuovendo il contesto egocentrico (utilizzando solo i keyframe dalla vista del robot), si è verificato un calo del ~34% dovuto a problemi di parallasse, dove i gesti di puntamento sono ambigui dalla prospettiva del robot ma chiari da quella dell'uomo.
• Robustezza: EDITH ha mantenuto le prestazioni anche quando gli umani erano distratti (ad esempio, controllando un telefono), mentre i baseline end-to-end sono degradati significativamente.
• Studio Utente: Uno studio con 16 partecipanti ha mostrato che EDITH riduce significativamente il carico di istruzioni (richiesta mentale, sforzo, frustrazione) rispetto ai baseline basati solo sul linguaggio ($p < 0.001$). Gli utenti hanno trovato molto più facile comunicare l'intento tramite brevi espressioni e gesti rispetto a descrizioni verbali dettagliate.

Significato e Rivendicazioni

Il documento afferma che EDITH dimostra la promessa di sfruttare i segnali non verbali insieme alle istruzioni verbali per abilitare una interazione uomo-robot naturale. I contributi chiave sono:

1. Integrazione dei Segnali Egocentrici: Cattura e utilizza con successo la visione in prima persona continua e lo sguardo per ancorare le azioni del robot, andando oltre i limiti delle interfacce basate solo sul testo.
2. Design Gerarchico: La separazione tra l'inferenza dell'intento (alto livello) e l'esecuzione dell'azione (basso livello), unita all'uso di keyframe, gestisce efficacementamente i segnali non verbali rumorosi e transitori che le pipeline modulari o i modelli end-to-end faticano a gestire.
3. Riduzione del Carico Utente: Consentendo agli utenti di fare affidamento su naturali indizi non verbali, il sistema riduce significativamente il carico cognitivo richiesto per comunicare con i robot.

Gli autori riconoscono i limiti, inclusa la latenza dovuta all'elaborazione basata su finestre e la ridotta generalizzazione verso utenti con attributi fisici significativamente diversi (ad esempio, l'altezza) rispetto a quelli nei dati di addestramento, suggerendo che il lavoro futuro risieda nella raccolta di dati diversificati e in VLM per lo streaming in tempo reale.