💻 computer science

Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation

Gaze2Act è un nuovo framework Vision-Language-Action che potenzia la manipolazione robotica integrando lo sguardo umano come segnale dinamico di intento, colmando le lacune tra le prospettive egocentrica ed esocentrica per ottenere prestazioni all'avanguardia nella disambiguazione degli oggetti, nell'interazione fine e nel controllo dinamico dell'intento su un umanoide Unitree G1.

Autori originali: Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot ad aiutarti in cucina. Dici: "Passami quella tazza". Ma ci sono cinque tazze sul tavolo: una rossa, una blu, una con una crepa e due bianche identiche. Se dici solo "la tazza", il robot potrebbe afferrarne una sbagliata, o peggio, quella che non vuoi.

Questo è il problema che il paper Gaze2Act cerca di risolvere. Sostiene che il linguaggio umano è spesso troppo vago perché i robot capiscano esattamente cosa vogliamo, specialmente quando dobbiamo essere precisi o quando la nostra mente cambia a metà compito.

Ecco come il paper spiega la loro soluzione, usando analogie semplici:

L'Idea Centrale: "Gli Occhi Guidano le Mani"

Gli autori hanno notato qualcosa che gli umani fanno naturalmente: guardiamo ciò che stiamo per toccare prima di toccarlo. Se vuoi prendere una mela specifica, i tuoi occhi si fissano su di essa un istante prima che la tua mano si protenda.

Il paper propone che, invece di parlare solo al robot, dovremmo permettere al robot di "vedere" dove i nostri occhi stanno guardando. Chiamano questo Gaze2Act. È come dare al robot un paio di "occhiali per la lettura della mente" che gli mostrano esattamente su cosa ti stai concentrando, in tempo reale.

Come Funziona: Il Trucco Magico in Tre Passaggi

Il paper descrive un sistema che colma il divario tra ciò che tu vedi e ciò che il robot vede.

1. Il Traduttore (Grounding Cross-View)

Il Problema: Indossi occhiali intelligenti e guardi una tazza dalla tua prospettiva. Il robot guarda la stessa tazza da un angolo diverso. Il tuo "punto di sguardo" (dove i tuoi occhi stanno guardando) non si allinea con la vista della telecamera del robot.
La Soluzione: Il sistema agisce come un traduttore super-intelligente. Prende il tuo punto di sguardo e utilizza uno strumento di "corrispondenza visiva" per trovare l'oggetto esatto nella vista della telecamera del robot. Disegna una maschera digitale (come un evidenziatore) attorno all'oggetto su cui stai guardando e segna il punto esatto su cui stai fissando lo sguardo.
Analogia: Immagina di indicare un albero specifico in una foresta da una collina. Il robot è in fondo alla collina. Il sistema disegna istantaneamente un cerchio luminoso attorno a quel preciso albero nella vista del robot, anche se gli angoli sono totalmente diversi.

2. L'Evidenziatore (Prompting a Livello di Percezione)

Il Problema: Sapere solo "dove" non è sufficiente; il robot deve sapere cosa fare con quella informazione.
La Soluzione: Il sistema prende quell'evidenziatore digitale e lo dipinge direttamente sull'immagine che il robot vede.
- Se devi afferrare l'intero oggetto, disegna un contorno colorato attorno ad esso.
- Se devi toccare una parte minuscola e specifica (come il manico di un martello), dipinge una mappa di calore (una macchia rossa luminosa) proprio su quel manico.
Analogia: È come un insegnante che indica una mappa e disegna un cerchio rosso attorno alla città che vuoi visitare, così il robot non deve indovinare quale città intendevi.

3. La Voce Interiore (Condizionamento a Livello di Azione)

Il Problema: A volte, mostrare semplicemente al robot un'immagine non è sufficiente per farlo muovere perfettamente. Potrebbe essere ancora un po' confuso.
La Soluzione: Il sistema non mostra solo al robot l'immagine; sussurra anche un'istruzione segreta direttamente nel "cervello" del robot (il suo codice generatore di azioni). Dice al robot: "Ehi, ignora tutto il resto, concentrati solo su questo punto luminoso specifico".
Analogia: È come un allenatore che non si limita a indicare la porta, ma dà anche una pacca sulla spalla al giocatore per dire: "Corri dritto verso quel punto, non verso quello accanto".

Cosa Hanno Testato (La Prova "Reale")

I ricercatori hanno testato questo su un Unitree G1, un robot umanoide che assomiglia a una persona. Gli hanno assegnato 16 compiti diversi, tra cui:

Prendere la tazza giusta quando ce ne sono molte simili (disambiguazione).
Afferrare parti specifiche di un oggetto, come il manico di un martello invece della testa (interazione fine).
Cambiare il bersaglio all'ultimo momento. Immagina che il robot inizi a camminare verso una tazza rossa, ma tu guardi improvvisamente una tazza blu. Il robot si ferma, capisce che hai cambiato idea e passa alla tazza blu.

I Risultati

Il paper afferma che Gaze2Act è stato molto migliore dei robot che ascoltano solo il linguaggio o dei robot che cercano di indovinare basandosi su descrizioni testuali.

I robot basati solo sul linguaggio si confondevano facilmente (circa il 33% di successo nei compiti difficili).
Gaze2Act ha avuto ragione quasi ogni volta (circa l'89% di successo).
È stato particolarmente bravo a cambiare idea quando lo sguardo dell'utente si spostava, qualcosa che gli altri robot faticavano a fare.

La Conclusione

Il paper conclude che lo sguardo è un modo naturale e a basso sforzo per dire a un robot esattamente cosa vuoi. Elimina l'indovinare. Non devi essere un programmatore di robot o parlare in codice perfetto; devi solo guardare ciò che vuoi che il robot faccia, e il robot seguirà i tuoi occhi.

Limitazioni menzionate nel paper:
Il sistema non è ancora perfetto. Se muovi la testa troppo velocemente, o se qualcosa blocca la tua vista (occlusione), il robot potrebbe confondersi. Inoltre, il sistema presuppone che tu stia guardando ciò che intendi toccare, ma a volte gli occhi delle persone vagano o guardano cose che in realtà non vogliono afferrare.

Riepilogo Tecnico: Gaze2Act

Enunciato del Problema

Sebbene i modelli Vision-Language-Action (VLA) abbiano avanzato l'apprendimento robotico attraverso istruzioni linguistiche, essi affrontano un collo di bottiglia fondamentale nella manipolazione interattiva: il linguaggio da solo è spesso insufficiente per trasmettere l'intento umano preciso. Gli utenti faticano frequentemente a descrivere esplicitamente quale oggetto specifico interagire tra candidati visivamente simili, dove esattamente agire su un oggetto (interazione fine-granulare) o come rivedere dinamicamente i target durante l'esecuzione. Gli approcci esistenti che traducono il linguaggio in rappresentazioni spaziali (ad esempio, bounding box o maschere) ereditano l'ambiguità intrinseca del linguaggio e mancano della continuità temporale richiesta per aggiornamenti di intento in tempo reale e dinamici. Il limite fondamentale identificato è l'assenza di un segnale di intento diretto, continuamente aggiornato e spazialmente preciso che completi le istruzioni linguistiche statiche.

Metodologia

Gli autori propongono Gaze2Act, un framework che potenzia le politiche VLA con lo sguardo umano come segnale di intento dinamico. Il sistema opera su un robot umanoide Unitree G1 utilizzando un backbone GROOT N1.5 (dotato di un VLM Eagle2 congelato e una testa di azione Diffusion Transformer). La metodologia procede attraverso tre fasi integrate:

1. Grounding dello Sguardo Cross-View

Per colmare il divario tra la vista in prima persona (ego) dell'utente e la prospettiva del robot, Gaze2Act impiega un meccanismo di corrispondenza semantica senza marcatori, senza addestramento e senza calibrazione:

Estrazione delle Caratteristiche: Utilizza DINOv3 (ViT-L/16) per estrarre feature di patch multistrato sia dall'immagine egocentrica dell'utente sia dall'osservazione del robot.
Corrispondenza a Granularità Grossolana: Al verificarsi di un trigger vocale, il sistema segmenta un oggetto di riferimento nella vista dell'utente utilizzando SAM3. Successivamente, confronta questo riferimento con le maschere candidate generate nella vista del robot, mediando le feature delle patch e selezionando la maschera con la massima similarità coseno.
Corrispondenza a Granularità Fine: Per localizzare punti di interazione specifici all'interno dell'oggetto selezionato, il sistema estrae un vettore di feature di vicinanza attorno al punto di fissazione nella vista dell'utente e lo confronta con feature dense all'interno della maschera grossolana nella vista del robot.
Output: Questo processo produce una rappresentazione spaziale unificata composta da una maschera target ( $m_t$ ) e un punto di fissazione ( $p_t$ ).

2. Prompting dello Sguardo a Livello di Percezione

I segnali di grounding ( $m_t, p_t$ ) vengono renderizzati direttamente sull'osservazione visiva del robot per fornire una guida spaziale esplicita:

Sovrapposizione del Contorno: Viene disegnato un contorno colorato lungo il confine della maschera target per specificare l'oggetto di interesse, consentendo istruzioni linguistiche agnostiche alla categoria (ad esempio, "prendi l'oggetto delimitato").
Mappa di Calore dello Sguardo: Il punto di fissazione viene convertito in una mappa di calore gaussiana isotropa 2D centrata su $p_t$ all'interno della regione della maschera. Questo fornisce un segnale morbido e robusto per interazioni di livello parte fine-granulare, sostituendo input a singolo punto fragili.

3. Condizionamento dello Sguardo a Livello di Azione

Per garantire che il segnale dello sguardo influenzi direttamente il processo decisionale della politica oltre la percezione visiva, il sistema inietta le informazioni dello sguardo nella testa di azione:

Costruzione del Token dello Sguardo: La maschera e il punto di fissazione vengono codificati in un token spaziale compatto ( $c^{gaze}_t$ ). Ciò comporta un percorso di posizione (codifica sinusoidale) e un percorso di oggetto (utilizzando un encoder ViT DINOv3 congelato sul ritaglio target).
Cross-Attention Disaccoppiata: Viene aggiunta una nuova branca di cross-attention in parallelo al percorso visione-linguaggio esistente all'interno del Diffusion Transformer (DiT). Questa branca inietta il token dello sguardo nel processo di denoising tramite proiezioni Key/Value separate.
Iniezione Stabilizzata: La proiezione di output della branca dello sguardo è inizializzata a zero. Ciò garantisce che la branca aggiunta agisca inizialmente come un "no-op", preservando la conoscenza a priori della politica preaddestrata, consentendo al contempo che l'influenza dello sguardo venga appresa gradualmente dall'obiettivo di manipolazione.

Contributi Chiave

Sguardo come Interfaccia di Intento Continua: Il documento propone lo sguardo umano come una modalità nuova, continua e dinamica per le politiche VLA, consentendo una specifica precisa del target a livello di oggetto, a livello di parte e in scenari in evoluzione dinamica.
Framework Gaze2Act: Un sistema completo che grounding lo sguardo in prima persona nello spazio visivo del robot senza marcatori o calibrazione, integrando questi segnali sia tramite prompting visivo a livello di percezione sia tramite condizionamento spaziale a livello di azione.
Valutazione Completa nel Mondo Reale: Test estensivi su un umanoide Unitree G1 su sette categorie di compiti e 16 compiti su robot reale, che dimostrano miglioramenti coerenti rispetto alle baseline nell'ambiguazione, nella localizzazione e nello steering dinamico.

Risultati Sperimentali

Il framework è stato valutato su 16 compiti che coinvolgono oggetti ambigui, oggetti non visti, oggetti trasparenti, compiti compositivi, afferramento di sottoparti e steering di intento dinamico.

Ambiguazione degli Oggetti: In compiti con oggetti ambigui, non visti o trasparenti, Gaze2Act ha raggiunto un'accuratezza dell'intento significativamente più alta (ad esempio, 92–100% su oggetti ambigui) rispetto alle baseline basate solo sul linguaggio (Vanilla GROOT: ~34%) e alle baseline basate su maschere (RoboGround/ControlVLA: ~60–80%).
Interazione Fine-Granulare: Per l'afferramento di sottoparti (ad esempio, manico del martello vs. testa) e azioni condizionate alla parte, Gaze2Act ha raggiunto un'accuratezza media dell'intento del 80,4% e un successo del compito del 72,4%, mentre le baseline non potevano fornire condizioni specifiche per la parte.
Steering di Intento Dinamico: In compiti a lungo orizzonte in cui il target cambia a metà esecuzione, Gaze2Act ha reindirizzato con successo il robot in 14 su 30 prove, superando le baseline (4–5/30) che faticavano ad aggiornare la manipolazione in corso nonostante gli aggiornamenti della maschera.
Studi di Ablazione: I risultati hanno confermato che sia il prompting a livello di percezione sia il condizionamento a livello di azione sono complementari. Il prompting visivo da solo ha migliorato il successo a livello di parte, mentre il condizionamento a livello di azione ha migliorato il vincolo dell'oggetto nei compiti compositivi. L'inizializzazione a zero della branca dello sguardo è stata dimostrata critica per un fine-tuning stabile.

Significato e Affermazioni

Il documento afferma che Gaze2Act dimostra che lo sguardo umano fornisce una modalità naturale, a basso carico e altamente espressiva per il controllo VLA con uomo nel loop. Sfruttando il coordinamento "l'occhio guida la mano" intrinseco nel comportamento umano, il framework supera l'ambiguità e la discontinuità temporale delle interfacce basate solo sul linguaggio. Gli autori affermano che il loro approccio permette ai robot di prestare attenzione alle regioni rilevanti ed eseguire interazioni precise sotto intento dinamico, colmando efficacemente il divario tra descrizione del compito di alto livello (linguaggio) ed esecuzione spaziale di basso livello (sguardo). Il lavoro evidenzia che lo sguardo non è meramente un segnale osservazionale ma una manifestazione diretta dell'intenzione motoria che può essere integrata senza soluzione di continuità nelle moderne architetture VLA per potenziare le capacità di manipolazione interattiva.