💻 computer science

Gaze2Act: Gaze-Conditioned Vision-Language-Action Policies for Interactive Robot Manipulation

Gaze2Act is een nieuw Vision-Language-Action-raamwerk dat robotmanipulatie verbetert door menselijke blik te integreren als een dynamisch intentiesignaal, ego-exo perspectiefgaten overbrugt en state-of-the-art prestaties bereikt in objectdisambiguatie, fijnmazige interactie en dynamische intentiesturing op een Unitree G1-humanoid.

Oorspronkelijke auteurs: Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kuangji Zuo, Gen Li, Bofan Lyu, Yanshuo Lu, Boyu Ma, Shijia Han, Xinyu Zhou, Xichen Yuan, Chuhao Zhou, Jiaqi Bai, Geng Li, Jianfei Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren je in de keuken te helpen. Je zegt: "Geef me dat kopje." Maar er staan vijf kopjes op tafel: één rood, één blauw, één met een barst en twee identieke witte. Als je alleen zegt "het kopje", grijpt de robot misschien het verkeerde, of erger, het kopje dat je niet wilt.

Dit is het probleem dat het artikel Gaze2Act probeert op te lossen. Het betoogt dat menselijke taal vaak te vaag is voor robots om precies te begrijpen wat we willen, vooral wanneer we nauwkeurig moeten zijn of wanneer onze gedachten halverwege een taak veranderen.

Hieronder legt het artikel hun oplossing uit, met behulp van eenvoudige analogieën:

De Kernidee: "Ogen leiden de handen"

De auteurs merkten iets op dat mensen van nature doen: we kijken naar wat we op het punt staan aan te raken voordat we het aanraken. Als je een specifiek appel wilt oppakken, richten je ogen zich een fractie van een seconde voordat je hand uitsteekt op dat appel.

Het artikel stelt voor dat we de robot niet alleen moeten laten luisteren, maar ook moeten laten "zien" waar onze ogen naar kijken. Ze noemen dit Gaze2Act. Het is alsof je de robot een bril geeft die gedachten leest, die precies laat zien waar je op dat moment op focust, in real-time.

Hoe het werkt: De drie-stappen-magie

Het artikel beschrijft een systeem dat de kloof overbrugt tussen wat jij ziet en wat de robot ziet.

1. De Vertaler (Cross-View Grounding)

Het Probleem: Je draagt een slimme bril en kijkt vanuit jouw perspectief naar een kopje. De robot kijkt naar hetzelfde kopje vanuit een ander hoekje. Jouw "blikpunt" (waar je ogen naar kijken) valt niet samen met het cameravertrek van de robot.
De Oplossing: Het systeem fungeert als een super-slimme vertaler. Het neemt je blikpunt en gebruikt een "visuele matching"-tool om exact hetzelfde object te vinden in het camerabeeld van de robot. Het tekent een digitaal masker (zoals een markeerstift) rond het object waar je naar kijkt en markeert de exacte plek waar je naar staart.
Analogie: Stel je voor dat je vanuit een heuvel naar een specifieke boom in een bos wijst. De robot staat onderaan de heuvel. Het systeem tekent direct een gloeiende cirkel rond die exacte boom in het beeld van de robot, zelfs al zijn de hoeken totaal verschillend.

2. De Markeerstift (Perception-Level Prompting)

Het Probleem: Alleen weten "waar" is niet genoeg; de robot moet ook weten wat hij met die informatie moet doen.
De Oplossing: Het systeem neemt die digitale markering en schildert deze direct op het beeld dat de robot ziet.
- Als je het hele object moet grijpen, tekent het een kleurige omtrek eromheen.
- Als je een klein, specifiek deel moet aanraken (zoals het handvat van een hamer), schildert het een warmtekaart (een gloeiende rode vlek) precies op dat handvat.
Analogie: Het is alsof een leraar naar een kaart wijst en een rode cirkel tekent rond de stad die je wilt bezoeken, zodat de robot niet hoeft te raden welke stad je bedoelde.

3. De Innerlijke Stem (Action-Level Conditioning)

Het Probleem: Soms is het tonen van een afbeelding aan de robot niet genoeg om hem perfect te laten bewegen. Hij kan nog steeds een beetje in de war zijn.
De Oplossing: Het systeem toont de robot niet alleen de afbeelding; het fluistert ook een geheime instructie direct in het "brein" van de robot (zijn actie-genererende code). Het zegt tegen de robot: "Hé, negeer alles anders, focus alleen op deze specifieke gloeiende plek."
Analogie: Het is alsof een coach niet alleen naar het doel wijst, maar ook op de schouder van de speler tikt om te zeggen: "Ren recht naar die plek, niet naar de plek ernaast."

Wat ze testten (Het "Real-World"-bewijs)

De onderzoekers testten dit op een Unitree G1, een humanoïde robot die eruitziet als een mens. Ze gaven hem 16 verschillende taken, waaronder:

Het juiste kopje oppakken wanneer er veel vergelijkbare zijn (ontmaskering).
Specifieke delen van een object grijpen, zoals het handvat van een hamer in plaats van het hoofd (interactie op fijn detailniveau).
Het doel onderweg veranderen. Stel je voor dat de robot begint te lopen naar een rood kopje, maar je kijkt plotseling naar een blauw kopje. De robot stopt, realiseert zich dat je van gedachten bent veranderd en schakelt over naar het blauwe kopje.

De Resultaten

Het artikel beweert dat Gaze2Act veel beter was dan robots die alleen naar taal luisteren of robots die proberen te raden op basis van tekstbeschrijvingen.

Alleen-taal-robots raakten snel in de war (ongeveer 33% slagingspercentage op lastige taken).
Gaze2Act had het bijna elke keer goed (ongeveer 89% slagingspercentage).
Het was vooral goed in van gedachten veranderen wanneer de blik van de gebruiker verschuift, iets waar de andere robots moeite mee hadden.

De Conclusie

Het artikel concludeert dat blik een natuurlijke, weinig inspanning vereisende manier is om een robot precies te vertellen wat je wilt. Het verwijdert het giswerk. Je hoeft geen robotprogrammeur te zijn of in perfecte code te spreken; je hoeft alleen maar te kijken naar wat je wilt dat de robot doet, en de robot zal je ogen volgen.

Beperkingen genoemd in het artikel:
Het systeem is nog niet perfect. Als je je hoofd te snel beweegt, of als iets je zicht blokkeert (occlusie), kan de robot in de war raken. Ook gaat het systeem ervan uit dat je kijkt naar wat je van plan bent aan te raken, maar soms dwalen de ogen van mensen af of kijken ze naar dingen die ze eigenlijk niet willen grijpen.

Technische Samenvatting: Gaze2Act

Probleemstelling

Hoewel Vision-Language-Action (VLA)-modellen het robotleren hebben verbeterd via taakinstructies, staan ze voor een fundamentele knelpunt in interactieve manipulatie: taal alleen is vaak ontoereikend om menselijke intentie precies over te brengen. Gebruikers hebben vaak moeite om expliciet te beschrijven welk specifiek object ze moeten aanraken onder visueel vergelijkbare kandidaten, waar precies op een object moet worden ingegrepen (fijnmazige interactie), of hoe doelen dynamisch moeten worden bijgewerkt tijdens de uitvoering. Bestaande benaderingen die taal vertalen naar ruimtelijke representaties (bijvoorbeeld binnenvlakken of maskers) erven de inherente ambiguïteit van taal over en missen de temporele continuïteit die nodig is voor realtime, dynamische intentie-updates. De kernbeperking die is geïdentificeerd, is het ontbreken van een direct, continu bijgewerkt en ruimtelijk precies intentiesignaal dat statische taalinstructies aanvult.

Methodologie

De auteurs stellen Gaze2Act voor, een raamwerk dat VLA-beleid verrijkt met menselijke blik als dynamisch intentiesignaal. Het systeem werkt op een Unitree G1-humanoid robot met een GROOT N1.5-ruggengraat (met een bevroren Eagle2 VLM en een Diffusion Transformer-actiehoofd). De methodologie verloopt via drie geïntegreerde fasen:

1. Cross-View Gaze Grounding

Om de kloof te overbruggen tussen het eerste-persoons (ego) perspectief van de mens en het perspectief van de robot, maakt Gaze2Act gebruik van een markerloos, trainingsvrij en kalibratievrij semantisch matchingsmechanisme:

Functie-extractie: Het maakt gebruik van DINOv3 (ViT-L/16) om multi-layer patch-functies te extraheren uit zowel het egocentrische beeld van de mens als de observatie van de robot.
Grofmazige matching: Bij een spraaktrigger segmenteert het systeem een referentieobject in het menselijke zicht met SAM3. Vervolgens matcht het deze referentie tegen kandidaat-maskers die in het robotzicht zijn gegenereerd, door patch-functies te middelen en het masker met de hoogste cosinus-sequentie te selecteren.
Fijnmazige matching: Om specifieke interactiepunten binnen het geselecteerde object te lokaliseren, extrahert het systeem een buurt-functievector rond het blikpunt in het menselijke zicht en matcht deze tegen dichte functies binnen het grofmazige masker in het robotzicht.
Output: Dit proces levert een geünificeerde ruimtelijke representatie op bestaande uit een doelmasker ( $m_t$ ) en een fixatiepunt ( $p_t$ ).

2. Perceptie-niveau Gaze Prompting

De verankerde aanwijzingen ( $m_t, p_t$ ) worden direct op de visuele observatie van de robot gerenderd om expliciete ruimtelijke begeleiding te bieden:

Contour-overlay: Een gekleurde contour wordt getekend langs de rand van het doelmasker om het object van belang te specificeren, wat taakinstructies onafhankelijk van categorie mogelijk maakt (bijvoorbeeld "pik het omrande object").
Blik-heatmap: Het fixatiepunt wordt omgezet in een 2D isotrope Gaussische heatmap gecentreerd op $p_t$ binnen het maskergebied. Dit biedt een zacht, robuust signaal voor fijnmazige interacties op part-niveau, en vervangt breekbare enkel-punts invoer.

3. Actie-niveau Gaze Conditioning

Om ervoor te zorgen dat het bliksignaal het besluitvormingsproces van het beleid direct beïnvloedt, verder dan visuele perceptie, injecteert het systeem blikinformatie in het actiehoofd:

Constructie van blik-token: Het masker en het fixatiepunt worden gecodeerd in een compact ruimtelijk token ( $c^{gaze}_t$ ). Dit omvat een positiepad (sinusoidale encoding) en een objectpad (met behulp van een bevroren DINOv3 ViT-encoder op het doelafsnijding).
Gekoppelde cross-attention: Een nieuwe cross-attention-tak wordt parallel toegevoegd aan het bestaande visueel-taalpad binnen de Diffusion Transformer (DiT). Deze tak injecteert het blik-token in het denoising-proces via aparte Key/Value-projecties.
Gestabiliseerde injectie: De output-projectie van de blik-tak wordt met nul geïnitieerd. Dit zorgt ervoor dat de toegevoegde tak aanvankelijk fungeert als een "no-op", waardoor de voorkennis van het voorgetrainde beleid behouden blijft, terwijl de invloed van het blik geleidelijk kan worden aangeleerd vanuit het manipulatie-objektief.

Belangrijkste Bijdragen

Blik als Continue Intentie-interface: Het artikel stelt menselijke blik voor als een nieuwe, continue en dynamische modus voor VLA-beleid, waardoor precieze doelspecificatie mogelijk is over object-niveau, part-niveau en dynamisch evoluerende scenario's heen.
Gaze2Act-raamwerk: Een compleet systeem dat eerste-persoons blik verankert in de visuele ruimte van de robot zonder markers of kalibratie, en deze aanwijzingen integreert via zowel perceptie-niveau visuele prompting als actie-niveau ruimtelijke conditioning.
Uitgebreide Evaluatie in de Wereld: Uitgebreide testen op een Unitree G1-humanoid over zeven taakcategorieën en 16 real-robot taken, waarbij consistente verbeteringen ten opzichte van baselines worden aangetoond in ontmaskering, lokalisatie en dynamische sturing.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op 16 taken met betrekking tot ambigu objecten, onbekende objecten, transparante objecten, compositie-taken, grijpen van subdelen en dynamische intentiesturing.

Object-ontmaskering: In taken met ambigu, onbekende of transparante objecten bereikte Gaze2Act een aanzienlijk hogere intentienauwkeurigheid (bijvoorbeeld 92–100% bij ambigu objecten) in vergelijking met taalkundige baselines (Vanilla GROOT: ~34%) en masker-gebaseerde baselines (RoboGround/ControlVLA: ~60–80%).
Fijnmazige interactie: Voor grijpen van subdelen (bijvoorbeeld hamersteel versus kop) en part-geconditioneerde acties bereikte Gaze2Act een gemiddelde intentienauwkeurigheid van 80,4% en taaksucces van 72,4%, terwijl baselines geen partspecifieke condities konden bieden.
Dynamische intentiesturing: In taken met lange horizon waarbij het doel halverwege de uitvoering verandert, slaagde Gaze2Act erin de robot in 14 van de 30 pogingen succesvol te heroriënteren, en presteerde beter dan baselines (4–5/30) die moeite hadden om lopende manipulatie bij te werken ondanks masker-updates.
Ablatiestudies: Resultaten bevestigden dat zowel perceptie-niveau prompting als actie-niveau conditioning complementair zijn. Alleen visuele prompting verbeterde het succes op part-niveau, terwijl actie-niveau conditioning de objectbinding in compositie-taken verbeterde. Nul-initialisatie van de blik-tak bleek cruciaal voor stabiele fine-tuning.

Betekenis en Claims

Het artikel beweert dat Gaze2Act aantoont dat menselijke blik een natuurlijke, laag-burden en zeer expressieve modus biedt voor mens-in-de-lus VLA-besturing. Door te profiteren van de "oog-geleidt-hand" coördinatie die inherent is aan menselijk gedrag, overwint het raamwerk de ambiguïteit en temporele discontinuïteit van taalkundige interfaces. De auteurs stellen dat hun aanpak robots in staat stelt om aandacht te schenken aan relevante gebieden en precieze interacties uit te voeren onder dynamische intentie, waardoor de kloof effectief wordt overbrugd tussen hoog-niveau taakbeschrijving (taal) en laag-niveau ruimtelijke uitvoering (blik). Het werk benadrukt dat blik niet slechts een observationeel signaal is, maar een directe manifestatie van motorische intentie die naadloos kan worden geïntegreerd in moderne VLA-architecturen om interactieve manipulatiecapaciteiten te verbeteren.