💻 computer science

Cloak: Zero-Shot Cross-Embodiment Manipulation by Masking the End-Effector from the VLA

Het artikel introduceert Cloak, een trainingsmethode die Vision-Language-Action-modellen in staat stelt om zero-shot cross-embodiment manipulatie te bereiken door de end-effector te maskeren vanuit camerabeelden op de pols tijdens de training, waardoor een model dat getraind is op één robot kan generaliseren naar ongeziene hardware zonder nieuwe gegevens te verzamelen.

Oorspronkelijke auteurs: Michael Piseno, Guy Tevet, C. Karen Liu

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Piseno, Guy Tevet, C. Karen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een beker moet oppakken. Je laat de robot een video zien vanuit zijn eigen "oog" (een camera op zijn pols). Het probleem is dat in die video de eigen hand van de robot (de grijper) een enorm deel van het scherm inneemt.

Als je een robot traint met een specifieke hand — zeg, een eenvoudige tweevingrige pincet — leert hij die specifieke vorm te herkennen. Als je vervolgens de hand van die robot vervangt door een totaal andere hand, zoals een menselijke hand met vijf vingers, raakt de robot in de war. Het is alsof je iemand leert autorijden door alleen het stuur van een Ford te laten zien. Als je die persoon plotseling in een Tesla zet met een ander stuur, kan diegene in paniek raken omdat de "visuele kaart" in het brein niet overeenkomt met wat hij ziet.

Het Probleen: De "Hand"-afleiding
In de wereld van robotica is het verzamelen van data duur en traag. We hebben enorme bibliotheken aan data die robots met tweevingerige grijpers laten zien die taken uitvoeren. Maar de toekomst van robotica beweegt zich naar complexe, multifunctionele handen. We willen onze oude data gebruiken om deze nieuwe handen te leren, maar de hand van de oude robot ziet er totaal niet uit als de nieuwe hand. Het brein van de robot is te gefocust op de specifieke vorm van de oude hand om de nieuwe hand te begrijpen.

De Oplossing: "Cloak"
Het artikel introduceert een slimme truc genaamd Cloak. Denk aan dit als een digitale "blinddoek" of een "muilkorf" voor het zicht van de robot.

De hand verbergen: In plaats van de robot zijn eigen hand in de camerabeelden te laten zien, bedekt Cloak de hand digitaal met een masker. Het is alsof je een stuk tape over het deel van de cameralens waar de hand verschijnt plakt.
De scène leren, niet de hand: Door de hand te verbergen, wordt de robot gedwongen om naar de rest van de wereld te kijken — de tafel, de beker, de obstakels. De robot leert de logica van de taak (bijv. "beweeg naar voren tot ik de beker raak") zonder afgeleid te worden door de specifieke vorm van zijn eigen vingers.
De "Kameleon"-training: Om ervoor te zorgen dat de robot niet alleen leert om een specifieke vorm van tape te negeren, veranderen de onderzoekers de vorm van de "blinddoek" willekeurig tijdens de training. Soms is het masker groot, soms klein, soms een vreemde vorm. Dit leert de robot dat "mijn hand er morgen misschien anders uitziet, dus ik moet er niet op vertrouwen dat ik hem zie."

Hoe het in de praktijk werkt
Wanneer de robot daadwerkelijk de taak uitvoert:

De ogen: De camerabeelden bevatten nog steeds de hand, maar de software bedekt de hand onmiddellijk met een digitaal masker voordat het brein van de robot het ziet.
Het brein: Het brein van de robot ziet een gemaskeerde afbeelding en een tekstcommando zoals "pak de beker op." Het bepaalt de beweging op basis van de omgeving.
Het lichaam: Zodra het brein besluit "beweeg mijn vingertoppen naar dit punt", vertaalt een vertaler (genaamd tip-pose retargeting) die instructie naar de specifieke spierbewegingen die nodig zijn voor de nieuwe hand. Als de nieuwe hand vijf vingers heeft, vindt het systeem uit hoe het die vijf vingers moet bewegen om bij het tweevingerige plan te passen.

De Resultaten
De onderzoekers testten dit door een robot te trainen op een eenvoudige tweevingerige grijper met behulp van bestaande data. Daarna probeerden ze datzelfde getrainde brein op drie totaal andere robots die de robot nog nooit had gezien:

Een andere tweevingerige grijper (andere kleur en vorm).
Een compleet andere robotarm.
Een complexe, vijfvingerige mensachtige hand.

De Uitkomst:

Zonder Cloak: De robot faalde hopeloos op de nieuwe handen. Het was in de war omdat de visuele "kaart" niet overeenkwam.
Met Cloak: De robot presteerde bijna even goed op de nieuwe handen als op de oorspronkelijke hand. Hij slaagde erin de vaardigheden zero-shot over te dragen (wat betekent dat hij geen nieuwe trainingsdata nodig had voor de nieuwe handen).

De Belangrijkste Les
Cloak bewijst dat je het "brein" van een robot (de vaardigheid om een taak uit te voeren) kunt scheiden van het "lichaam" (de specifieke hardware). Door het lichaam tijdens het leren te verbergen voor het brein, kan de verzamelde data van de ene robot worden hergebruikt voor compleet andere robots in de toekomst. Het is alsof je iemand leert zwemmen door hem een blinddoek te laten dragen, zodat hij zich concentreert op de beweging van het water in plaats van op zijn eigen ledematen; zodien hij het ritme van het water leert kennen, kan hij zwemmen met welke vinnen dan ook.

Beperkingen
Het artikel merkt op dat dit het beste werkt voor taken die kunnen worden uitgevoerd door twee punten (zoals twee vingertoppen) op een object te plaatsen. Het lost nog niet de complexe taken op die intrieke manipulatie in de hand vereisen (zoals het jongleren met een bal in een hand), omdat die sterk afhankelijk zijn van het specifieke gevoel en de vorm van de vingers.

Technische Samenvatting: Cloak: Zero-Shot Cross-Embodiment Manipulatie door de End-Effector te Maskeren van de VLA

1. Probleemstelling

Huidig onderzoek naar robotische manipulatie is gefragmenteerd over diverse end-effectoren, variërend van eenvoudige parallelle grijpers tot complexe, antropomorfe handen met meerdere vingers. Terwijl Vision-Language-Action (VLA) modellen die getraind zijn op specifieke "bron"-embodiments sterke prestaties leveren op die specifieke robots, neemt hun vermogen aanzienlijk af wanneer ze worden ingezet op "doel"-embodiments met een andere morfologie.

De primaire barrière voor zero-shot cross-embodiment transfer is de visuele kloof. In standaardopstellingen met polscamera's neemt de end-effector een groot, consistent gebied in het gezichtsveld in. Een beleid (policy) dat getraind is op een bronrobot (bijv. een parallelle grijper) leert kenmerken die sterk afhankelijk zijn van het specifieke uiterlijk van die end-effector. Wanneer het wordt ingezet op een doelrobot met een ander uiterlijk (bijv. een hand met vijf vingers), verschuift de visuele observatie uit de distributie, wat leidt tot een instorting van de prestaties. Bestaande oplossingen vertrouwen vaak op het verzamelen van nieuwe data voor elke doelrobot of op generatieve modellen om de robot in de afbeelding te "overschilderen", wat latentie, risico's op hallucinaties en computationele overhead introduceert.

2. Methodologie: Het Cloak-recept

De auteurs stellen Cloak voor, een trainingsrecept dat een VLA in staat stelt om te generaliseren naar ongeziene embodiments door tijdens de training expliciet de end-effector te maskeren vanuit de eigen polscamera-weergave. Dit dwingt het model om te vertrouwen op de scènecontext en taalinstructies in plaats van op de specifieke geometrie van de hand van de bronrobot.

Kerncomponenten

Geometrische Maskering (Training & Inferentie):
- In plaats van geleerde segmentatie of generatieve inpainting, rendert Cloak een geometrische maskering van de end-effector in realtime met behulp van de bekende kinematica (forward kinematics) van de robot, link-meshes en cameraintrinsics.
- Dit masker wordt geprojecteerd op de polscamera-afbeelding, waarbij de pixels worden geïdentificeerd die door het eigen lichaam van de robot worden ingenomen.
- Masked Attention: Het masker wordt gedownsampled naar het patch-grid van de visuele encoder (bijv. ViT patches). Tijdens de aandachtsberekening in de visuele encoder krijgen patches die binnen het masker vallen een aandachtsbias van $-\infty$ toegewezen. Dit verwijdert effectief de visuele informatie van de end-effector uit de perceptie van het beleid, terwijl de sequentielengte behouden blijft.
Mask Augmentatie (Alleen Training):
- Om te voorkomen dat het model overfit op het specifieke silhouet van de brongrijper, augmenteren de auteurs het masker tijdens de training.
- De augmentatie omvat het willekeurig toevoegen van "capsules" aan de contour van het masker en het aftrekken van "schijven" uit het interieur.
- Om de resulterende gaten in de afbeelding op te vullen (die anders de bronrobot zouden onthullen), gebruiken de auteurs een eenvoudige, niet-generatieve inpainting-strategie: ze rollen een kopie van dezelfde afbeelding over de gemaskeerde regio. Dit zorgt ervoor dat de pixeldistributie realistisch blijft zonder nieuwe inhoud te hallucineren.
Tip-Pose Retargeting (Kinematische Brug):
- Terwijl de visuele kloof wordt aangepakt door maskering, wordt de kinematische kloof (verschillende joint spaces) aangepakt via Forward Kinematics (FK) en Inverse Kinematics (IK).
- Input Retargeting: De staat van de doelrobot wordt omgezet naar de joint space van de bronrobot door de FK van de aangewezen "tips" van de doelrobot (bijv. vingertoppen of grijperbekken) te berekenen en vervolgens de joint configuratie van de bronrobot op te lossen die overeenkomt met die tip-poses.
- Output Retargeting: De VLA geeft acties uit in de joint space van de bronrobot. Deze worden omgezet naar de acties van de doelrobot door de FK van de bron-tips te berekenen en vervolgens IK voor de doelrobot op te lossen om diezelfde tip-poses te bereiken.
- Voor het grijpersignaal wordt een lineaire interpolatie tussen vooraf gedefinieerde open/gesloten toestanden gebruikt voor de doelhand.
Belangrijkste Bijdragen

Cloak-VLA: Een VLA-beleid getraind op een enkele parallelle grijper dataset (DROID) dat zero-shot overdraagt naar ongeziene embodiments, inclusief een andere grijper, een andere arm en een vijfvingerige dexterous hand, zonder nieuwe data te verzamelen.
Geometrie-gebaseerde Maskering: Een innovatieve aanpak om de visuele kloof te dichten door maskers te renderen vanuit bekende geometrie in plaats van te vertrouwen op generatieve modellen of geleerde segmentatie, waardoor hallucinaties worden vermeden en real-time prestaties worden gegarandeerd.
Mask Augmentatie Strategie: Een techniek om het silhouet van de end-effector te randomiseren tijdens de training, zodat het model leert om te redeneren over embodiment-agnostische taken in plaats van een specifieke vorm te memoreren.
Ontkoppeling van Data van Hardware: Een demonstratie dat manipulatietaken kunnen worden ontkoppeld van de specifieke lichaamsstructuur die ze uitvoert, waardoor data verzameld op één robot "langer kan leven" dan de hardware zelf.

4. Experimentele Resultaten

De auteurs evalueerden Cloak-VLA op de DROID-dataset (bron: Franka Panda met Robotiq 2F-85 grijper) en testten de zero-shot transfer op drie ongeziene embodiments:

UMI Gripper: Een andere parallelle grijper (andere kleur, vorm, grootte).
YAM Arm: Een ander armplatform met een grijper.
Sharpa Hand: Een vijfvingerige mensachtige dexterous hand.

Prestatie-metrieken (Taakprogressiepercentage):

Bron-Embodiment: Cloak-VLA presteerde op gelijke voet met de ongemaskeerde baseline ( $\pi0.5$ -droid), wat aantoont dat het maskeren van de polsweergave een verwaarloosbare kost met zich meebrengt voor de bronrobot.
Ongeziene Embodiments:
- Cloak-VLA behield hoge prestaties over alle ongeziene doelen (bijv. 81,8% op de Sharpa hand, 85,1% op de UMI gripper).
- Baselines ( $\pi0.5$ -droid en LAP-VLA) leden onder aanzienlijke prestatieverminderingen op ongeziene embodiments, met name op de vijfvingerige hand (dalend naar respectievelijk 54,4% en 60,2%).
- Ablatie-studies: Het verwijderen van mask augmentatie (Cloak-VLA-NoAug) of het gebruiken van een vaste target mask overlay (Cloak-VLA-Overlap) resulteerde in lagere prestaties, wat bevestigt dat het augmenteren van het bronsilhouet cruciaal is voor generalisatie.

5. Betekenis en Claims

Het artikel claimt dat Cloak een belangrijke stap vertegenwoordigt richting body-agnostische manipulatie. Door de end-effector te "cloaken", leert het model te redeneren over de taak en de omgeving zonder beïnvloed te worden door het specifieke uiterlijk van de hand van de robot.

Data-levensduur: De primaire betekenis is het vermogen om grootschalige datasets (zoals DROID) te hergebruiken voor nieuwe, opkomende hardware zonder hertraining of nieuwe dataverzameling.
Robuustheid: De methode vermijdt de valkuilen van generatieve modellen (hallucinatie, snelheid) en geleerde segmentatie (onbetrouwbaarheid bij dunne structuren).
Reikwijdte: De auteurs merken bescheiden op dat de huidige aanpak beperkt is tot taken die uitdrukbaar zijn via twee vingertoppen (grijpen/plaatsen) en nog geen complexe in-hand oriëntatie of vaardigheden vereist die rijke contactstrategieën nodig hebben. Ze suggereren dat het resulterende body-agnostische model dient als een sterke initialisatie voor toekomstige fine-tuning op nieuwe embodiments.