Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints" (CLAP), gepubliceerd bij ICLR 2026, in het Nederlands.

Probleemstelling

Robotleren, met name via imitatielearning, heeft veelbelovende resultaten geboekt bij complexe 3D-manipulatietaken. Echter, het schalen van deze methoden naar brede real-world toepassingen (zoals industriële of huishoudelijke robots) stuit op twee fundamentele beperkingen:

1. Generalisatie naar omgevingsvariaties (G1): Robots moeten kunnen opereren in nieuwe omgevingen met variaties in objecten, achtergronden of belichting.
2. Compositional Generalization (G2): Robots moeten nieuwe taken kunnen oplossen door eerder geleerde vaardigheden te combineren.

Bestaande hiërarchische "coarse-to-fine" beleidsstrategieën (waarbij een ruwe tak een interessegebied voorspelt voor een fijne tak) zijn weliswaar steekproefefficiënt en nauwkeurig, maar lijden onder generalisatieproblemen. Zelfs met voorgeïmplementeerde modellen (pre-trained models) falen deze methoden vaak bij nieuwe instructies of objectvariaties. De oorzaken zijn divers: domeinverschuiving tussen pre-training en robotbeelden, onvoldoende 3D-ruimtelijk redeneren van bestaande Vision-Language Models (VLMs), en het niet optimaal benutten van de planningscapaciteiten van VLMs.

Methodologie: CLAP

De auteurs stellen CLAP (Coarse-to-fine Language-Aligned manipulation Policy) voor. Dit is een nieuw hiërarchisch framework dat drie kerncomponenten integreert om generalisatie en steekproefefficiëntie te maximaliseren:

1. Taakdecompositie en Coarse Task Planner

In tegenstelling tot eerdere methoden die alle acties baseren op één hoog-niveau taakbeschrijving, deconstrueert CLAP taken in stapsgewijze taal-instructies (bijv. "De arm grijpt het handvat" in plaats van "Open de lade").

• Architectuur: De "coarse branch" is een Fine-tuned VLM (gebaseerd op Qwen 2.5 VL-3B) die fungeert als een "Coarse Task Planner".
• Inference Protocol: Het model gebruikt een tweerondige inferentie:
  1. Eerst wordt puur op tekst gebaseerd een plan gegenereerd ($L$) dat de taak opsplitst in sub-taken.
  2. Vervolgens worden visuele input en dit plan gebruikt om de specifieke stap-instructie ($\ell_{tk}$) en het bijbehorende 3D-sleutelpunt (keypoint) te voorspellen.
• Redeneringsketen (Chain-of-Thought): Om de VLM beter aan te laten sluiten bij 3D-manipulatie, wordt het model getraind om eerst de posities van relevante objecten te lokaliseren, vervolgens de stap-instructie te genereren, en tot slot het 3D-sleutelpunt te voorspellen.
• Geheugen: Voor langere taken wordt de instructie van de vorige stap als korte-termijngeheugen toegevoegd om context te behouden en herhaling te voorkomen.

2. 3D-Aware Representatie in de Fine-Grained Action Predictor

De "fine branch" voert de daadwerkelijke actie uit op basis van de stap-instructie en gereduceerde observaties.

• Input: Het model neemt de stap-instructie en multi-view RGB-D beelden (gecropt rond het voorspelde sleutelpunt) als input.
• Encoder: In plaats van standaard VLM-encoders, worden gespecialiseerde pre-trained encoders gebruikt om de domeinverschuiving te overbruggen:
  • SigLIP voor RGB-beelden en tekst (voor semantische uitlijning).
  • DINOv2 voor dieptebestanden (voor geometrische structuur).
  • 3D Positie Embeddings: Pixel-coördinaten worden omgezet in 3D-positie-embeddings om ruimtelijk bewustzijn toe te voegen.
• Fusie: Deze componenten worden samengevoegd via een Multi-View Transformer om de definitieve actie te voorspellen.

3. Trainingsstrategie

• Auxiliary Tasks: De VLM wordt getraind met een extra dataset voor 3D-objectdetectie om de ruimtelijke begrip en generalisatie naar nieuwe objecten (zero-shot) te verbeteren.
• Data-efficiëntie: Door taakdecompositie en het gebruik van pre-trained kennis, heeft het model veel minder trainingsdata nodig dan concurrenten.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Een hiërarchisch beleid dat taken decomposeert in taal-instructies, wat compositional generalization (G2) sterk bevordert.
2. Geoptimaliseerde VLM-Adaptatie: Een trainingspijplijn die een pre-trained VLM effectief aanpast voor 3D-sleutelpuntpredictie via een sequentiële redeneerprocedure (objectlocatie $\to$ instructie $\to$ sleutelpunt).
3. 3D-Aware Representatie: Een fine-grained predictor die gebruikmaakt van gespecialiseerde encoders en 3D-positie-embeddings om precisie en sample-efficiëntie te verhogen.
4. Empirische Validatie: Bewijs van state-of-the-art prestaties in zowel simulatie als op een echte robot, met name in generalisatie naar onbekende taken en objecten.

Resultaten

Simulatie (GemBench)

Het model werd getest op GemBench, een benchmark specifiek ontworpen voor generalisatie-evaluatie op vier niveaus (nieuwe plaatsingen, nieuwe objecten, gearticuleerde objecten, en lange-horizont taken).

• Prestatie: CLAP behaalde een gemiddelde succesratio van 62,0%, wat 12% hoger is dan de bestaande state-of-the-art methode (BridgeVLA).
• Data-efficiëntie: Dit resultaat werd bereikt met slechts 1/5e van de trainingsdata (20 demonstraties per taakvariatie versus 100 bij concurrenten).
• Ablatiestudies: De resultaten bevestigen dat elke component (taakplanning, objectredenering, vorige stap-instructie, en pre-trained encoders) essentieel is voor de prestaties, vooral op de moeilijkste niveaus (L3 en L4).

Real-World Experimenten

Experimenten werden uitgevoerd op een fysieke robot met slechts 10 demonstraties per taak.

• Generalisatie: CLAP toonde sterke generalisatie naar nieuwe objecten, variaties in belichting, afleidende objecten en nieuwe taakcombinaties.
• Vergelijking: CLAP behaalde een gemiddelde succesratio van 77,3%, vergeleken met 22,5% voor de concurrent RVT2. Bij specifieke taken zoals "block in cup" met nieuwe kleuren steeg de succesratio van 25% (RVT2) naar 82,5% (CLAP).

Betekenis en Conclusie

CLAP markeert een belangrijke stap in robuust robotleren door de kloof tussen taalgebaseerde redenering en precieze 3D-manipulatie te dichten. Door pre-trained Vision-Language Models niet alleen te gebruiken voor visueel begrip, maar ook als een planner die taken decomposeert en 3D-sleutelpunten voorspelt via een gestructureerd redeneerproces, overwint het de beperkingen van eerdere methoden.

De kerninnovatie ligt in het combineren van compositional generalization (via taakdecompositie) met sample efficiency (via hiërarchische architectuur en pre-trained kennis). Dit maakt het mogelijk om robots te trainen met zeer weinig data die toch in staat zijn om complexe, nieuwe taken in dynamische omgevingen uit te voeren. Hoewel de methode nog beperkt is tot gestructureerde taken met duidelijke keyframes, biedt het een veelbelovende richting voor toekomstig onderzoek naar zelfcorrigerende en nog robuustere robotbeleidssystemen.