🤖 machine learning

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

Dit artikel introduceert CLAMP, een nieuw 3D-pretrainingskader dat gebruikmaakt van contrastief leren op multi-view puntwolken en robotacties om de steekproefefficiëntie en prestaties van robotmanipulatiebeleid te verbeteren voor zowel gesimuleerde als real-world taken.

Oorspronkelijke auteurs: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert huishoudelijke klusjes te doen, zoals een mok op een bord zetten of een la openen. In het verleden probeerden wetenschappers robots te leren door hen duizenden video's te tonen van mensen die deze taken uitvoerden. De robot probeerde de bewegingen na te bootsen, maar had vaak moeite omdat hij de wereld in "2D" zag (zoals een platte foto). Hij begreep niet echt dat een beker een massief object met diepte is, of dat hij ergens omheen moet reiken om het vast te grijpen.

Dit artikel introduceert CLAMP, een nieuwe manier om robots te trainen die erop neerkomt hen een "3D-brein" te geven voordat ze zelfs beginnen met het leren van specifieke klusjes.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het probleem: Platte versus 3D-vision

Stel je een standaard robotcamera voor als een mens die naar een schilderij kijkt. Je kunt de kleuren en vormen zien, maar je kunt de diepte niet voelen. Als een robot probeert een schroevendraaier op te pakken, kan hij missen omdat hij de 3D-ruimte rond het object niet volledig begrijpt.

CLAMP's oplossing: In plaats van alleen naar platte afbeeldingen te kijken, bouwt CLAMP een 3D-puntenwolk. Stel je voor dat je een miljoen tiny puntjes gebruikt om elk oppervlak weer te geven dat de robot ziet. Dit geeft de robot een "massief" begrip van de wereld, waarbij hij precies weet waar de randen en hoeken van objecten zich bevinden in de 3D-ruimte.

2. De "gym"-training (Pre-training)

Voordat de robot een specifieke taak probeert (zoals het openen van een la), doorloopt hij een enorme "gym"-sessie in een computersimulatie. Dit heet Pre-training.

De workout: De robot bekijkt miljoenen gesimuleerde robotbewegingen.
De les: Het leert drie dingen met elkaar te verbinden:
1. Wat het ziet (de 3D-vorm van de objecten).
2. Wat het doet (de geschiedenis van zijn arm-bewegingen).
3. Wat het wordt verteld (tekstbeschrijvingen zoals "zet de blikopener in het linker vakje").
De magische truc (Contrastief leren): Stel je een spel "Memory" voor. De robot krijgt een afbeelding van een scène en een lijst met acties te zien. Hij moet het juiste plaatje koppelen aan de juiste actie. Als hij een afbeelding van een schroevendraaier koppelt aan de actie "pak de schroevendraaier op", krijgt hij een punt. Koppelt hij het plaatje van de schroevendraaier aan "pak de schaar op", dan verliest hij een punt. Na miljoenen pogingen leert het de diepe verbinding tussen zien van een object en weten hoe je moet bewegen om het vast te grijpen.

3. Het "handcamera"-voordeel

Een van de grote ontdekkingen van het artikel is dat robots dingen moeten zien vanuit hun eigen handen, en niet alleen vanuit een vaste camera aan het plafond.

De analogie: Stel je voor dat je een naald probeert te draden terwijl iemand anders een zaklamp tegen de muur vasthoudt. Dat is moeilijk. Maar als je de zaklamp zelf vasthoudt (een "handzicht"), kun je precies zien wat je doet.
CLAMP's zet: Het simuleert camera's die aan de polsen van de robot zijn bevestigd. Dit helpt de robot objecten duidelijk te zien, zelfs wanneer zijn eigen armen het zicht blokkeren, wat cruciaal is voor taken met hoge precisie.

4. De "voorsprong" (Fine-tuning)

Nadat de robot zijn "gym"-training heeft afgerond, is hij klaar om een echte taak te leren.

De oude manier: Meestal moet je helemaal opnieuw beginnen, waarbij je de robot een paar honderd voorbeelden van een nieuwe taak toont, en het kost veel tijd om te leren.
De CLAMP-methode: Omdat de robot al begrijpt hoe 3D-ruimte werkt en hoe acties zich verhouden tot objecten, hoeft hij slechts een klein aantal voorbeelden te zien (zoals 4.500 demonstraties) om een nieuwe taak onder de knie te krijgen. Het is als een student die al lezen en schrijven heeft geleerd; hij hoeft alleen de specifieke woordenschat voor een nieuw vak te leren, in plaats van opnieuw te leren hoe je een pen vasthoudt.

5. De resultaten

De auteurs testten CLAMP op zes verschillende gesimuleerde taken (zoals het plaatsen van een blikopener in een bakje) en vijf taken uit de echte wereld (zoals het openen van laden of het recyclen van blikken).

Het resultaat: CLAMP was aanzienlijk beter en sneller in het leren dan andere toptools. In de echte wereld slaagde het er veel vaker in om laden te openen en mokken op borden te zetten dan robots die zonder deze 3D-pre-training waren getraind.

Samenvatting

CLAMP is als een robot-basisopleiding. In plaats van een robot alleen te laten zien hoe hij één specifieke baan moet doen, leert het de robot hoe hij de wereld in 3D moet zien en hoe zijn lichaam zich in die ruimte beweegt. Zodra de robot dit algemene "gezond verstand" over 3D-objecten en beweging heeft, kan hij nieuwe, specifieke klusjes ongelooflijk snel en nauwkeurig leren.

Technische Samenvatting: CLAMP

Probleemstelling

Hoewel het benutten van voorgetrainde 2D-afbeeldingsrepresentaties voor gedragkloonen een standaard is geworden in robotische manipulatie, falen deze benaderingen vaak om de essentiële 3D-ruimtelijke informatie vast te leggen die nodig is voor precieze interactie met objecten en scènes. Bestaande voortrainingsmethoden in de robotica staan voor uitdagingen, waaronder de beperkte beschikbaarheid van robotten op grote schaal, onzekerheid over optimale modaliteiten (bijv. RGB versus puntwolken) en de complexiteit van hoogdimensionale toestands- en actieruimtes. Bovendien vertrouwen eerdere 3D-voortrainingsinspanningen, zoals 3D-MVP, vaak op afbeeldingsreconstructie via gemaskerde auto-encoder zonder robotactiegegevens te incorporeren, waardoor er een kloof blijft bestaan in het leren van de relatie tussen 3D-perceptie en actiepatronen.

Methodologie

De auteurs stellen CLAMP (Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining) voor, een raamwerk dat is ontworpen om robuuste 3D-afbeeldings- en actierepresentaties te leren via contrastief leren op grote schaal gesimuleerde robottrajecten.

1. Datarepresentatie en Rendering

Constructie van Puntwolk: Het systeem bouwt een scène-puntwolk op uit RGB-D-afbeeldingen en camera-extrinsieke parameters, waarbij RGB-kleuren worden weggelaten om generalisatie van uiterlijk te verbeteren.
Multi-view Her-rendering: In plaats van standaard orthogonale weergaven, rendert CLAMP de scène opnieuw naar vier-kanaals afbeeldingen (Diepte, X, Y, Z-coördinaten) vanuit vijf virtuele gezichtspunten: drie vaste weergaven (bovenaanzicht, linksvoor, rechtsachter) en twee dynamische polsweergaven (bevestigd aan de grijpers). De dynamische polsweergaven zijn specifiek ontworpen om occlusie te verminderen en duidelijkere waarnemingen te bieden voor taken met hoge precisie.
Tekstinput: Tekstinput omvat hoogwaardige taakbeschrijvingen, objectnamen, genormaliseerde globale posities en gehele getallen voor taakvoortgang. Deze zijn afgeleid van de grondwahrheid van de simulator en worden uitsluitend gebruikt tijdens de voortraining om de representaties te verankeren.

2. Modelarchitectuur

CLAMP maakt gebruik van drie encoder die worden getraind via contrastief leren:

Afbeeldingencoder: Een Vision Transformer (ViT) die gebruikmaakt van STRING-relatieve positionele codering. In tegenstelling tot standaard positionele coderingen, gebruikt STRING de 3D-coördinaten (massamiddelpunt van zichtbare punten) afgeleid van de puntwolk om tokens te correleren over verschillende weergaven. Hierdoor kan het model impliciet 3D-structuur leren en tokens van verschillende 2D-weergaven correleren die overeenkomen met vergelijkbare 3D-regio's.
Actieencoder: Een Transformer-encoder die een geschiedenis van vorige actieblokken verwerkt.
Tekstencoder: Een op CLIP gebaseerde tekstencoder die de taak- en objectbeschrijvingen verwerkt.

3. Doelstelling voor Contrastieve Voortraining

De encoders worden getraind om een SigLIP-achtig verlies te minimaliseren over drie modaliteitsparen: afbeelding-tekst, afbeelding-actie en tekst-actie. Het doel is om de embeddings van匹配的 tripletten $(I, T, A)$ dichter bij elkaar te brengen terwijl het niet-matching tripletten uit elkaar duwt. Dit moedigt het model aan om actiepatronen te leren die toekomstige toestanden kunnen afleiden en afbeeldingsrepresentaties die de actiegesciedenis kunnen afleiden, geconditioneerd op ruimtelijke en temporele taakbeschrijvingen.

4. Voortraining en Fijnafstelling van Diffusiebeleid

Parallelle Voortraining: Een Diffusiebeleid (visuomotorische controller) wordt parallel aan de encoders voorgetraind op dezelfde gesimuleerde dataset. Dit beleid wordt geïnitieerd met de voorgetrainde gewichten om de sample-efficiëntie downstream te verbeteren.
Fijnafstelling: Voor downstream-taken wordt het beleid fijn afgesteld op een beperkt aantal taakspecifieke demonstraties. Tijdens deze fase worden de CLAMP-encoders bevroren om afbeeldings- en actie-embeddings te extraheren, die worden samengevoegd met RGB-kenmerken (van ResNet-50) en proprioceptieve data. Deze worden ingevoerd in een Transformer encoder-decoder om ruis te voorspellen voor de volgende 50 actie-stappen.

Belangrijkste Bijdragen

Nieuw 3D-voortrainingsraamwerk: Introductie van CLAMP, dat robotacties en dynamische polsweergaven benut voor 3D-contrastieve voortraining.
STRING voor 3D-coördinaten: De eerste toepassing van STRING-relatieve positionele codering met behulp van 3D-coördinaten die direct zijn afgeleid van puntwolken (in plaats van dieptekaarten) om tokens te correleren over multi-view waarnemingen.
Belang van Dynamische Weergaven: Aantonen dat dynamische polsweergaven cruciaal zijn voor manipulatietaken met hoge precisie.
Gecombineerde Voortraining van Encoder en Beleid: Bewijs dat het voortrainen van zowel de encoders als het Diffusiebeleid aanzienlijk betere prestaties oplevert dan het alleen voortrainen van encoders.

Resultaten

De auteurs hebben CLAMP geëvalueerd over zes gesimuleerde taken en vijf real-world taken met het ALOHA-robotplatform.

Simulatie: CLAMP presteerde aanzienlijk beter dan state-of-the-art baselines (inclusief ALOHA Unleashed, ACT en VLA-ruggengraten) over alle zes taken. Bijvoorbeeld, op de taak "Blikopener in Bak" behaalde CLAMP een slagingspercentage van 94,0% vergeleken met 70,0% voor Pretrained ALOHA Unleashed en 7,3% voor de VLA-ruggengraat.
Real-World: In real-world experimenten presteerde CLAMP beter dan baselines op vier van de vijf taken, met opmerkelijke verbeteringen in het openen/sluiten van laden en het plaatsen van mokken op borden.
Ablatiestudies:
- Het verwijderen van virtuele polsweergaven resulteerde in aanzienlijke prestatiedalingen (bijv. -28,6% op "Mok op Bord").
- Het vervangen van de ViT door een PointNet-achtige ruggengraat (DP3) verslechterde de prestaties.
- Het verwijderen van de tekstencoder had een minor impact in simulatie, maar een merkbaar negatief effect in real-world omgevingen, wat suggereert dat tekstverankering waardevoller is bij het omgaan met visuele ruis.
- Het voortrainen van het beleid naast de encoders bleek essentieel voor hoge sample-efficiëntie.

Betekenis

Het artikel beweert dat CLAMP de leerefficiëntie en beleidsprestaties op onbekende taken aanzienlijk verbetert door effectief gebruik te maken van 3D-geometrische informatie en robotactiepatronen. Door te voortrainen op grote schaal gesimuleerde data en het beleid te initialiseren met deze geleerde representaties, vermindert het raamwerk de sample-complexiteit die nodig is voor fijnafstelling op beperkte real-world demonstraties. Het werk stelt vast dat het incorporeren van 3D-perceptie en actie-geconditioneerd contrastief leren een levensvatbare en superieure aanpak is voor robotische manipulatie-voortraining in vergelijking met bestaande 2D- of reconstructie-gebaseerde methoden.