🤖 machine learning

Contrastive Representation Regularization for Vision-Language-Action Models

Dit artikel introduceert Robot State-aware Contrastive Loss (RS-CL), een lichtgewicht regularisatietechniek voor representaties die Vision-Language-Action-modelrepresentaties afstemt op robotische proprioceptieve toestanden, waardoor de prestaties aanzienlijk worden verbeterd op zowel gesimuleerde als real-world manipulatie-benchmarks.

Oorspronkelijke auteurs: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Gepubliceerd 2026-05-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Slimme Brein" versus de "Onhandige Handen"

Stel je een robot voor met een brein dat ongelooflijk slim is over de wereld. Het heeft miljoenen boeken gelezen en miljarden foto's gezien. Het weet hoe een "kastdeur" eruitziet, wat "open" betekent, en hoe je dat in perfect Engels beschrijft. Dit is het Vision-Language Model (VLM).

Echter, wanneer je deze robot vraagt om de kast daadwerkelijk open te maken, heeft hij moeite. Waarom? Omdat zijn brein wel het concept van een deur begrijpt, het geen idee heeft hoe zijn eigen armen aanvoelen wanneer ze bewegen. Het begrijpt geen "proprioceptie"—het interne gevoel van waar zijn gewrichten zijn, hoeveel kracht het gebruikt, of precies waar zijn hand zich in de ruimte bevindt.

Het paper stelt dat huidige robots lijken op een briljante chef-kok die nooit een mes heeft aangeraakt. Ze weten hoe een salade er moet uitzien, maar ze kunnen het groente niet snijden omdat ze het fysieke "gevoel" van de handeling missen.

Het Probleem: De "Visuele Val"

De onderzoekers ontdekten dat deze robots zich laten afleiden door de omgeving wanneer ze proberen te leren.

De Oude Manier: Als je de robot een video laat zien van het openen van een kast in een keuken met een rode muur, en een andere video van het openen van een kast in een keuken met een blauwe muur, denkt het brein van de robot: "Dit zijn twee totaal verschillende taken!" Het groepeert ze op basis van de achtergrondkleur of de meubelstijl.
De Realiteit: De beweging van de robotarm is in beide gevallen bijna identiek. Het "gevoel" van de arm die omhoog gaat en de greep vastpakt, is hetzelfde, zelfs als de muurkleur verandert.

Omdat het brein van de robot zich richt op de visuele aspecten (de rode muur versus de blauwe muur) in plaats van op de fysieke staat (de positie van de arm), maakt het onhandige fouten, vooral wanneer precisie nodig is, zoals het oppakken van een kopje zonder het te laten vallen.

De Oplossing: "Robot State-Aware Contrastive Loss" (RS-CL)

De auteurs introduceren een nieuwe trainingstruc genaamd RS-CL. Denk hierbij aan een "fysieke realiteitscheck" voor het brein van de robot.

1. De Analogie van "Zachte Supervisie"

Stel je voor dat je een student leert een cirkel te tekenen.

Oude Methode: Je zegt gewoon: "Teken een cirkel." De student kijkt naar een afbeelding van een cirkel op een poster en probeert de inkt na te bootsen.
RS-CL Methode: Je houdt de hand van de student vast en zegt: "Voel hoe je pols beweegt? Als je hand hier is, is de cirkel klein. Als je hand daar is, is de cirkel groot."

RS-CL doet dit digitaal. Het kijkt naar de interne sensoren van de robot (zijn "proprioceptieve staat") en vertelt het brein: "Als de arm van de robot in positie A zit, en een andere keer in positie B, en die posities zeer vergelijkbaar zijn, dan moet de interne kaart van je brein deze twee momenten behandelen als vergelijkbaar, zelfs als de achtergrond er totaal anders uitziet."

Het gebruikt een "zacht" wegingssysteem. Als de arm van de robot bijna op dezelfde plek zit, krijgt het brein een zachte duw om de afbeeldingen als vergelijkbaar te behandelen. Als de arm ver weg is, krijgt het een duw om ze als verschillend te behandelen. Dit dwingt het brein om meer om de beweging te geven dan om het decor.

2. De "View Cutoff" Truc

Robots hebben vaak meerdere camera's (zoals een polscamera en een kameracamera).

Het Probleem: Als je de robot traint door hem het volledige beeld te tonen, kan hij te veel vertrouwen op de polscamera en de kamer negeren, of andersom.
De Oplossing: De onderzoekers hebben een methode uitgevonden genaamd View Cutoff. Stel je voor dat je een kaart bestudeert, maar je bedekt de helft ervan met je hand. Je dwingt je brein om het hele plaatje te begrijpen met alleen het zichtbare gedeelte.
Hoe het werkt: De computer "maskeert" (verbergt) tijdens het trainen willekeurig één van de camera-weergaven. Dit dwingt het brein van de robot om een representatie te leren die werkt, zelfs als één camera geblokkeerd is of als de hoek verandert. Het maakt het begrip van de robot "view-invariant" (het maakt niet uit vanuit welke hoek je het ziet; de handeling is hetzelfde).

De Resultaten: Van "Onhandig" naar "Precies"

Het paper testte dit uit op een gesimuleerde keuken (RoboCasa-Kitchen) en een echte robotarm.

De Simulatie: Voor deze fix slaagden de beste robots ongeveer 65,7% van de tijd. Met RS-CL steeg dit naar 69,7%.
De "Pick-and-Place" Overwinning: De grootste verbetering was in taken die precisie vereisen, zoals het oppakken van een klein object en het in een kom leggen. De slagingspercentages gingen van 30,3% naar 41,5%. Dit is als het verschil tussen een robot die de helft van de tijd het kopje laat vallen en een die het bijna altijd goed doet.
De Echte Robot: Bij een echte fysieke robotarm steeg het slagingspercentage voor moeilijke taken van 45,0% naar 58,3%.

Waarom Dit Belangrijk Is (Volgens het Paper)

Het paper beweert dat deze methode lichtgewicht en gemakkelijk toe te voegen is. Je hoeft het brein van de robot niet vanaf nul te herbouwen of het miljoenen nieuwe video's van bewegende robots te geven. Je voegt gewoon deze "fysieke realiteitscheck" (RS-CL) toe aan het bestaande trainingsproces.

Het overbrugt de kloof tussen "weten wat een deur is" (Vision-Language) en "weten hoe je je arm moet bewegen om het open te maken" (Action). Door het brein van de robot te dwingen zijn gedachten af te stemmen op zijn fysieke gevoelens, wordt de robot veel beter in de daadwerkelijke baan van dingen verplaatsen.

Samenvatting in Één Zin

Het paper leert robots om te stoppen met kijken naar het achtergronddecor en te beginnen met aandacht te besteden aan hoe hun eigen lichamen bewegen, wat resulteert in veel soepelere en nauwkeurigere fysieke handelingen.

Technische Samenvatting: Contrastieve Representatie-regularisatie voor Vision-Language-Action Modellen

Probleemstelling

Vision-Language-Action (VLA) modellen hebben aanzienlijk potentieel aangetoond in robotmanipulatie door gebruik te maken van rijke semantische representaties van vooraf getrainde Vision-Language Modellen (VLM's). Een kritieke beperking blijft echter bestaan: de representaties die zijn afgeleid van algemene VLM's zijn vaak suboptimaal voor robotbesturing. Hoewel VLM's zijn getraind op grote schaal visuele instructiedata, ontbreekt er expliciete blootstelling aan robotmodi, specifiek laag-niveau besturingsacties en proprioceptieve informatie (bijvoorbeeld gewrichtsposities, toestanden van de eind-effector).

Consequentie: wanneer VLA-modellen worden geconditioneerd op bevroren VLM-representaties, neigen de embeddings ertoe gedomineerd te worden door visuele verschijning (bijvoorbeeld indeling van de scène, achtergrondtexturen) in plaats van door factoren die relevant zijn voor besturing. Deze misalignatie resulteert in representaties die de fysieke toestand van de robot of de noodzakelijke signalen voor nauwkeurige actievoorspelling niet vastleggen, wat leidt tot suboptimale prestaties in taken die nauwkeurige positionering vereisen.

Methodologie: Robot State-aware Contrastive Loss (RS-CL)

Om de misalignatie tussen VLM-representaties en robotsignalen aan te pakken, stellen de auteurs Robot State-aware Contrastive Loss (RS-CL) voor. Dit is een eenvoudige, effectieve regularisatietechniek voor representaties die is ontworpen om de kloof te overbruggen tussen VLM-embeddings en robotproprioceptieve toestanden, zonder dat er extra trainingsfasen of verzorgde datasets nodig zijn.

Kerncomponenten

Augmentatie op Representatieniveau (View Cutoff):
In plaats van dure augmentaties op dataniveau uit te voeren die meerdere forward-passes door de VLM vereisen, introduceren de auteurs "view cutoff". Deze operatie maskert willekeurig de featureslice die overeenkomt met één observatieview uit de VLM-uitvoer. Dit creëert alternatieve embeddings op representatieniveau met minimale rekenkosten, waardoor het efficiënt construeren van diverse contrastieve paren mogelijk wordt.
Leerbaar Samenvattings-Token:
Om de hoge rekenkosten van het toepassen van contrastief leren op volledige VLM-sequenties (die doorgaans lang zijn) te hanteren, wordt een leerbaar samenvattings-token toegevoegd aan de VLM-uitvoer. De adapter verwerkt dit token om een compacte representatieve embedding ( $z$ ) te produceren die wordt gebruikt voor contrastief leren, terwijl de originele embeddings ( $h$ ) beschikbaar blijven voor de actie-decoder.
Soft-Gewogen Contrastief Doel:
RS-CL maakt gebruik van een supervised contrastief leerframework gebaseerd op de InfoNCE-loss. In tegenstelling tot standaard contrastieve losses die alle negatieve paren gelijk behandelen, kiest RS-CL soft weights toe voor similariteitscores op basis van de Eucledische afstand tussen de proprioceptieve toestanden van de robot ( $q_i, q_j$ ).
- Mechanisme: Paren van toestanden met kleine proprioceptieve afstanden (soortgelijke fysieke toestanden) krijgen hogere gewichten, waardoor het model wordt aangemoedigd hun embeddings dichter bij elkaar te trekken in de representatieruimte. Paren met grote afstanden krijgen lagere gewichten.
- Formule: De loss wordt gedefinieerd als een gewijzigde variant van InfoNCE:
  $\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$
  waarbij $w_{ij}$ wordt berekend uit de relatieve afstand tussen proprioceptieve toestanden.
Integratie in Training:
RS-CL werkt als een aanvullend doel naast de standaard loss voor actievoorspelling (bijvoorbeeld flow-matching loss). Het totale doel is $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$ . Het wegingscoëfficiënt $\lambda$ wordt tijdens de training afgenomen, waardoor representatieverfijning in vroege stadia wordt benadrukt en nauwkeurige actievoorspelling in latere stadia. Dit maakt single-stage, end-to-end training mogelijk die compatibel is met bestaande VLA-pijplijnen.

Belangrijkste Bijdragen

Nieuw Doel: Introductie van RS-CL, dat VLM-representaties expliciet aligneert met robotproprioceptieve toestanden met behulp van continue, op afstand gebaseerde soft-supervisie.
Efficiënt Ontwerp: Ontwikkeling van een augmentatiestrategie op representatieniveau ("view cutoff") die lichtgewicht, stabiel contrastief leren mogelijk maakt zonder extra VLM forward-passes.
Compatibiliteit: Aantonen dat RS-CL volledig compatibel is met standaard VLA-trainingspijplijnen, zonder dat er extra data-curatie of multi-stage trainingsprocessen nodig zijn.

Experimentele Resultaten

De auteurs hebben RS-CL geëvalueerd op simulatie-benchmarks en experimenten met echte robots.

Simulatie Benchmarks

RoboCasa-Kitchen: RS-CL behaalde een state-of-the-art slagingspercentage van 69,7% (met 300 demonstraties), waarmee het de baseline GR00T N1.5 (65,7%) en andere sterke baselines zoals $\pi_0$ (62,5%) overtrof. Opmerkelijk is dat het aanzienlijke winsten opleverde in pick-and-place taken, waarbij slagingspercentages verbeterden van 30,3% naar 41,5% (+11,2%), een categorie die nauwkeurige positionering vereist.
LIBERO: RS-CL verbeterde het gemiddelde slagingspercentage van 95,7% naar 96,4%, wat robuustheid aantoont over verschillende multitask suites.
Efficiëntie: In vergelijking met Time-Contrastive Networks (TCN) behaalde RS-CL hogere slagingspercentages met aanzienlijk lagere rekenkosten (2,91 $\times 10^{12}$ FLOPs versus 7,53 $\times 10^{12}$ voor TCN), omdat het tijdelijk gestructureerde dataminen en extra forward-passes vermijdt.

Experimenten met Echte Robots

Opstelling: Experimenten werden uitgevoerd op een Franka Research 3-arm met een Robotiq 2F-85 grijper.
Prestaties: Bij uitdagende manipulatie-taken verbeterde RS-CL het slagingspercentage van 45,0% naar 58,3% (+13,3%).
Generalisatie: De methode toonde verbeterde robuustheid tegen visuele variaties, veranderingen in fysieke eigenschappen (ongezien objecten), lichtomstandigheden en taalgrondering. Het toonde ook verbeterde prestaties in taken met gedeeltelijke occlusie (bijvoorbeeld het sluiten van een deksel), toegeschreven aan view-invariante representaties.

Training Van-Scratch

Bij het trainen van VLA-modellen van scratch op verschillende vooraf getrainde VLM-backbones (Qwen2.5-VL, SigLIP2, GR00T N1.5) verbeterde RS-CL consistent de prestaties over alle architecturen. Het presteerde beter dan baselines die vertrouwden op verdere training van VLM's op robotica-datasets (bijvoorbeeld RoboBrain, VeBrain), wat suggereert dat expliciete alignering via RS-CL effectiever is dan alleen algemene domeinadaptatie.

Betekenis en Claims

Het artikel claimt dat RS-CL effectief de "modality gap" aanpakt tussen algemene VLM's en de specifieke eisen van robotbesturing. Door representaties expliciet te aligneren met proprioceptieve toestanden, herschikt de methode de embedding-ruimte om besturingsrelevante signalen (zoals taakvoortgang en robotpose) vast te leggen in plaats van alleen visuele verschijning.

De auteurs benadrukken dat deze aanpak lichtgewicht en naadloos is, waardoor de behoefte aan complexe multi-stage training of grote schaal verzorgde robotica-datasets wordt vermeden. De resultaten suggereren dat het direct integreren van robotsignaal in het representatieleringsproces cruciaal is voor nauwkeurige actievoorspelling, met name in taken die nauwkeurige positionering vereisen. Het werk moedigt toekomstig onderzoek aan naar het integreren van andere sensorsignalen (bijvoorbeeld objectpose, tactiele feedback) om de VLA-capaciteiten verder te verbeteren.