🤖 machine learning

Contrastive Representation Regularization for Vision-Language-Action Models

Dieser Beitrag stellt den Robot State-aware Contrastive Loss (RS-CL) vor, eine leichte Regularisierungstechnik für Repräsentationen, die Repräsentationen von Vision-Language-Action-Modellen mit robotischen propriozeptiven Zuständen abgleicht und die Leistung sowohl bei simulierten als auch bei realen Manipulationsbenchmarks erheblich verbessert.

Ursprüngliche Autoren: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „kluge Gehirn" vs. die „ungeschickten Hände"

Stellen Sie sich vor, Sie haben einen Roboter gebaut, dessen Gehirn unglaublich klug über die Welt ist. Es hat Millionen von Büchern gelesen und Milliarden von Fotos gesehen. Es weiß, wie eine „Schranktür" aussieht, was „öffnen" bedeutet und wie man dies auf perfektem Englisch beschreibt. Dies ist das Vision-Language-Modell (VLM).

Wenn Sie diesen Roboter jedoch bitten, den Schrank tatsächlich zu öffnen, hat er Schwierigkeiten. Warum? Weil sein Gehirn zwar das Konzept einer Tür versteht, es aber keine Ahnung hat, wie sich seine eigenen Arme anfühlen, wenn sie sich bewegen. Es versteht keine „Propriozeption" – das innere Gefühl dafür, wo sich seine Gelenke befinden, wie viel Kraft es aufwendet oder wo genau seine Hand im Raum ist.

Das Papier argumentiert, dass aktuelle Roboter wie ein brillanter Koch sind, der noch nie ein Messer berührt hat. Sie wissen, wie ein Salat aussehen sollte, können aber das Gemüse nicht schneiden, weil ihnen das physische „Gefühl" der Handlung fehlt.

Das Problem: Die „visuelle Falle"

Die Forscher stellten fest, dass diese Roboter beim Lernen durch die Szenerie abgelenkt werden.

Der alte Weg: Wenn Sie dem Roboter ein Video zeigen, wie er einen Schrank in einer Küche mit roter Wand öffnet, und ein weiteres Video, wie er einen Schrank in einer Küche mit blauer Wand öffnet, denkt das Roboterhirn: „Das sind zwei völlig unterschiedliche Aufgaben!" Es gruppiert sie nach der Hintergrundfarbe oder dem Einrichtungsstil.
Die Realität: Die Bewegung des Roboterarms ist in beiden Fällen fast identisch. Das „Gefühl" des Arms, der sich nach oben bewegt und den Griff fasst, ist dasselbe, selbst wenn sich die Wandfarbe ändert.

Da sich das Gehirn des Roboters auf die Visuellen Eindrücke (rote Wand vs. blaue Wand) konzentriert und nicht auf den physischen Zustand (Position des Arms), macht es ungeschickte Fehler, besonders wenn es auf Präzision ankommt, wie zum Beispiel beim Aufheben einer Tasse, ohne sie fallen zu lassen.

Die Lösung: „Robot State-Aware Contrastive Loss" (RS-CL)

Die Autoren führen einen neuen Trainingstrick namens RS-CL ein. Denken Sie daran als an einen „physischen Realitätscheck" für das Gehirn des Roboters.

1. Die Analogie der „weichen Supervision"

Stellen Sie sich vor, Sie lehren einen Schüler, einen Kreis zu zeichnen.

Alte Methode: Sie sagen einfach nur: „Zeichne einen Kreis." Der Schüler schaut auf ein Bild eines Kreises auf einem Plakat und versucht, die Tinte zu kopieren.
RS-CL-Methode: Sie halten dem Schüler die Hand und sagen: „Spüre, wie sich dein Handgelenk bewegt? Wenn deine Hand hier ist, ist der Kreis klein. Wenn deine Hand dort ist, ist der Kreis groß."

RS-CL macht dies digital. Es betrachtet die internen Sensoren des Roboters (seinen „propriozeptiven Zustand") und sagt dem Gehirn: „Wenn sich der Arm des Roboters in Position A befindet und ein anderes Mal in Position B, und diese Positionen sehr ähnlich sind, dann sollte die interne Karte Ihres Gehirns diese beiden Momente als ähnlich behandeln, selbst wenn der Hintergrund völlig anders aussieht."

Es verwendet ein „weiches" Gewichtungssystem. Wenn sich der Arm des Roboters fast am selben Ort befindet, erhält das Gehirn einen sanften Impuls, die Bilder als ähnlich zu behandeln. Wenn sich der Arm weit entfernt befindet, erhält es einen Impuls, sie als unterschiedlich zu behandeln. Dies zwingt das Gehirn, sich mehr um die Bewegung als um die Szenerie zu kümmern.

2. Der Trick mit dem „View Cutoff" (Sichtabschaltung)

Roboter haben oft mehrere Kameras (wie eine Handgelenkkamera und eine Raumkamera).

Das Problem: Wenn Sie den Roboter trainieren, indem Sie ihm die volle Ansicht zeigen, könnte er sich zu sehr auf die Handgelenkkamera verlassen und den Raum ignorieren, oder umgekehrt.
Die Lösung: Die Forscher haben eine Methode namens View Cutoff entwickelt. Stellen Sie sich vor, Sie studieren eine Karte, bedecken aber die Hälfte davon mit Ihrer Hand. Sie zwingen Ihr Gehirn, das ganze Bild nur mit der sichtbaren Hälfte zu verstehen.
Wie es funktioniert: Der Computer „maskiert" (versteckt) während des Trainings zufällig eine der Kameraansichten. Dies zwingt das Gehirn des Roboters, eine Darstellung zu lernen, die auch funktioniert, wenn eine Kamera blockiert ist oder sich der Winkel ändert. Es macht das Verständnis des Roboters „view-invariant" (es spielt keine Rolle, aus welchem Winkel Sie es sehen; die Handlung ist dieselbe).

Die Ergebnisse: Von „ungeschickt" zu „präzise"

Das Papier testete dies in einer simulierten Küche (RoboCasa-Kitchen) und an einem echten Roboterarm.

Die Simulation: Vor dieser Korrektur hatten die besten Roboter eine Erfolgsquote von etwa 65,7 %. Mit RS-CL stiegen sie auf 69,7 %.
Der „Pick-and-Place"-Erfolg: Die größte Verbesserung zeigte sich bei Aufgaben, die Präzision erfordern, wie das Aufheben eines kleinen Gegenstands und das Abstellen in einer Schüssel. Die Erfolgsraten stiegen von 30,3 % auf 41,5 %. Das ist wie der Übergang von einem Roboter, der die Hälfte der Zeit die Tasse fallen lässt, zu einem, der es fast immer richtig macht.
Der echte Roboter: An einem echten physischen Roboterarm stieg die Erfolgsquote für schwierige Aufgaben von 45,0 % auf 58,3 %.

Warum dies wichtig ist (laut dem Papier)

Das Papier behauptet, dass diese Methode leichtgewichtig und einfach hinzuzufügen ist. Sie müssen das Gehirn des Roboters nicht von Grund auf neu aufbauen oder ihm Millionen neuer Videos von sich bewegenden Robotern zuführen. Sie fügen diesen „physischen Realitätscheck" (RS-CL) einfach dem bestehenden Trainingsprozess hinzu.

Es schließt die Lücke zwischen dem „Wissen, was eine Tür ist" (Vision-Language) und dem „Wissen, wie man seinen Arm bewegt, um sie zu öffnen" (Action). Indem es das Gehirn des Roboters zwingt, seine Gedanken mit seinen physischen Gefühlen in Einklang zu bringen, wird der Roboter viel besser darin, die eigentliche Aufgabe des Umherbewegens von Dingen zu erfüllen.

Zusammenfassung in einem Satz

Das Papier lehrt Roboter, aufzuhören, auf die Hintergrundszenerie zu schauen, und beginnt, darauf zu achten, wie sich ihre eigenen Körper bewegen, was zu viel glatteren und genaueren physischen Handlungen führt.

Technische Zusammenfassung: Kontrastive Regularisierung von Repräsentationen für Vision-Language-Action-Modelle

Problemstellung

Vision-Language-Action (VLA)-Modelle haben durch die Nutzung reichhaltiger semantischer Repräsentationen aus vortrainierten Vision-Language-Modellen (VLMs) erhebliches Potenzial in der Roboter-Manipulation demonstriert. Eine kritische Einschränkung besteht jedoch weiterhin: Die aus allgemeinen VLMs abgeleiteten Repräsentationen sind für die Robotersteuerung oft suboptimal. Zwar werden VLMs auf großen visuellen Instruktionsdatensätzen trainiert, ihnen fehlt jedoch die explizite Exposition gegenüber robotischen Modalitäten, insbesondere niedrigstufigen Steuerungsaktionen und propriozeptiven Informationen (z. B. Gelenkpositionen, Endeffektor-Zustände).

Folglich neigen die Embeddings, wenn VLA-Modelle auf eingefrorenen VLM-Repräsentationen konditioniert werden, dazu, eher von visuellen Erscheinungen (z. B. Szenenlayout, Hintergrundtexturen) als von steuerungssrelevanten Faktoren dominiert zu werden. Diese Fehlausrichtung führt zu Repräsentationen, die den physischen Zustand des Roboters oder die notwendigen Signale für eine präzise Aktionsvorhersage nicht erfassen, was zu suboptimaler Leistung bei Aufgaben führt, die eine genaue Positionierung erfordern.

Methodik: Robot State-aware Contrastive Loss (RS-CL)

Um die Fehlausrichtung zwischen VLM-Repräsentationen und robotischen Signalen zu adressieren, schlagen die Autoren den Robot State-aware Contrastive Loss (RS-CL) vor. Dies ist eine einfache, effektive Regularisierungstechnik für Repräsentationen, die die Lücke zwischen VLM-Embeddings und robotischen propriozeptiven Zuständen überbrückt, ohne zusätzliche Trainingsstufen oder kuratierte Datensätze zu erfordern.

Kernkomponenten

Augmentation auf Repräsentationsebene (View Cutoff):
Anstatt teurer Augmentationen auf Datenebene durchzuführen, die mehrere Vorwärtsdurchläufe durch das VLM erfordern, führen die Autoren den „View Cutoff" ein. Dieser Vorgang maskiert zufällig den Merkmals-Slice, der einer einzelnen Beobachtungsansicht im VLM-Ausgang entspricht. Dies erzeugt alternative Embeddings auf Repräsentationsebene mit minimalem Rechenaufwand und ermöglicht die effiziente Konstruktion diverser kontrastiver Paare.
Lernbarer Zusammenfassungs-Token:
Um die hohen Kosten der Anwendung kontrastiven Lernens auf vollständige VLM-Sequenzen (die typischerweise lang sind) zu bewältigen, wird ein lernbarer Zusammenfassungs-Token an den VLM-Ausgang angehängt. Der Adapter verarbeitet diesen Token, um ein kompaktes repräsentatives Embedding ( $z$ ) zu erzeugen, das für das kontrastive Lernen verwendet wird, während die ursprünglichen Embeddings ( $h$ ) für den Aktionsdecoder verfügbar bleiben.
Soft-Gewichteter Kontrastiver Zielwert:
RS-CL nutzt ein überwachtes kontrastives Lernframework basierend auf dem InfoNCE-Verlust. Im Gegensatz zu Standard-Kontrastverlusten, die alle negativen Paare gleich behandeln, weist RS-CL weiche Gewichte für Ähnlichkeitswerte basierend auf dem euklidischen Abstand zwischen den propriozeptiven Zuständen des Roboters ( $q_i, q_j$ ) zu.
- Mechanismus: Paare von Zuständen mit kleinen propriozeptiven Abständen (ähnliche physische Zustände) erhalten höhere Gewichte, was das Modell dazu anregt, ihre Embeddings im Repräsentationsraum näher zusammenzubringen. Paare mit großen Abständen werden geringer gewichtet.
- Formel: Der Verlust ist definiert als gewichtete Variante von InfoNCE:
  $\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$
  wobei $w_{ij}$ aus dem relativen Abstand zwischen propriozeptiven Zuständen berechnet wird.
Trainingsintegration:
RS-CL fungiert als Hilfszielwert neben dem Standard-Zielwert für die Aktionsvorhersage (z. B. Flow-Matching-Verlust). Das Gesamtziel ist $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$ . Der Gewichtungskoeffizient $\lambda$ wird während des Trainings abgebaut, wodurch in frühen Phasen die Verfeinerung der Repräsentation und in späteren Phasen die genaue Aktionsvorhersage betont wird. Dies ermöglicht ein einstufiges, End-to-End-Training, das mit bestehenden VLA-Pipelines kompatibel ist.

Hauptbeiträge

Neuartiges Ziel: Einführung von RS-CL, das VLM-Repräsentationen durch kontinuierliche, distanzbasierte weiche Überwachung explizit mit robotischen propriozeptiven Zuständen ausrichtet.
Effizientes Design: Entwicklung einer Augmentationsstrategie auf Repräsentationsebene („View Cutoff"), die leichtgewichtiges, stabiles kontrastives Lernen ohne zusätzliche VLM-Vorwärtsdurchläufe ermöglicht.
Kompatibilität: Nachweis, dass RS-CL vollständig mit Standard-VLA-Trainingspipelines kompatibel ist und keine zusätzliche Datenkuratierung oder mehrstufige Trainingsprozesse erfordert.

Experimentelle Ergebnisse

Die Autoren evaluierten RS-CL über Simulationsbenchmarks und Experimente mit echten Robotern.

Simulationsbenchmarks

RoboCasa-Kitchen: RS-CL erreichte eine State-of-the-Art-Erfolgsrate von 69,7 % (unter Verwendung von 300 Demonstrationen) und übertraf dabei die Baseline GR00T N1.5 (65,7 %) sowie andere starke Baselines wie $\pi_0$ (62,5 %). Bemerkenswert sind erhebliche Verbesserungen bei Pick-and-Place-Aufgaben, bei denen die Erfolgsrate von 30,3 % auf 41,5 % (+11,2 %) stieg, einer Kategorie, die eine präzise Positionierung erfordert.
LIBERO: RS-CL verbesserte die durchschnittliche Erfolgsrate von 95,7 % auf 96,4 % und demonstrierte Robustheit über verschiedene Multitask-Suiten hinweg.
Effizienz: Im Vergleich zu Time-Contrastive Networks (TCN) erreichte RS-CL höhere Erfolgsraten bei deutlich geringerem Rechenaufwand (2,91 $\times 10^{12}$ FLOPs gegenüber 7,53 $\times 10^{12}$ für TCN), da es zeitlich strukturiertes Data-Mining und zusätzliche Vorwärtsdurchläufe vermeidet.

Experimente mit echten Robotern

Aufbau: Die Experimente wurden an einem Franka Research 3-Arm mit einem Robotiq 2F-85-Greifer durchgeführt.
Leistung: Bei anspruchsvollen Manipulationsaufgaben verbesserte RS-CL die Erfolgsrate von 45,0 % auf 58,3 % (+13,3 %).
Generalisierung: Die Methode zeigte verbesserte Robustheit gegenüber visuellen Variationen, Änderungen physikalischer Eigenschaften (nicht gesehene Objekte), Lichtverhältnissen und sprachlicher Verankerung. Sie zeigte auch verbesserte Leistung bei Aufgaben mit teilweiser Verdeckung (z. B. Schließen eines Deckels), was auf view-invariante Repräsentationen zurückgeführt wird.

Training von Grund auf

Beim Training von VLA-Modellen von Grund auf auf verschiedenen vortrainierten VLM-Backbones (Qwen2.5-VL, SigLIP2, GR00T N1.5) verbesserte RS-CL die Leistung konsistent über alle Architekturen hinweg. Es übertraf Baselines, die auf weiterem Training von VLMs auf Robotikdatensätzen beruhten (z. B. RoboBrain, VeBrain), was darauf hindeutet, dass eine explizite Ausrichtung via RS-CL effektiver ist als eine reine allgemeine Domänenanpassung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RS-CL effektiv die „Modalitätslücke" zwischen allgemeinen VLMs und den spezifischen Anforderungen der Robotersteuerung schließt. Durch die explizite Ausrichtung von Repräsentationen mit propriozeptiven Zuständen wird der Embedding-Raum so umgestaltet, dass steuerungssrelevante Signale (wie Aufgabenfortschritt und Roboterpose) erfasst werden, anstatt nur die visuelle Erscheinung.

Die Autoren betonen, dass dieser Ansatz leichtgewichtig und nahtlos ist und komplexe mehrstufige Trainingsverfahren oder großflächig kuratierte Robotikdatensätze überflüssig macht. Die Ergebnisse deuten darauf hin, dass die direkte Integration von Robotzustandssignalen in den Repräsentationslernprozess für eine genaue Aktionsvorhersage entscheidend ist, insbesondere bei Aufgaben, die eine präzise Positionierung erfordern. Die Arbeit ermutigt zu zukünftiger Forschung zur Integration weiterer Sensorsignale (z. B. Objekt-Pose, taktiles Feedback), um die Fähigkeiten von VLA-Modellen weiter voranzutreiben.