💻 computer science

LACE: Latent Visual Representation for Cross-Embodiment Learning

LACE ist ein Framework, das die visuelle Lücke zwischen menschlichen und robotischen Erscheinungsformen überbrückt, indem es ihre latenten visuellen Darstellungen durch spärliche, automatisch generierte Korrespondenzen von Körperteilen ausrichtet und es Robotern ermöglicht, auch bei knappen roboterspezifischen Trainingsdaten reichlich vorhandene menschliche Demonstrationsdaten effektiv für das Erlernen von Strategien zu nutzen.

Ursprüngliche Autoren: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man ein Spielzeug aufnimmt. Sie haben Tausende von Videos, auf denen Menschen dies perfekt ausführen, aber nur eine Handvoll Videos, auf denen der Roboter es tut.

Das Problem besteht darin, dass Menschen und Roboter sehr unterschiedlich aussehen. Eine menschliche Hand hat Haut, Falten und fünf Finger, die sich auf bestimmte Weise biegen. Eine Roboterhand könnte aus Metall bestehen, vier Finger haben oder wie eine Klaue aussehen. Da sie so unterschiedlich aussehen, gerät das „Gehirn" des Roboters (seine Computervision) in Verwirrung. Es sieht eine menschliche Hand in einem Video und denkt: „Das ist ein Mensch", aber wenn es seine eigene Metallhand sieht, denkt es: „Das ist etwas ganz anderes." Es kann die beiden nicht miteinander verbinden und kann daher nicht aus den menschlichen Videos lernen.

Diese Arbeit stellt eine Lösung namens LACE (Latent Alignment for Cross-Embodiment Learning) vor. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Sprach"-Problem

Stellen Sie sich das Gehirn des Roboters als einen Schüler vor, der eine komplexe Sprache namens „Latenter Raum" spricht. Diese Sprache wird verwendet, um zu beschreiben, was es sieht.

Das Problem: Wenn der Roboter auf eine menschliche Hand schaut, beschreibt er sie in einem Dialekt dieser Sprache. Wenn er auf seine eigene Metallhand schaut, beschreibt er sie in einem völlig anderen Dialekt. Obwohl beide „Hände" sind, denkt der Roboter, es handele sich um nicht miteinander verwandte Wörter.
Das Ergebnis: Der Roboter ignoriert die menschlichen Videos, weil er den „Dialekt", in dem der Mensch spricht, nicht versteht.

2. Die LACE-Lösung: Ein universeller Übersetzer

LACE fungiert wie ein universeller Übersetzer, der dem Roboter beibringt, für menschliche und robotische Hände denselben Dialekt zu sprechen.

Anstatt zu versuchen, die Kamerabilder des Roboters exakt wie menschliche Fotos aussehen zu lassen (was schwierig ist und oft scheitert), arbeitet LACE innerhalb des Roboterhirns. Es sagt: „Hey, auch wenn der menschliche Daumen und der Roboter-Daumen unterschiedlich aussehen, erfüllen sie denselben Zweck. Stellen wir sicher, dass das Gehirn des Roboters sie mit exakt demselben internen Code beschreibt."

3. Wie es lernt: Der Trick mit den „gemeinsamen Teilen"

Um diesen Übersetzer zu unterrichten, benötigen Sie keine Tausende von Robotervideos. Sie benötigen nur ein einziges Video, auf dem sich der Roboter bewegt, sowie einige vorhandene Videos von Menschen.

Die Karte: Das System verwendet eine „Karte" von Körperteilen. Es weiß, dass ein menschlicher Daumen einem Roboter-Daumen entspricht, ein menschliches Handgelenk einem Roboter-Handgelenk usw.
Die Lektion: Es nimmt ein Bild einer menschlichen Hand und ein Bild einer Roboterhand. Es zeigt auf den Daumen in beiden Bildern und sagt: „Diese beiden Pixel müssen für das Gehirn des Roboters dasselbe bedeuten."
Die Magie: Es passt das Gehirn des Roboters so an, dass es beim Anblick eines Roboter-Daumen „das gleiche innere Gefühl" hat wie beim Anblick eines menschlichen Daumen.

4. Zwei Regeln für das Lernen

Die Arbeit erwähnt zwei spezifische Regeln, die das System befolgt, um sicherzustellen, dass es korrekt lernt, ohne alles andere zu vergessen:

Regel 1: Der „Vermittler" (Semantische Ausrichtungsverlust): Diese Regel zwingt den Roboter, menschliche und robotische Körperteile abzugleichen. Es ist wie ein Lehrer, der sagt: „Wenn Sie einen menschlichen Daumen sehen, müssen Sie an 'Daumen-Sein' genau so denken wie an einen Roboter-Daumen."
Regel 2: Der „Anker" (Gram-Verlust): Dies ist entscheidend. Wenn Sie dem Roboter nur über Daumen beibringen, könnte er vergessen, wie man einen Becher oder einen Stuhl erkennt. Die „Anker"-Regel sagt: „Behalten Sie Ihr allgemeines Wissen über die Welt (wie ein Tisch aussieht) genau so bei wie zuvor. Ändern Sie nur, wie Sie über Hände denken." Dies verhindert, dass der Roboter über alles andere verwirrt wird.

5. Die Ergebnisse: Von Null zum Helden

Die Forscher testeten dies in der realen Welt:

Ohne LACE: Wenn sie dem Roboter keine Roboterschulungsvideos gaben und nur menschliche Videos, scheiterte der Roboter fast 100 % der Zeit. Er konnte nicht herausfinden, wo seine eigene Hand war.
Mit LACE: Unter Verwendung desselben Aufbaus (keine Robotervideos) gelang dem Roboter in 60 % der Fälle der Erfolg. Er konnte sich ein menschliches Video ansehen, die Aktion verstehen und sie erfolgreich auf seine eigene Metallhand anwenden.
Geringe Datenmenge: Selbst wenn sie dem Roboter nur eine winzige Menge seines eigenen Videos gaben (nur 10 % dessen, was normalerweise benötigt wird), half LACE ihm, viel besser zu performen als zuvor.

Zusammenfassung

LACE ist eine Methode, die Robotern beibringt, Menschen und Roboter nicht länger als zwei verschiedene Spezies zu betrachten. Indem es dem Gehirn des Roboters beibringt, denselben „internen Code" für gemeinsame Körperteile (wie Daumen und Handgelenke) zu verwenden, ermöglicht es Robotern, komplexe Fähigkeiten aus der riesigen Menge an menschlichen Videodaten zu erlernen, die im Internet verfügbar sind, selbst wenn sie noch nie einen Roboter bei dieser spezifischen Aufgabe gesehen haben. Es funktioniert mit sehr wenigen Daten und erfordert nicht, dass der Roboter wie ein Mensch aussieht.

Technische Zusammenfassung: LACE – Latente visuelle Darstellung für lernübergreifendes Lernen

1. Problemstellung

Die Arbeit adressiert die Herausforderung des lernübergreifenden Lernens (cross-embodiment learning), insbesondere die Schwierigkeit, Strategien, die aus menschlichen Demonstrationen gelernt wurden, auf Roboter zu übertragen. Während selbstüberwachte Lernbackbones (SSL) (z. B. DINO) zum Standard für die Kodierung reichhaltiger interklassischer Semantiken bei allgemeinen Objekten geworden sind, identifizieren die Autoren ein kritisches Versagen: Diese vortrainierten Modelle gelangen nicht zu einer zuverlässigen semantischen Korrespondenz zwischen menschlichen und robotischen Händen.

Die Autoren gehen davon aus, dass dieses Versagen auf eine „visuelle Lücke" im latenten Merkmalsraum zurückzuführen ist. Vortrainierte SSL-Modelle werden auf Datensätzen im Internetmaßstab trainiert (z. B. LVD-1689M für DINO), die diverse robotische Ausführungsformen (Embodiments) vermissen lassen. Folglich erfassen diese Modelle zwar Semantiken für natürliche Bilder, lernen jedoch nicht die strukturelle Abbildung zwischen menschlichen Körperteilen (z. B. ein menschlicher Daumen) und ihren robotischen Gegenstücken (z. B. ein Roboterfinger). Bestehende Lösungen versuchen häufig, diese Lücke im Pixelraum zu überbrücken (durch Bildbearbeitung, Segmentierung oder Inpainting), was embodimentspezifische Morphologien verwirft, eine Verarbeitung zur Inferenzzeit erfordert oder die Übertragung auf bestimmte Zielroboter begrenzt.

2. Methodik: LACE

Die Autoren schlagen LACE (Latent Alignment for Cross-Embodiment) vor, ein Framework, das menschliche und robotische visuelle Darstellungen direkt im latenten Merkmalsraum eines vortrainierten SSL-Backbones ausrichtet.

Kernkonzept

LACE nutzt die strukturelle Korrespondenz gemeinsamer Körperteile über verschiedene Ausführungsformen hinweg (z. B. Abbildung menschlicher Schlüsselpunkte auf robotische Schlüsselpunkte) als spärliche Überwachung. Es feint ein vortrainiertes Backbone, um die visuelle Lücke im latenten Raum zu minimieren, während die allgemeinen semantischen Fähigkeiten des Backbones erhalten bleiben.

Schlüsselkomponenten

Datensatz:
- Menschliche Daten: Bezogen aus vorhandenen, mit Schlüsselpunkten annotierten Datensätzen (z. B. EpicKitchen-Teilmenge von HInt).
- Roboterdaten: Erfordern lediglich eine einzelne Roboter-Demonstration. Schlüsselpunkte werden automatisch über Vorwärtskinematik (FK) und Segmentierungsmasken des Renderers abgeleitet.
- Trainingspaare: Das Modell wird auf Paaren von Bildern $(I_a, I_b)$ aus verschiedenen Ausführungsformen (cross-embodiment) und derselben Ausführungsform (intra-embodiment) trainiert.
Verlustfunktionen:
Das Trainingsziel besteht aus zwei Komponenten:
- Semantische Ausrichtungsverlust ( $L_{align}$ ): Dieser hebt die Überwachung auf Schlüsselpunktebene auf eine semantische Ausrichtungsebene. Für einen gemeinsamen Schlüsselpunkt $k$ $k$ vergleicht die Methode die Verteilung der Ähnlichkeiten zwischen dem Schlüsselpunkt-Patch und allen anderen Patches im Bild.
  - Es wird eine Zielverteilung $P$ (Selbstähnlichkeit des Schlüsselpunkts im Quellbild) und eine vorgeschlagene Verteilung $Q$ (Kreuzähnlichkeit des entsprechenden Schlüsselpunkts im Zielbild) definiert.
  - Der Verlust minimiert die reverse KL-Divergenz ( $D_{KL}(Q || P)$ ) und ermutigt den robotischen Schlüsselpunkt, eine semantische Struktur im latenten Raum zu induzieren, die der des menschlichen Schlüsselpunkts ähnelt.
  - Ein Exponential Moving Average (EMA)-Lehrernetzwerk wird zur Stabilisierung des Trainings verwendet.
- Gram-Verlust ( $L_{gram}$ ): Um ein katastrophales Vergessen des allgemeinen visuellen Verständnisses des Backbones (z. B. Objekterkennung) zu verhindern, wird ein Gram-Verlust angewendet. Er bestraft Abweichungen in den paarweisen Merkmalsähnlichkeiten (Gram-Matrix) zwischen dem trainierbaren Encoder und dem EMA-Encoder. Dies stellt sicher, dass sich zwar Handmerkmale ausrichten, die relative Struktur anderer Merkmale (Hintergründe, Objekte) jedoch stabil bleibt.
Der Gesamtverlust lautet: $L = L_{align} + \lambda L_{gram}$ .
Architektur:
Die Autoren implementieren LACE unter Verwendung von DINOv3 (ViT-S) als Backbone, bezeichnet als LACE-DINO. Die Strategie wird ausschließlich auf visuellen Merkmalen konditioniert, wodurch die visuelle Domänenlücke isoliert wird.

3. Hauptbeiträge

Identifizierung der latenten Lücke: Die Arbeit zeigt, dass die visuelle Lücke zwischen menschlichen und robotischen Ausführungsformen in latente visuelle Einbettungen übergeht und dazu führt, dass vortrainierte SSL-Modelle bei der lernübergreifenden Korrespondenz versagen.
Framework für spärliche Überwachung: LACE erreicht eine semantische Ausrichtung über verschiedene Ausführungsformen hinweg unter Verwendung von Frames einer einzelnen Roboter-Demonstration (oder sogar eines einzigen mit Schlüsselpunkten annotierten Frames), ohne zeitlich oder räumlich ausgerichtete Datensätze zu benötigen.
Erhaltung allgemeiner Semantiken: Durch die Einführung des Gram-Verlusts richtet die Methode spezifische Körperteile aus, ohne die allgemeinen visuellen Merkmale des Backbones zu verschlechtern, und vermeidet so ein katastrophales Vergessen.
Zero-Shot- und Low-Data-Leistung: Das Framework ermöglicht es Roboterkontrollstrategien, reichlich vorhandene menschliche Daten effektiv zu nutzen, wenn Roboterdaten knapp sind, und erzielt signifikante Verbesserungen beim Zero-Shot-Transfer und der Generalisierung auf Umgebungen außerhalb der Verteilung (OOD).

4. Experimentelle Ergebnisse

Die Autoren validieren LACE durch umfangreiche Experimente an realen Robotermanipulationsaufgaben.

Metriken zur Schlüsselpunktausrichtung:
- Bei der menschlich-robotischen Korrespondenz reduziert LACE-DINO den Endpunktfehler (EPE) von 87,04 (vortrainiertes DINO) auf 19,36 und erhöht die Kosinusähnlichkeit von 0,473 auf 0,910.
- Diese Verbesserung generalisiert auf andere SSL-Backbones (SigLIP, I-JEPA, V-JEPA2).
Downstream-Aufgaben (Pose-Schätzung & Lokalisierung):
- Beim Zero-Shot-Transfer (Proben, die auf menschlichen Daten trainiert und auf Roboterdaten getestet wurden), übertrifft LACE-DINO DINO deutlich.
- Pose-Schätzung: EPE verbesserte sich von 57,5 auf 35,6 Pixel; PCK@0,2 verbesserte sich von 28,6 % auf 72,4 %.
- Lokalisierung: LACE-DINO erreichte eine Trefferquote von 40,5 % für die Embodiment-Lokalisierung im Vergleich zu 3,2 % für DINO.
Strategielernen (Objektgreifen):
- Zero-Shot-Regime (0 % Roboterdaten): LACE-DINO erreichte eine **60 %**ige Erfolgsquote beim Aufnehmen eines Zielobjekts, verglichen mit 5 % für die DINO-Baseline.
- OOD-Umgebungen: In Umgebungen mit Ablenkungsobjekten, die der Roboter noch nie gesehen hatte, erreichte LACE-DINO 65 % Erfolg, während DINO vollständig scheiterte (0 %).
- Dateneffizienz: LACE-DINO übertraf DINO auch bei begrenzten Roboterdaten (10 % oder 100 % der verfügbaren Roboter-Demonstrationen) konsistent, was zeigt, dass ausgerichtete Darstellungen die Datenknappheit kompensieren.
Generalisierung:
- Ungesehene Posen: Das Modell generalisiert auf Handposen, die während des Trainings nicht gesehen wurden.
- Mehrere Ausführungsformen: LACE richtete erfolgreich vier verschiedene Morphologien gleichzeitig aus (menschliche Hand, mehrfingerige Roboterhand, Parallel-Greifer, Stab-Endeffektor).
- Merkmalsqualität: Ablationsstudien bestätigten, dass der Gram-Verlust entscheidend ist; ohne ihn verschlechterte sich die Leistung bei Downstream-Aufgaben (ImageNet-Klassifizierung, ADE20K-Segmentierung) aufgrund von Merkmalsdrift erheblich.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LACE eine praktische Lösung für das Problem der Datenknappheit beim Lernen dexterer Roboter bietet. Durch die Operation im latenten Raum statt im Pixelraum vermeidet es den Rechenaufwand und den Informationsverlust, die mit Methoden zur Bildbearbeitung verbunden sind.

Die Autoren betonen, dass ihr Ansatz es Robotern ermöglicht, reichlich vorhandene menschliche Videodaten zu nutzen, selbst wenn Roboter-Demonstrationen extrem begrenzt oder gar nicht vorhanden sind (Zero-Shot). Das Framework wird als allgemeine Methode präsentiert, die auf jeden SSL-Backbone anwendbar ist, der semantische Strukturen kodiert, und bietet einen Weg, robuste Strategien für ungesehene Umgebungen und diverse Roboter-Morphologien zu trainieren, ohne massive, synchronisierte lernübergreifende Datensätze zu benötigen. Der Code soll öffentlich veröffentlicht werden, um weitere Forschungen zur lernübergreifenden Generalisierung zu erleichtern.