💻 Informatik

Learning a Unified Latent Space for Cross-Embodiment Robot Control

Dieses Paper präsentiert ein skalierbares, zweistufiges Framework, das durch kontrastives Lernen und zielbedingte Policies einen vereinheitlichten latenten Raum erlernt, um eine robuste Zero-Shot Cross-Embodiment-Steuerung über diverse humanoide Roboter hinweg unter Verwendung ausschließlich menschlicher Daten zu ermöglichen.

Ursprüngliche Autoren: Yashuai Yan, Dongheui Lee

Veröffentlicht 2026-01-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yashuai Yan, Dongheui Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit Tanzbewegungen, die von Menschen aufgezeichnet wurden. Stellen Sie sich nun vor, Sie wollen einem Roboter das Tanzen beibringen. Das Problem ist, dass Roboter in allen Formen und Größen kommen: Einige haben zwei Arme und keine Beine, einige haben vier Beine und einen winzigen Torso, und einige sehen fast genau wie Menschen aus.

Traditionell müsste man jedem Roboter das Tanzen von Grund auf neu beibringen, als würde man für jedes Robotermodell einen neuen Tanzlehrer engagieren. Dieser Artikel schlägt einen viel klügeren Weg vor: eine universelle „Tanzsprache“, die jeder Roboter verstehen kann, egal wie er aussieht.

So sind die Autoren dabei vorgegangen, unterteilt in einfache Schritte:

1. Der „Universalübersetzer“ (Der gemeinsame latente Raum)

Betrachten Sie die Körperteile des Roboters (Arme, Beine, Torso) als verschiedene Sprachen. Ein menschlicher Arm bewegt sich anders als ein Roboterarm.

Der alte Weg: Man versuchte, den „menschlichen Arm“ direkt in einen „Roboterarm“ zu übersetzen, aber das war unordentlich, weil jeder Roboter anders war.
Der neue Weg: Die Autoren erschufen einen Universalübersetzer (einen sogenannten „Unified Latent Space“). Anstatt direkt von Mensch zu Roboter zu übersetzen, übersetzen sie alles zuerst in diese neutrale „Tanzsprache“.
Das Geheimrezept: Sie haben den Körper nicht einfach auf einmal übersetzt, sondern ihn in fünf separate „Kanäle“ unterteilt: linker Arm, rechter Arm, Torso, linker Bein und rechtes Bein.
- Analogie: Stellen Sie sich ein Sinfonieorchester vor. Anstatt zu versuchen, die Violinen exakt wie die Trommeln klingen zu lassen, haben Sie einen Dirigenten, der die Musik (die Bewegung) versteht und den Violinen sagt, welche Rolle sie spielen sollen, und den Trommeln ihre Rolle zuweist, selbst wenn es unterschiedliche Instrumente sind. Dies ermöglicht es einem Roboter, der nur Arme hat (wie ein Tisch-Roboter), die „Arm-Musik“ perfekt zu verstehen, auch wenn er keine Beine zum Tanzen hat.

2. Die Sprache lernen (Kontrastives Lernen)

Wie lehren sie diese universelle Sprache?

Sie verwendeten eine Methode namens Kontrastives Lernen (Contrastive Learning). Stellen Sie sich vor, Sie bringen einem Kind bei, was „Klatschen“ ist. Sie zeigen dem Kind einen Menschen beim Klatschen, einen Roboter beim Klatschen und einen Zeichentrickcharakter beim Klatschen. Sie sagen dem Kind: „Diese drei sind dieselbe Idee, auch wenn sie unterschiedlich aussehen.“
Der Computer macht dies, indem er ähnliche Bewegungen in seinem „Geist“ (dem latenten Raum) gruppiert. Wenn ein Mensch seinen rechten Arm hebt und ein Roboter seinen rechten Arm hebt, lernt der Computer, diese beiden Aktionen im selben „Nachbarschaftsbereich“ in seinem Gedächtnis zu platzieren, unabhängig davon, wie sich die Gelenke tatsächlich bewegen.

3. Der „Zielsetzer“ (Die Steuerungs-Policy)

Sobald die Roboter diese universelle Sprache sprechen, stellt sich die Frage: Wie sagt man ihnen, was sie tun sollen?

Die Autoren trainierten eine zielbedingte Policy (Goal-Conditioned Policy). Betrachten Sie dies als ein GPS für die Bewegungen des Roboters.
Anstatt dem Roboter komplexe Anweisungen zu geben wie „Bewege Gelenk 1 um 5 Grad, dann Gelenk 2 um 3 Grad“, geben Sie ihm einfach ein Ziel: „Bewege deine Hand zu diesem Punkt.“
Der Roboter übersetzt dieses Ziel in die universelle Sprache, findet die Schritte heraus, um dorthin zu gelangen, und führt die Bewegung aus.
Der magische Trick: Sie haben dieses GPS nur mithilfe von menschlichen Daten trainiert. Sie haben dem Roboter während der Trainingsphase nie gezeigt, wie er sich bewegt. Da der Roboter die universelle Sprache gelernt hat, kann er das „menschliche GPS“ nehmen und es sofort auf sich selbst anwenden.

4. Neue Roboter hinzufügen (Die „Plug-and-Play“-Funktion)

Dies ist vielleicht der spannendste Teil. Was ist, wenn Sie morgen einen brandneuen Roboter kaufen?

In den alten Zeiten hätten Sie das gesamte System neu trainieren müssen.
In diesem System fügen Sie einfach einen kleinen, leichtgewichtigen Adapter (eine Embedding-Schicht) für den neuen Roboter ein.
Analogie: Es ist wie beim Kauf eines neuen Paares Schuhe. Sie müssen nicht Ihren Fuß neu bauen; Sie brauchen nur eine Einlegesohle, die an Ihre Fußform angepasst ist. Sobald Sie diese Einlegesohle einlegen, kann Ihr Fuß (der Robot) sofort denselben Pfad (die universelle Sprache) gehen wie alle anderen. Die Autoren zeigten, dass sie neue Roboter in nur 15 Minuten hinzufügen konnten, ohne das gesamte Gehirn neu zu trainieren.

5. Ergebnisse aus der Praxis

Das Team testete das System an vielen verschiedenen Robotern, von einem kleinen humanoiden Roboter (NAO) über einen großen (H1) bis hin zu einem Roboter, der nur aus Armen besteht (TIAGo).

Genauigkeit: Die Roboter konnten spezifische Ziele mit einer Genauigkeit im Sub-Zentimeter-Bereich erreichen (weniger als die Breite eines Fingernagels).
Vielseitigkeit: Sie konnten eine Tanzbewegung von einem Menschen nehmen, sie auf einen Roboter übertragen und dann die Bewegung dieses Roboters auf einen anderen Roboter übertragen.
Reale Anwendung: Sie testeten es sogar an echten Robotern in einem Labor, wobei sie erfolgreich einen Roboter dazu brachten, Objekte aufzuheben, sie in einen Mülleimer zu werfen und Objekte von einer Hand in die andere zu reichen, alles gesteuert durch dieses universelle System.

Zusammenfassung

Der Artikel präsentiert ein System, bei dem Roboter nicht individuell beigebracht werden müssen, wie sie sich bewegen. Stattdessen lernen sie alle eine gemeinsame, modulare Sprache der Bewegung. Dies ermöglicht es einem einzigen „Gehirn“, viele verschiedene Arten von Robotern zu steuern, und macht das Hinzufügen neuer Roboter zum Team so einfach wie das Anschließen eines neuen Adapters. Das Ergebnis ist eine flexible, skalierbare Methode, um vielfältige Roboter dazu zu bringen, sich wie Menschen zu bewegen, ohne dass für jeden einzelnen tausende Stunden spezifischen Trainings nötig sind.

Technische Zusammenfassung: Erlernen eines vereinheitlichten latenten Raums für die robotergestützte Steuerung über verschiedene Embodyments hinweg

Problemstellung
Die Steuerung einer vielfältigen Palette von humanoiden Plattformen durch eine einheitliche Schnittstelle bleibt aufgrund der enormen Variabilität in Morphologie, Freiheitsgraden und kinematischen Einschränkungen eine erhebliche Herausforderung in der Robotik. Bestehende Ansätze zur körperübergreifenden Steuerung (Cross-Embodiment Control) verlassen sich oft auf aufgabenrelevante, domäneninvariante Repräsentationen oder erfordern umfangreiche gepaarte Demonstrationsdaten zwischen Menschen und spezifischen Robotern. Diese Methoden haben häufig Probleme mit der Skalierbarkeit, da der Transfer von Fähigkeiten auf neue, ungesehene Plattformen oft ein erneutes Training oder eine plattformspezifische Feinabstimmung erfordert. Die Autoren adressieren das Problem der Entwicklung eines einzigen Steuerungsframeworks, das in der Lage ist, über verschiedene robotische Embodyments hinweg ohne erneutes Training zu operieren, mit dem Ziel, einen vereinheitlichten, gemeinsamen latenten Raum zu erlernen, in dem auf Humandaten trainierte Steuerungsrichtlinien direkt auf mehreren Roboterplattformen eingesetzt werden können.

Methodik
Das vorgeschlagene Framework operiert in zwei distinkten Phasen:

Erlernen eines vereinheitlichten latenten Raums (Phase 1):
- Architektur: Die Autoren verwenden einen kontrastiven Lernansatz, um eine gemeinsame latente Repräsentation über Menschen und verschiedene Roboter hinweg zu konstruieren. Die Architektur umfasst einen menschlichen Encoder ( $E_h$ ), einen Cross-Embodiment-Encoder ( $E_X$ ), einen Cross-Embodiment-Decoder ( $D_X$ ) und roboterspezifische Embedding-Schichten ( $E_r, D_r$ ), um unterschiedliche Gelenkdimensionalitäten zu handhaben.
- Entkoppelter latenter Struktur: Um morphologische Unterschiede (z. B. Roboter mit nur Armen gegenüber vollen Humanoiden) zu adressieren, wird der latente Raum in fünf Subräume unterteilt, die den Körpersegmenten entsprechen: Linker Arm (LA), Rechter Arm (RA), Rumpf (TK), Linkes Bein (LL) und Rechtes Bein (RL).
- Maßgeschneiderte Ähnlichkeitsmetriken: Innerhalb jedes Subraums werden spezifische Ähnlichkeitsmetriken angewendet. Für Arme verwendet eine hybride Metrik eine Kombination aus rotationsbasierter Distanz und normalisierter Endeffektor-Positionierung (EE). Für andere Segmente (Rumpf, Beine) wird eine rotationsbasierte Metrik verwendet. Dies ermöglicht eine präzise Ausrichtung lokalisierter Bewegungsmuster.
- Trainingsziele: Das Modell wird unter Verwendung einer Kombination von Verlustfunktionen trainiert: Triplet Loss für kontrastives Lernen, Rekonstruktionsverlust ( $L_{rec}$ ) für die Pose-Fidelität des Roboters, latenter Konsistenzverlust ( $L_{ltc}$ ), um menschliche und robotische Domänen ohne gepaarte Daten abzugleichen, sowie ein temporaler Verlust ( $L_{temporal}$ ), um Endeffektor-Geschwindigkeiten abzugleichen.
- Skalierbarkeit: Neue Roboter können integriert werden, indem die Kernnetzwerke ( $E_h, E_X, D_X$ ) eingefroren und nur die leichtgewichtigen, roboterspezifischen Embedding-Schichten ( $E_r, D_r$ ) trainiert werden.
Zielgerichtete Steuerung im latenten Raum (Phase 2):
- Policy-Training: Eine zielgerichtete Steuerungsrichtlinie (Goal-Conditioned Control Policy) wird ausschließlich auf menschlichen Bewegungsdaten unter Verwendung eines Conditional Variational Autoencoder (c-VAE)-Frameworks trainiert.
- Mechanismus: Die Richtlinie sagt latente Verschiebungen ( $d_t$ ) voraus, die durch ein Intentionssignal geleitet werden, welches aus der durchschnittlichen Endeffektor-Geschwindigkeit in Richtung eines benutzerdefinierten Ziels abgeleitet wird.
- Bereitstellung (Deployment): Die trainierte Richtlinie operiert direkt innerhalb des geteilten latenten Raums. In der Inferenzphase wird die aktuelle Roboterpose kodiert, die zielgerichtete Geschwindigkeit berechnet und der Decoder generiert latente Verschiebungen, um den Zustand des Roboters iterativ auf das Ziel hin zu aktualisieren. Dieser Prozess erfordert kein erneutes Fine-Tuning für unterschiedliche robotische Embodyments.

Wesentliche Beiträge

Dekoppelte latente Raum-Architektur: Ein modulares Design, das eine feingliedrige Bewegungsabgleichung über diverse Morphologien hinweg ermöglicht, indem es Körperteile unabhängig modelliert und so auch teilweise oder asymmetrische Gliedmaßenstrukturen berücksichtigt.
Modulares kontrastives Lernframework: Ein System, das maßgeschneiderte Ähnlichkeitsmetriken (Kombination aus Gelenkrotation und Endeffektor-Positionierung) nutzt, um Bewegungsrepräsentationen von Menschen und multiplen robotischen Embodyments gemeinsam zu erlernen.
Zielgerichtete Steuerungsrichtlinie: Eine Richtlinie, die direkt im geteilten latenten Raum operiert und eine präzise Multi-Roboter-Steuerung ohne zusätzliches Fine-Tuning ermöglicht, wobei sie ausschließlich auf menschlichen Demonstrationen trainiert wurde.
Skalierbares Framework: Ein Mechanismus zur effizienten Hinzufügung neuer Roboter zum System durch das Erlernen nur einer leichtgewichtigen, roboterspezifischen Embedding-Schicht, wodurch ein vollständiges erneutes Training des Modells vermieden wird.

Experimentelle Ergebnisse
Die Autoren evaluierten das Framework auf mehreren Plattformen, darunter TIAGo++, H1, NAO, JVRC, ATLAS, G1 und Kinova Gen3.

Motion Retargeting: Der dekoppelte latente Ansatz übertraf den monolithischen (gekoppelten) latenten Raum sowie die Baseline ImitationNet signifikant in Bezug auf die Genauigkeit der Endeffektor-Position und -Geschwindigkeit (Normalized Distance Similarity und Normalized Velocity Similarity). Während ein gemeinsamer Raum anfangs eine reduzierte Rotationsgenauigkeit zeigte, stellte das dekoppelte Design diese Leistung wieder her und behielt gleichzeitig eine hohe Trajektorien-Fidelität bei.
Skalierbarkeit: Beim Hinzufügen neuer Roboter (ATLAS, G1, Kinova) durch das Training lediglich der Embedding-Schichten entsprach die Leistung der mit End-to-End trainierten Roboter, wobei die Trainingszeit von Stunden auf etwa 15 Minuten reduziert wurde.
Steuerungsleistung: Die Steuerungsrichtlinie im latenten Raum erreichte eine Genauigkeit im Sub-Zentimeter-Bereich beim Erreichen von Zielpositionen über alle getesteten Roboter hinweg (Abweichungen zum Ziel zwischen 0,13 cm und 1,14 cm). Das System unterstützt Steuerungsfrequenzen von etwa 100 Hz.
Hardware-Validierung: Reale Experimente an TIAGo-SEA und Kinova Gen3 Robotern demonstrierten eine erfolgreiche Teleoperation für Pick-and-Place-Aufgaben sowie Robot-to-Robot Motion Retargeting unter Verwendung einer reinen RGB-Kamera als Input.

Bedeutung und Ansprüche
Das Paper beansprucht, eine skalierbare, embodiment-agnostische Lösung für die Robotersteuerung zu liefern. Durch das Erlernen eines vereinheitlichten latenten Raums demonstrieren die Autoren, dass Steuerungsrichtlinien, die auf menschlichen Daten trainiert wurden, nahtlos auf diverse robotische Plattformen übertragen werden können, ohne ein erneutes Training zu erfordern. Die Arbeit unterstreicht das Potenzial für ein effizientes Multi-Roboter-Systemmanagement, bei dem eine einzige Richtlinie mehrere Roboter mit unterschiedlichen kinematischen Strukturen steuern kann. Die Autoren merken an, dass die aktuelle Implementierung das SMPL-Modell verwendet (welches keine expliziten Handbewegungsdaten enthält), das Framework jedoch erfolgreich grobe Körper- und Armbewegungen handhabt, was einen vielversprechenden Weg für eine vereinheitlichte Steuerung ebnet. Die Methode wird als Schritt zur Überbrückung der Embodiment-Lücke präsentiert, um Robotern zu ermöglichen, von menschlichen Demonstrationen zu lernen und Fähigkeiten mit minimalem Rechenaufwand auf neue Plattformen zu übertragen.