💻 computer science

Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots

Dieses Paper schlägt eine Brücken-Aktionsrepräsentation vor, die auf relativer Handgelenkstranslation innerhalb eines Kopf-Kamera-Rahmens basiert und mit einem Vision-Language-Action-Modell komb сочетаt wird, um durch die Überwindung der Einschränkungen durch verrauschte 6DoF-Posenschätzung und grundlegende Unterschiede in der Verkörperung vielfältige menschliche Manipulationsfertigkeiten effektiv auf bi-manuelle Roboter zu übertragen.

Ursprüngliche Autoren: Sijin Chen, Kaixuan Jiang, Haixin Shi, Yanhui Wang, Weiheng Zhong, Haosheng Li, Bo Jiang, Yuxiao Liu, Xihui Liu

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sijin Chen, Kaixuan Jiang, Haixin Shi, Yanhui Wang, Weiheng Zhong, Haosheng Li, Bo Jiang, Yuxiao Liu, Xihui Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem tollpatschigen Roboter komplexe Küchenaufgaben beibringen, wie zum Beispiel eine Mikrowelle zu öffnen, Tassen zu stapeln oder eine Arbeitsplatte abzuwischen. Sie haben zwei Möglichkeiten: Entweder Sie geben Tausende von Dollar aus, um den Roboter bei diesen Aufgaben aufzuzeichnen (was langsam und teuer ist), oder Sie nehmen Menschen auf, die diese Aufgaben ausführen (was günstig, einfach und im Überfluss vorhanden ist).

Das große Problem ist: Menschen und Roboter sind sehr unterschiedlich gebaut.

Menschen haben flexible Finger, die sich drehen, wenden und auf unendliche Arten greifen können.
Roboter in dieser Studie besitzen „Parallelgreifer“ – im Grunde zwei steife Zangen, die sich nur öffnen und schließen.

Wenn man versucht, die Handbewegungen eines Menschen direkt auf einen Roboter zu übertragen, ist das so, als würde man versuchen, einem Hund das Klavierspielen beizubringen, indem man ihm die menschlichen Finger zeigt. Der Roboter wird verwirrt sein, weil die „Drehbewegungen“, die Menschen verwenden, für seine steifen Zangen keinen Sinn ergeben. Der Robot endete dabei in unkontrollierten Bewegungen oder macht einfach das Falsche.

Die Lösung: „Translation als Brückenaktion“

Die Forscher kamen auf einen cleveren Trick namens „Bridging Action“ (Brückenaktion). Anstatt zu versuchen, die gesamte menschliche Hand (einschließlich der verwirrenden Drehungen und Wendungen) zu kopieren, entschieden sie sich, nur die Geradlinigkeit der Bewegung des Handgelenks zu kopieren.

Stellen Sie sich das so vor:

Der „verrauschte“ Weg (alte Methode): Den Versuch, die exakte 3D-Rotation und den Winkel einer menschlichen Hand zu kopieren. Das ist wie der Versuch, ein Gedicht Wort für Wort zu übersetzen, ohne die Bedeutung zu verstehen; es klingt zwar richtig, ergibt aber keinen Sinn in der neuen Sprache.
Der „Brücken“-Weg (neue Methode): Die Rotation zu ignorieren und statlich nur darauf zu achten, wohin sich die Hand im Raum bewegt (links, rechts, oben, unten). Das ist wie die Übersetzung der Bedeutung eines Gedichts anstatt der spezifischen Wörter.

Indem sie sich nur auf die Translation (die Bewegung von Punkt A nach Punkt B) konzentrierten und die Rotation (das Drehen) ignorierten, fanden die Forscher eine „gemeinsame Sprache“, die sowohl Menschen als auch Roboter sprechen können.

Wie sie den „Übersetzer“ bauten

Um dies umzusetzen, entwickelten sie ein spezielles KI-Modell (ein Vision-Language-Action-Modell), das wie ein universeller Übersetzer fungiert. So funktioniert es in drei einfachen Schritten:

Das „Brücken“-Signal: Sie extrahieren die Handgelenksbewegung eines Menschen als einfachen 3D-Pfad (wie das Zeichnen einer Linie auf einer Karte). Dies ist die „Brücke“, da sowohl Menschen als auch Roboter verstehen können, was „vorwärts bewegen“ oder „nach links bewegen“ bedeutet, selbst wenn sie sich unterschiedlich bewegen.
Das „interleaved“ Training: Die KI wird mit einer Mischung aus Daten trainiert. Manchmal sieht sie eine menschliche Handbewegung (und lernt dabei nur den Pfad). Manchmal sieht sie einen Roboter, der seinen Arm bewegt (und lernt den vollständigen Pfad plus den Greifvorgang der Zange). Die KI ist intelligent genug, um mit fehlenden Informationen umzugehen, ähnlich wie ein Koch, der ein Gericht zubereiten kann, selbst wenn ihm eine bestimmte Gewürzzutat fehlt, indem er das verwendet, was er hat.
Der „Binding“-Trick: Um sicherzustellen, dass der Roboter auch lernt, seine Zangen korrekt zu bewegen, wird die KI dazu gezwungen, die vollständige Bewegung des Roboters unter Verwendung des einfachen menschlichen Pfades als Leitfaden vorherzusagen. Es ist wie ein Schüler, der das Autofahren lernt, indem er zuerst auf einem Simulator das Lenken übt und dann in ein echtes Auto wechselt, aber dieselbe Lenklogik beibehält.

Was sie herausfanden

Sie testeten dies an 15 verschiedenen Aufgaben, vom Öffnen einer Mikrowelle bis zum Stapeln von Tassen. Folgendes geschah:

Ohne die Brücke: Wenn sie nur versuchten, die begrenzten Daten des eigenen Roboters zu kopieren, scheiterte er bei fast allen Aufgaben.
Mit der Brücke (Menschliche Daten): Als sie die „nur Translation“-Daten der Menschen nutzten, um den Roboter zu lehren, wurde der Roboter plötzlich viel besser. Er konnte Mikrowellen öffnen und Tassen stapeln, die er zuvor noch nie gesehen hatte.
Das „Rotations“-Problem: Wenn sie die volle, verrauschte Rotation der menschlichen Hand verwendeten (der „verrauschte“ Weg), wurden die Bewegungen des Roboters verzerrt und tollpatschig, wie eine Marionette mit verhedderten Fäden. Die einfache „Translation“-Methode war weitaus überlegen.
Das „Obere Limit“: Sie testeten auch, was passieren würde, wenn sie dem Roboter perfekte Roboterdaten fütterten, diese aber wie menschliche Daten behandelten (indem sie die spezifischen Kamerawinkel des Roboters ignorierten). Der Roboter wurde sogar noch besser, was darauf hindeutete, dass diese Methode noch leistungsfähiger sein könnte, wenn wir sauberere Daten erhalten könnten.

Das Fazit

Die Arbeit beweist, dass man nicht den menschlichen Körper perfekt nachahmen muss, um einen Roboter zu lehren. Man muss lediglich die gemeinsame Bewegung (den Pfad, den die Hand nimmt) finden und die Teile ignorieren, die nicht passen (das Drehen der Finger).

Durch die Nutzung dieser „Bridging Action“ gelang es den Forschern, Fähigkeiten von günstigen, reichlich vorhandenen menschlichen Videos auf einen Roboter zu übertragen, wodurch der Roboter komplexe Aufgaben erlernen konnte, ohne dass er tausende teure Roboter-Demonstrationen benötigte. Es ist eine Art zu sagen: „Es ist egal, wie der Mensch die Tasse hält; lehre den Roboter nur, wohin er sie stellen muss.“

Technisches Resümee: Translation als Brückenaktion

Problemstellung

Die Arbeit adressiert die Herausforderung, neuartige Manipulationsfertigkeiten von menschlichen Daten auf bi-manuelle Roboter mit parallelen Greifern zu übertragen. Während menschliche Aktionsdaten reichlich vorhanden, vielfältig und kosteneffizient skalierbar sind, wird der direkte Transfer durch zwei primäre Probleme behindert:

Verrauschte Schätzung: Menschliche Aktionen werden typischerweise aus Handpose-Schätzern abgeleitet, die signifikantes Rauschen einführen, insbesondere bei Rotationsschätzungen.
Embodiment-Mismatch (Verkörperungs-Diskrepanz): Die Kontaktmuster menschlicher Finger unterscheiden sich fundamental von denen paralleler Roboter-Greifer. Folglich sind die aus menschlichen Daten extrahierten Handgelenk-Rotationen (6DoF) oft semantisch nicht mit den physikalischen Einschränkungen eines Roboter-Greifers abgestimmt, was zu verzerrten Verhaltensweisen führt, wenn sie direkt wiedergegeben werden.

Vorherige Ansätze behandelten Menschen oft einfach als eine weitere bi-manuelle 6DoF-Verkörperung und lernten rotationsinklusive Aktionssignale. Die Autoren argumentieren, dass dies für Roboter mit parallelen Greifern suboptimal ist.

Methodik

1. Brücken-Aktionsrepräsentation

Anstatt die vollständigen 6DoF-Handgelenksposen zu erlernen, schlagen die Autoren eine Brücken-Aktionsrepräsentation vor, die ausschließlich auf relativen Handgelenk-Translationen ( $a_{3D-wrist}$ ) basiert.

Definition: Die Aktion wird als die relative Translation des Handgelenks innerhalb des initialen Kopf-Kamera-Rahmens definiert. Dieser Rahmen wird sowohl von Menschen (die kopfmontierte Kameras tragen) als auch von Robotern (die mit Kopfkameras ausgestattet sind) gemeinsam genutzt.
Begründung: Da sowohl Menschen als auch Roboter basierend auf dem handeln, was sie wahrnehmen, ist die relative Translation im Beobachtungsrahmen physikalisch sinnvoll, robust gegenüber verrauschten Rotationsschätzungen und embodiment-agnostisch.
Formulierung: Für einen Zeitschritt $t$ und ein zukünftiges Fenster $k$ wird die Aktion wie folgt berechnet:
$a_{3D-wrist}^{t+i} = \Delta W^{3D} = \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^{t+i}) - \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^t)$
wobei $W$ die Handgelenkspose und $T$ die Kamerapose darstellt.

2. Einheitliche Modellarchitektur

Die Autoren bauen auf einem $\pi_0$ -ähnlichen Vision-Language-Action (VLA) Modell mit Flow Matching auf. Um heterogene Datenquellen (Mensch vs. Roboter) mit unterschiedlichen verfügbaren Aktionskomponenten zu handhaben, führen sie eine verschachtelte Aktionssequenz ein:

Sequenzreihenfolge: $a_{3D-wrist} \rightarrow a_{6D-eef} \rightarrow a_{gripper}$ .
Umgang mit fehlenden Daten: Das Modell verwendet Attention-Masking, um variable Eingabelängen zu handhaben. Bei menschlichen Daten können die 6DoF-Endeffektor-Signale ( $a_{6D-eef}$ ) und Greifer-Signale fehlen oder maskiert sein; bei Roboterdaten sind alle Komponenten vorhanden.
Trainingsziele:
- Flow Matching: Wird verwendet, um Aktions-Chunks zu generieren. Der Verlust wird nur für die verfügbaren Aktionskomponenten der jeweiligen Datenquelle berechnet.
- Verschachtelte Überwachung (Interleaved Supervision): Entscheidend ist, dass das Modell während des Mensch-Roboter-Co-Trainings darauf trainiert wird, $a_{3D-wrist}$ vorherzusagen, selbst wenn der Ground Truth $a_{6D-eef}$ ist (und umgekehrt). Diese „Bindungsstrategie“ verknüpft die Brückenrepräsentation explizit mit ausführbaren Roboteraktionen.

3. Dreistufige Trainingsstrategie

Stufe I (Pre-training): Das Modell wird auf ca. 600 Stunden groß angelegter menschlicher Aktionsdaten (EgoDex + ausgelagert + im Labor) vortrainiert. Hierbei wird nur das Brückensignal ( $a_{3D-wrist}$ ) überwacht, da Rotation und Kontaktmuster in diesem Maßstab unzuverlässig sind.
Stufe II (Co-training): Das Modell wird gemeinsam auf generalisierten Roboter-Pick-and-Place-Daten (~~72 Stunden) und aufgenspezifischen In-Lab-Menschdaten (~~3 Stunden/Aufgabe) co-trainiert. Alle Aktionskomponenten ( $a_{3D-wrist}$ , $a_{6D-eef}$ , $a_{gripper}$ ) sind aktiv, wobei eine zufällige Substitution von $a_{6D-eef}$ durch $a_{3D-wrist}$ erfolgt, um die Brückenverbindung zu erzwingen.
Stufe III (Few-shot Post-training): Das Modell wird auf einem kleinen Satz von Echtroboter-Demonstrationen (10 Trajektorien/Aufgabe) feinjustiert, um die Dateneffizienz und die Endleistung zu verbessern.

Hauptergebnisse

Die Methode wurde auf 15 neuartigen bi-manuellen Manipulationsaufgaben (z. B. Öffnen von Mikrowellen, Abwischen von Oberflächen, Stapeln von Bechern) unter Verwendung des ByteMini-Roboters evaluiert.

Skill Transfer: Das Training ausschließlich auf Roboter-Pick-and-Place-Daten schlug fehl, wenn es darum ging, komplexe Aufgaben zu generalisieren. Das Co-Training mit menschlichen Daten unter Verwendung der Brückenaktion verbesserte jedoch sowohl den Aufgabenfortschritt als auch die Erfolgsraten signifikant.
Translation vs. 6DoF: Das Co-Training mit 6DoF-menschlichen Aktionen führte zu verrauschten, verzerrten Verhaltensweisen. Die rein translationsbasierte Brückenaktion lieferte stabile, natürliche Posen, die auf die Anforderungen der Aufgabe abgestimmt waren (z. B. Ausrichtung an Mikrowellengriffen).
Skalierbarkeit: Ein groß angelegtes, rein menschliches Pre-training (Stufe I) verbesserte die Downstream-Performance erheblich, was die Skalierbarkeit der Brückenrepräsentation bestätigt.
Dateneffizienz: Modelle, die auf menschlichen Daten vortrainiert wurden, benötigten weniger Roboter-Demonstrationen (Few-shot), um eine hohe Leistung zu erzielen, verglichen mit Modellen, die von Grund auf trainiert wurden.
Ausrichtung: Der Trainingsverlust für die Brückenaktion ( $a_{3D-wrist}$ ) stimmte während des Co-Trainings eng mit dem Verlust für ausführbare 6DoF-Aktionen ( $a_{6D-eef}$ ) überein, was auf eine gemeinsame Zieloberfläche hindeutet.
Obere Grenze (Upper Bound): Als die Embodiment-Lücke entfernt wurde (indem die Roboterdaten als menschliche Daten mit nur Translationsüberwachung behandelt wurden), verbesserte sich die Leistung weiter. Dies deutet darauf hin, dass die Brückenrepräsentation selbst hochwirksam ist und die verbleibende Lücke hauptsächlich auf visuelle/embodiment-bedingte Unterschiede und Rauschen zurückzuführen ist.

Limitationen und Fehlerszenarien

Die Autoren merken an, dass der reine Translationsansatz den Transfer bei Aufgaben einschränkt, die präzise Rotationsanpassungen während der kontaktreichen Manipulation erfordern (z. B. das Einführen eines Strohhalms in einen Becher oder das Öffnen einer Schublade). In diesen Fällen zeigt der Roboter zwar die korrekte Intention, scheitert aber oft beim finalen Kontaktschritt aufgrund der fehlenden Rotationsüberwachung. Zudem bleibt das Aufheben dünner Objekte eine Herausforderung, was auf Beobachtungslücken und Rauschen in den menschlichen Aktionen zurückgeführt wird.

Bedeutung und Behauptungen

Das Paper behauptet Folgendes:

Robuster Transfer: Eine auf Translation basierende Brückenaktion ist ein überlegendes Medium für den Transfer von Manipulationswissen von Menschen auf Roboter mit parallelen Greifern im Vergleich zu verrauschten 6DoF-Pose-Schätzungen.
Skalierbarkeit: Diese Repräsentation ermöglicht es effektiv, groß angelegte, vielfältige menschliche Daten für das Pre-training von Policies zu nutzen, wodurch die Abhängigkeit von teurer Roboter-Datenerhebung reduziert wird.
Vereinheitlichtes Lernen: Eine verschachtelte Aktionssequenz mit Attention-Masking ermöglicht es einem einzelnen Modell, aus heterogenen Datenquellen mit fehlenden Aktionskomponenten zu lernen, was ein effizientes Mensch-Roboter-Co-Training erleichtert.

Die Arbeit legt nahe, dass das Roboterlernen durch die Konzentration auf das gemeinsame perzeptiv-motorische Signal (relative Translation) anstatt auf spezifische Details der Verkörperung (Fingergelenke oder vollständige 6DoF-Posen) unter Nutzung reichlich vorhandener menschlicher Daten effektiver skaliert werden kann.