🤖 AI

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

Das Papier stellt das Torque Adaptation Module (TAM) vor, eine gelernte Komponente, die durch die Anpassung von Drehmomentbefehlen ausschließlich auf Basis propriozeptiver Historie einen robusten Zero-Shot-Transfer von dynamischen Manipulations-Policies auf unterschiedliche Roboter und Nutzlasten ermöglicht und dadurch die Notwendigkeit von Policy-level Domain Randomization oder der Datenerhebung an realen Robotern eliminiert.

Ursprüngliche Autoren: Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meisterkoch, der jahrelang ein spezielles Rezept für eine exklusive High-End-Küche perfektioniert hat. Dieser Koch weiß genau, wie viel Druck er beim Schneiden ausüben muss, wie schnell er einen Topf rühren muss und wie er mit einem bestimmten Set schwerer, maßgeschneiderter Pfannen umgeht.

Stellen Sie sich nun vor, Sie möchten diesen Koch bitten, genau die gleiche Mahlzeit in einer anderen Küche zuzubereiten. Aber diese neue Küche hat:

Etwas schwerere Pfannen (unbekannte Lasten).
Messer, die sich aufgrund von altem Fett etwas „zäh“ anfühlen (Reibung).
Einen Herd, der eine winzig kleine Nuance langsamer reagiert als der, an den der Koch gewöhnt ist (unterschiedliche Dynamik).

Wenn der Koch versucht, seine exakt gleichen Bewegungen ohne Anpassung anzuwenden, könnte das Essen anbrennen, die Pfanne könnte rutschen oder das Messer schneidet nicht richtig. In der Robotik ist dies das „Sim-to-Real“-Problem: Ein Roboter, der in einer perfekten Computersimulation trainiert wurde, scheitert oft, wenn er auf einen echten Roboter übertragen wird, weil die reale Welt unordentlich, schwer und unvorhersehbar ist.

Das Problem: Das „Perfekte“ vs. das „Reale“

Das Paper erklärt, dass bestehende Lösungen so sind, als würde man versuchen, den Koch zu lehren, „super vorsichtig“ zu sein (Domain Randomization), damit er mit jeder Küche zurechtkommt, was ihn jedoch langsam und unbeholfen macht. Oder man versucht, jede einzelne Schraube und Feder in der neuen Küche zu vermessen, während der Koch gerade kocht (Systemidentifikation), was zu viel Zeit und Daten erfordert.

Die Lösung: TAM (Der „Smart Adapter“)

Die Autoren führen TAM (Torque Adaptation Module) ein. Stellen Sie sich TAM wie einen superintelligenten Sous-Chef vor, der direkt neben dem Hauptkoch steht, aber erst in der allerletzten Sekunde eingreift, bevor das Messer das Lebensmittel berührt.

So funktioniert TAM, aufgeschlüsselt in einfache Teile:

1. Die „Black Box“-Policy (Der Koch)
Die Haupt-Roboter-Policy (der „Koch“) wird auf einem perfekten, idealen Roboter trainiert. Sie sendet Befehle aus wie „Bewege den Arm zur Position X“ oder „Wende Kraft Y an“. Sie weiß nichts von den schweren Pfannen oder dem zähen Fett.

2. Der Low-Level-Controller (Der Arm)
Dies ist der Teil, der den Befehl des Kochs in eine tatsächliche Muskelbewegung (Drehmoment/Torque) übersetzt. Er sagt: „Okay, um zur Position X zu gelangen, muss ich mit 10 Newton drücken.“

3. TAM (Der Sous-Chef)
TAM sitzt zwischen dem Low-Level-Controller und dem eigentlichen Robotermotor. Es sagt dem Koch nicht, was er tun soll. Es weiß nicht einmal, was der Koch erreichen will (es sieht weder das Rezept noch das Ziel).

Stattdessen beobachtet TAM die Historie des Roboters. Es schaut auf:

Wie sich der Arm in den letzten Sekunden tatsächlich bewegt hat.
Wie viel Kraft tatsächlich angewendet wurde.
Wie sich der Arm angefühlt hat (Propriozeption).

Basierend auf dieser Historie erkennt TAM: „Hey, der Arm bewegt sich langsamer als er sollte, weil diese schwere Pfanne im Weg ist.“

4. Die magische Anpassung (Das Residuelle Drehmoment)
TAM berechnet eine winzige, instantane Korrektur. Wenn der Controller sagte: „Drücke mit 10 Newton“, flüstert TAM vielleicht: „Drücke eigentlich mit 10,5 Newton, um die Reibung zu kompensieren.“ Es fügt dieses winzige „zusätzliche Drücken“ (residuales Drehmoment) der Anweisung hinzu, unmittelbar bevor sie den Motor erreicht.

Warum ist das besonders?

Es ist Plug-and-Play: Man kann eine Roboter-Policy, die für eine Aufgabe trainiert wurde (wie das Schieben einer Box), und eine andere, die für eine völlig andere Aufgabe trainiert wurde (wie das Wenden eines Würfels), nehmen und TAM funktioniert für beide. Man muss den Hauptkoch nicht neu trainen. Man steckt einfach den TAM-Adapter ein.
Es lernt durch „Gefühl“, nicht durch „Sehen“: TAM benötigt nicht die Kamera des Roboters oder die Kenntnis der Aufgabe. Es muss nur die Historie des Roboters fühlen. Es ist wie ein blinder Experte, der allein am Klang des Motors und der Vibration des Lenkrads erkennen kann, ob ein Auto schwer ist.
Es ist schnell: TAM nimmt diese winzigen Anpassungen 1.000 Mal pro Sekunde vor (1 kHz). Das ist schnell genug, um dynamische, schnelle Aufgaben zu bewältigen, wie das Wenden von Objekten oder das Balancieren eines Balls, wofür langsamere Methoden nicht ausgelegt sind.
Es benötigt keine Realdaten: Der „Sous-Chef“ (TAM) wird vollständig in einer Computersimulation mit Tausenden von zufälligen „Was-wäre-wenn“-Szenarien (schwere Pfannen, zähes Fett, defekte Federn) trainiert. Einmal trainiert, kann er auf einen echten Roboter übertragen werden und sofort funktionieren, selbst wenn der Roboter ein völlig unbekanntes Gewicht trägt.

Die Ergebnisse

Das Paper testete dies an einem echten Roboter (einem Franka Panda) mit drei sehr unterschiedlichen Aufgaben:

Das Schieben einer Box (mit einer durch Reinforcement Learning gelertennt Policy).
Das Wenden eines Würfels (mit einer durch menschliche Demonstrationen gelertennt Policy).
Das Balancieren eines Balls auf einer Platte (mit einem mathematischen Controller).

In allen Fällen schnitt der Roboter mit TAM wesentlich besser ab als Roboter, die versuchten, die Physik im Vorbeigehen zu erraten, oder Roboter, die einfach nur versuchten, „vorsichtig“ zu sein. TAM ermöglichte es dem Roboter, mit derselben Zuversicht und Geschwindigkeit zu agieren, als wäre er in der perfekten Simulation, obwohl er mit der Unordnung der realen Welt zu tun hatte.

Zusammenfassende Analogie

Wenn die Roboter-Policy ein Fahrer ist, der auf einer perfekten, trockenen Rennstrecke gelernt hat zu fahren, und die reale Welt eine regnerische, schlammige Straße ist:

Alte Methoden sagen dem Fahrer, er solle extrem langsam und vorsichtig fahren (konservativ).
Andere Methoden versuchen, die Tiefe des Schlamms zu messen, während sie fahren (langsam und komplex).
TAM ist wie ein Beifahrer, der spürt, wie das Auto rutscht, und sofort das Lenken und das Gaspedal 1.000 Mal pro Sekunde anpasst, um das Auto auf der Strecke zu halten, ohne jemals dem Fahrer sagen zu müssen, seinen Fahrstil zu ändern.

Das Paper kommt zu dem Schluss, dass TAM ein robustes, flexibles Werkzeug ist, das es Robotern, die in der „perfekten Welt“ der Simulation trainiert wurden, ermöglicht, in der „unordentlichen Welt“ der Realität erfolgreich zu sein, ohne für jeden neuen Roboter oder jedes neue schwere Objekt, das sie aufheben könnten, neu trainiert werden zu müssen.

Technisches Resümee: Torque Adaptation Module (TAM) für robuste Bewegungsübertragung in der Manipulation

1. Problemdefinition

Die Arbeit befasst sich mit der Herausforderung des Sim-to-Real-Transfers und der Bewegungsrobustheit in der Robotermanipulation. Eine Policy, die für ein spezifisches „ideales“ Robotermodell trainiert oder entworft wurde, versagt oft bei der Bereitstellung auf einem Zielroboter mit abweichender Dynamik. Diese Diskrepanzen entstehen durch:

Den Sim-to-Real-Gap (unmodellierte Reibung, Dämpfung, Aktuatorverzögerungen).
Unbekannte Lasten (zusätzliche Masse und Verschiebungen des Massenschwerpunkts).
Instanz-zu-Instanz-Variationen (Fertigungstoleranzen).

In kontaktreichen, dynamischen Aufgaben führen selbst kleine Bewegungsdiskrepanzen zu Störungen des Kontaktzeitpunkts und der Kontaktmodi, was zum Scheitern der Aufgabe führt. Bestehende Lösungen stehen vor signifikanten Einschränkungen:

Systemidentifikation (SysID): Erfordert kontinuierliche Datenerfassung und Modellreidentifikation für jeden neuen Roboter oder jede neue Laständerung.
Domain Randomization: Erzeugt oft übermäßig konservative Policies, die daran scheitern, den vollen dynamischen Spielraum des Roboters auszuschöpfen.
Policy-seitige Adaptation (z. B. RMA, UPOSI): Erfordert das Retraining oder die Destillation der Policy mit einem Adaptationszweig, was kostspielig oder unmöglich für geschlossene, Drittanbieter- oder modellbasierte (MPC) Policies ist.

2. Methodik: Das Torque Adaptation Module (TAM)

Die Autoren schlagen TAM vor, ein gelerntes Modul, das an der Drehmoment-Schnittstelle (Torque Interface) eingesetzt wird – zwischen dem Low-Level-Controller und den physischen Aktuatoren des Roboters. TAM operiert unabhängig von der High-Level-Policy, was es ermöglicht, jede bestehende Policy (RL, BC oder MPC) zu adaptieren, ohne die Policy selbst zu modifizieren.

Kernarchitektur

TAM besteht aus zwei Primärkomponenten, die auf unterschiedlichen Zeitskalen operieren:

History Encoder (5 Hz):
- Input: Eine Langzeit-Historie (12 Sekunden) propriozeptiver Daten (Gelenkpositionen $q$ , Geschwindigkeiten $\dot{q}$ ) und angewandter Drehmomente $\tau^a$ .
- Feature-Augmentierung: Der Encoder beinhaltet ein Physik-Residuen-Feature ( $e_\tau$ ), das als Differenz zwischen dem angewandten Drehmoment und dem Drehmoment berechnet wird, das das ideale Modell für die beobachtete Bewegung erfordern würde. Dies liefert ein direktes Signal für die Dynamik-Diskrepanz.
- Verarbeitung: Verwendet eine Patch-weise Zeitreihen-Tokenisierungsstrategie mit einem kausalen Transformer, um die hochfrequente (1 kHz) Historie effizient in einen kompakten latenten Zustand $z_t$ zu verarbeiten.
Torque Adaptor (1 kHz):
- Input: Der latente Zustand $z_t$ , ein kurzes lokales Fenster der jüngsten Zustände/Drehmomente und das nominale Drehmoment $\tau^0_t$ , das vom Low-Level-Controller generiert wurde.
- Output: Ein residuelles Drehmoment-Korrekturwert $\Delta\tau_t$ .
- Mechanismus: Verwendet eine adaptive Layer-Normalisierung, die von $z_t$ konditioniert ist, um denselben Gewichten zu ermöglichen, unterschiedliche Korrekturlaws für verschiedene Dynamiken auszudrücken.
- Finaler Befehl: Das korrigierte Drehmoment $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ wird an den Roboter gesendet.

Trainingsstrategie

Aufgabenagnostische Daten: TAM wird auf randomisierten, frei beweglichen Gelenkbewegungs-Rollouts trainiert, nicht auf spezifischen Aufgabendemonstrationen.
Supervision: Das Trainingsziel ist das lokale Drehmoment-Matching. Gegeben einen Zustand und ein nominales Drehmoment, berechnet das System das „Lehrer“-Drehmoment, das der perturbierte (Ziel-)Roboter benötigt, um dieselbe Beschleunigung wie der ideale Roboter zu erreichen.
Zweistufige Pipeline:
1. Multi-Roboter-Pretraining: Das Modul wird auf randomisierten Rollouts von fünf verschiedenen Robotermodellen (Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4) trainiert, um eine gemeinsame Korrektur-Initialisierung zu erlernen.
2. Roboterspezifisches Fine-tuning: Falls ein Simulator für den Zielroboter verfügbar ist, werden die vortrainierten Gewichte auf den randomisierten Rollouts dieses Roboters feinjustiert. Es sind keine Realdaten erforderlich für diesen Schritt.

3. Kernbeiträge

Entkoppelte Adaptation: Durch die Verschiebung der Adaptationsschicht zur Drehmoment-Schnittstelle benötigt TAM keinen Zugriff auf Beobachtungen, Belohnungen oder interne Zustände der Policy. Dies ermöglicht die Wiederverwendung eines einzigen Satzes von TAM-Gewichten über diverse Policies (RL, BC, MPC) und Aktionsräume (Gelenkziele, Endeffektor-Ziele, direkte Drehmomente) hinweg.
Zero-Shot Real-World Transfer: Die Methode ermöglicht eine robuste Ausführung auf realen Robotern mit unbekannten Lasten und Dynamiken, ohne die zugrunde liegende Policy neu zu trainieren oder Kalibrierungsdaten in der realen Welt zu sammeln.
Hochfrequente Korrektur: Durch die Operation bei 1 kHz unterstützt TAM schnelle, dynamische Manipulationsaufgaben, die eine schnelle Reaktion auf Kontakte und Trägheitsänderungen erfordern.
Generalisierung: Der Multi-Roboter-Pretraining-Ansatz erlaubt es dem Modul, auf ungesehene Robotermorphologien zu generalisieren, wobei weitere Verbesserungen durch Simulation-Fine-tuning möglich sind.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TAM auf einem realen Franka Emika Panda Roboter über drei distinkte Aufgaben sowie eine simulierte Cross-Robot-Tracking-Studie.

Real-World Aufgaben (Franka Panda)

Vision-basierte RL Box Pushing: TAM erreichte eine Erfolgsrate von 76,2 %, was die direkte Ausführung (47,6 %) und die Online-Systemidentifikation (57,1 %) signifikant übertraf.
Behavior-Cloned Cube Flip: TAM erreichte eine Erfolgsrate von 72,0 %, was fast dem idealen Simulations-Baseline-Wert (73,5 %) entspricht und die Erfolgsrate der Online-SysID (34,0 %) mehr als verdoppelt.
MPC Ball-on-Plate Balancing: TAM absolvierte 13,6 ± 2,9 Ziele in 15 Sekunden und übertraf damit die Online-SysID (13,1) und die direkte Ausführung (8,8), wobei es sich dem idealen Simulationsergebnis (15,9) annähert.
Tracking mit unbekannten Lasten: In Endeffektor-Tracking-Aufgaben mit einer verborgenen 1 kg Last reduzierte TAM den Tracking-Fehler (RMSE) von ca. 6 cm (Direkt) auf 1,29 cm (Carried state) und übertraf explizite Parameterschätzungs-Baselines.

Simulation Cross-Robot Generalization

Die auf fünf Robotern vortrainierten TAM-Gewichte wurden auf zwei ungesehenen Robotern (Google Robot, Unitree Z1) getestet.
Das Multi-Roboter-vortrainierte TAM reduzierte den Tracking-Fehler signifikant im Vergleich zu den Direct- und Online-SysID-Baselines.
Das Fine-tuning auf der Simulation des Zielroboters reduzierte den Fehler weiter, was die Effektivität der zweistufigen Trainingspipeline demonstriert.

Ablationsstudien

History Encoder: Das Entfernen des Langzeit-Encoders reduzierte die Erfolgsraten signifikant (von 84 % auf 42 % in der Simulation), was die Bedeutung des zeitlichen Kontextes unterstreicht.
Physics Residual Feature: Das Entfernen des $e_\tau$ -Features schwächte den Cross-Robot-Transfer, was die Rolle dieses Features bei der Generalisierung über spezifische Morphologien hinweg bestätigt.
Direct Torque vs. Parameter Prediction: Die direkte Vorhersage des residuellen Drehmoments übertraf Methoden, die zuerst versuchten, explizite physikalische Parameter vorherzusagen.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass TAM einen Paradigmenwechsel in der Handhabung des Sim-to-Real-Transfers für die Manipulation darstellt. Anstatt die Policy zu zwingen, Robustheit zu lernen, oder eine kontinuierliche Systemidentifikation zu fordern, lagert TAM die Anpassungslast auf eine modulare Drehmoment-Schnittstelle aus.

Modularität: Es ermöglicht eine „Plug-and-Play“-Adaption für unabhängig entwickelte Policies (RL, BC, MPC) ohne Retraining.
Effizienz: Es eliminiert die Notwendigkeit der Datensammlung in der realen Welt für die Adaptation, indem es auf randomisierte Simulation und Multi-Roboter-Pretraining setzt.
Robustheit: Es ermöglicht dynamische, kontaktreiche Manipulation auf realer Hardware mit unbekannten physikalischen Parametern und erreicht Leistungen nahe an den idealen Simulations-Baselines, bei denen traditionelle Methoden versagen.

Die Autoren räumen Einschränkungen ein: TAM erfordert Zugriff auf eine Drehmoment-Schnittstelle und eine übereinstimmende kinematische Struktur. Es wird vorausgesetzt, dass die Dynamik des Zielroboters innerhalb des Drehmoment-Budgets der Aktuatoren korrigiert werden kann, und es werden keine formalen Garantien für die langfristige Stabilität oder Aufgaben bereitgestellt, die eine Dynamik außerhalb der Trainingsverteilung erfordern (z. B. extreme Kontaktkräfte, die im Training nicht vorkamen).