🤖 AI

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

Het artikel introduceert de Torque Adaptation Module (TAM), een geleerd component dat robuuste zero-shot transfer van dynamische manipulatiebeleid mogelijk maakt over verschillende robots en payloads door koppelcommando's aan te passen op basis van enkel proprioceptieve historie, waardoor de noodzaak voor beleidsniveau domeinrandomisatie of real-robot gegevensverzameling wordt geëlimineerd.

Oorspronkelijke auteurs: Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Gepubliceerd 2026-06-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok hebt die jarenlang heeft doorgebracht met het perfectioneren van een recept voor een specifieke, luxe keuken. Deze chef weet precies hoeveel druk hij moet uitoefenen met een mes, hoe snel hij een pan moet roeren en hoe hij een specifieke set zware, op maat gemaakte pannen moet hanteren.

Stel je nu voor dat je deze chef wilt laten koken in een exact hetzelfde gerecht in een andere keuken. Maar deze nieuwe keuken heeft:

Iets zwaardere pannen (onbekende payloads).
Messen die een beetje "plakkerig" aanvoelen door oude vetresten (frictie).
Een fornuis dat een klein beetje trager reageert dan het waar de chef aan gewend is (verschillende dynamiek).

Als de chef zijn exacte bewegingen probeert te gebruiken zonder zich aan te passen, kan het eten aanbranden, de pan kan wegglijden of het mes snijdt misschien niet goed. In de robotica is dit het "Sim-to-Real"-probleem: een robot die getraind is in een perfecte computersimulatie, faalt vaak wanneer hij op een echte robot wordt geplaatst omdat de echte wereld rommelig, zwaar en onvoorspelbaar is.

Het Probleem: Het "Perfecte" versus het "Echte"

Het artikel legt uit dat bestaande oplossingen eruitzien als proberen de chef te leren om "super voorzichtig" te zijn (Domain Randomization), zodat hij elke keuken aankan, wat hem traag en onhandig maakt. Of je probeert elke schroef en veer in de nieuwe keuken te meten terwijl de chef aan het koken is (System Identification), wat te veel tijd en data kost.

De Oplossing: TAM (De "Slimme Adaptor")

De auteurs introduceren TAM (Torque Adaptation Module). Denk aan TAM als een super-slimme sous-chef die vlak naast de hoofdchef staat, maar pas op het allerlaatste moment voordat het mes het voedsel raakt.

Zo werkt TAM, opgedeeld in eenvoudige onderdelen:

1. De "Black Box" Policy (De Chef)
De hoofdrobotpolicy (de "chef") is getraind op een perfecte, ideale robot. Hij stuurt commando's uit zoals "Beweeg de arm naar positie X" of "Pas kracht Y toe." Hij weet niets van de zware pannen of de plakkerige vetresten.

2. De Low-Level Controller (De Arm)
Dit is het deel dat de commando's van de chef vertaalt naar een werkelijke spierbeweging (koppel/torque). Het zegt: "Oké, om naar positie X te gaan, moet ik met 10 Newton duwen."

3. TAM (De Sous-Chef)
TAM zit tussen de Low-Level Controller en de werkelijke robotmotor. Het vertelt de chef niet wat hij moet doen. Het weet zelfs niet wat de chef probeert te bereiken (het ziet het recept of het doel niet).

In plaats daarvan kijkt TAM naar de geschiedenis van de robot. Het kijkt naar:

Hoe de arm de afgelopen paar seconden daadwerkelijk bewoog.
Hoeveel kracht er daadwerkelijk werd uitgeoefend.
Hoe de arm voelde (proprioceptie).

Op basis van deze geschiedenis realiseert TAM zich: "Hé, de arm beweegt langzamer dan hij zou moeten omdat die zware pan de boel vertraagt."

4. De Magische Aanpassing (De Residual Torque)
TAM berekent een kleine, instant correctie. Als de controller zei: "Duw met 10 Newton," dan fluistert TAM: "Duw eigenlijk met 10,5 Newton om de frictie te compenseren." Het voegt deze kleine "extra duw" (residual torque) toe aan het commando vlak voordat het de motor bereikt.

Waarom is dit bijzonder?

Het is Plug-and-Play: Je kunt een robotpolicy die getraind is voor één taak (zoals het duwen van een doos) en een andere die getraind is voor een totaal andere taak (zoals het flippen van een kubus), nemen en TAM werkt voor beide. Je hoeft de hoofdchef niet opnieuw te trainen. Je plugt gewoon de TAM-adapter in.
Het Leert van "Gevoel", Niet van "Zicht": TAM heeft geen visuele input van de camera van de robot nodig of kennis van de taak. Het heeft alleen de geschiedenis van de robot nodig. Het is als een blinde expert die kan voelen dat een auto zwaar is, simpelweg door hoe de motor klinkt en hoe het stuur trilt.
Het is Snel: TAM maakt deze kleine aanpassingen 1.000 keer per seconde (1 kHz). Dit is snel genoeg om dynamische, snel bewegende taken aan te pakken, zoals het flippen van objecten of het balanceren van een bal, wat tragere methoden niet kunnen.
Het Heeft Geen Real-World Data Nodig: De "sous-chef" (TAM) is volledig getraind in een computersimulatie met duizenden willekeurige "wat als"-scenario's (zware pannen, plakkerige vetresten, kapotte veren). Eenmaal getraind, kan het direct op een echte robot worden geplaatst en werken, zelfs als de robot een volledig onbekend gewicht aan zich heeft bevestigd.

De Resultaten

Het artikel testte dit op een echte robot (een Franka Panda) met drie zeer verschillende taken:

Het duwen van een doos (met behulp van een policy geleerd via Reinforcement Learning).
Het flippen van een kubus (met behulp van een policy geleerd door menselijke demonstraties te kopiëren).
Het balanceren van een bal op een bord (met behulp van een wiskundige controller).

In alle gevallen presteerde de robot met TAM veel beter dan robots die probeerden de fysica on the fly te raden of robots die simpelweg probeerden "voorzichtig" te zijn. TAM stelde de robot in staat om met dezelfde zelfverzekerdheid en snelheid te bewegen als in de perfecte simulatie, ook al had de robot te maken met de rommelige realiteit.

Samenvattende Analogie

Als de robotpolicy een bestuurder is die heeft geleerd rijden op een perfect, droog racecircuit, en de echte wereld een regenachtig, modderig pad is:

Oude methoden vertellen de bestuurder om super langzaam en voorzichtig te rijden (conservatief).
Andere methoden proberen de diepte van de modder te meten terwijl ze rijden (traag en complex).
TAM is als een bijrijder die voelt dat de auto slipt en de sturing en het gaspedaal 1.000 keer per seconde direct bijstuurt om de auto op het spoor te houden, zonder ooit de bestuurder te vertellen dat hij zijn rijstijl moet veranderen.

Het artikel concludeert dat TAM een robuust, flexibel hulpmiddel is dat robots, getraind in de "perfecte wereld" van simulatie, laat slagen in de "rommelige wereld" van de realiteit, zonder dat ze voor elke nieuwe robot of elk nieuw zwaar object dat ze oppakken, opnieuw getraind hoeven te worden.

Technische Samenvatting: Torque Adaptation Module (TAM) voor Robuuste Bewegingsoverdracht in Manipulatie

1. Probleemdefinitie

Het artikel behandelt de uitdaging van sim-to-real transfer en bewegingsrobuustheid in robotmanipulatie. Een beleid (policy) dat getraind of ontworpen is voor een specifiek "ideaal" robotmodel, faalt vaak bij implementatie op een doelrobot met afwijkende dynamica. Deze discrepanties ontstaan door:

De sim-to-real gap (niet-gemodelleerde wrijving, demping, actuatorvertragingen).
Onbekende payloads (toegevoegde massa en verschuivingen in het zwaartepunt).
Variaties tussen instanties (productietoleranties).

In contactrijke, dynamische taken leiden zelfs kleine bewegingsverschillen tot verstoringen in de contacttiming en -modi, wat resulteert in taalfalen. Bestaande oplossingen kennen aanzienlijke beperkingen:

Systeemidentificatie (SysID): Vereist continue gegevensverzameling en modelheridentificatie voor elke nieuwe robot of verandering in payload.
Domain Randomization: Produceert vaak te conservatieve beleidsregels die er niet in slagen het volledige dynamische bereik van de robot te benutten.
Policy-Side Adaptation (bijv. RMA, UPOSI): Vereist het hertrainen of distilleren van het beleid met een adaptatie-tak, wat kostbaar of onmogelijk is voor closed-source, third-party of modelgebaseerde (MPC) beleidsregels.

2. Methodologie: De Torque Adaptation Module (TAM)

De auteurs stellen TAM voor, een geleerd module dat wordt ingevoegd op de koppelinterface (torque interface) — tussen de laag-niveau controller en de fysieke actuatoren van de robot. TAM werkt onafhankelijk van het hoog-niveau beleid, waardoor het elk bestaand beleid (RL, BC of MPC) kan aanpassen zonder het beleid zelf te wijzigen.

Kernarchitectuur

TAM bestaat uit twee primaire componenten die op verschillende tijdschalen opereren:

History Encoder (5 Hz):
- Input: Een geschiedenis met een lange horizon (12 seconden) van proprioceptieve gegevens (gewrichtsposities $q$ , snelheden $\dot{q}$ ) en toegepaste koppels $\tau^a$ .
- Feature Augmentatie: De encoder incorporeert een fysieke residu-feature ( $e_\tau$ ), berekend als het verschil tussen het toegepaste koppel en het koppel dat het ideale model zou vereisen voor de geobserveerde beweging. Dit levert een direct signaal van de dynamische mismatch.
- Verwerking: Gebruikt een patch-wise tijdreeks-tokenisatiestrategie met een causale Transformer om de hoogfrequente (1 kHz) geschiedenis efficiënt te verwerken tot een compacte latente staat $z_t$ .
Torque Adaptor (1 kHz):
- Input: De latente staat $z_t$ , een kort lokaal venster van recente staat/koppel, en het nominale koppel $\tau^0_t$ gegenereerd door de laag-niveau controller.
- Output: Een residu koppelcorrectie $\Delta\tau_t$ .
- Mechanisme: Gebrukt adaptieve laag-normalisatie geconditioneerd op $z_t$ om dezelfde gewichten verschillende correctiewetten te laten uitdrukken voor verschillende dynamica.
- Eindcommando: Het gecorrigeerde koppel $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ wordt naar de robot gestuurd.

Trainingsstrategie

Taak-agnostische Data: TAM wordt getraind op gerandomiseerde, vrije ruimte gewrichtsbewegings-rollouts, niet op specifieke taakdemonstraties.
Supervisie: Het trainingsdoel is lokale koppel-matching. Gegeven een staat en een nominaal koppel, berekent het systeem het "teacher" koppel dat vereist is voor de verstoorde (doel) robot om dezelfde versnelling te bereiken als de ideale robot.
Twee-fasen Pipeline:
1. Multi-Robot Pretraining: De module wordt getraind op gerandomiseerde rollouts van vijf verschillende robotmodellen (Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4) om een gedeelde correctie-initialisatie te leren.
2. Robot-specifieke Fine-tuning: Indien een simulator voor de doelrobot beschikbaar is, worden de vooraf getrainde gewichten gefinetuned op de gerandomiseerde rollouts van die robot. Er is geen real-world data nodig voor deze stap.

3. Belangrijkste Bijdragen

Ontkoppelde Adaptatie: Door de adaptatielaag naar de koppelinterface te verplaatsen, heeft TAM geen toegang nodig tot de observaties, beloningen of interne staten van het beleid. Dit maakt het mogelijk om een enkele set TAM-gewichten te hergebruiken voor diverse beleidsregels (RL, BC, MPC) en actieruimtes (gewrichtstargets, end-effector targets, directe koppels).
Zero-Shot Real-World Transfer: De methode maakt robuuste uitvoering mogelijk op echte robots met onbekende payloads en dynamica, zonder het onderliggende beleid te hertrainen of real-world kalibratiedata te verzamelen.
Hoogfrequente Correctie: Door op 1 kHz te opereren, ondersteunt TAM snelle, dynamische manipulatietaken die een snelle reactie vereisen op contact en traagheidswijzigingen.
Generalisatie: De multi-robot pretraining aanpak stelt de module in staat om te generaliseren naar ongeziene robotmorphologieën, waarbij verdere verbeteringen mogelijk zijn via simulatie fine-tuning.

4. Experimentele Resultaten

De auteurs evalueerden TAM op een echte Franka Emika Panda robot over drie verschillende taken en een gesimuleerde cross-robot tracking studie.

Real-World Taken (Franka Panda)

Vision-Based RL Box Pushing: TAM behaalde een succespercentage van 76,2%, wat aanzienlijk beter is dan Directe uitvoering (47,6%) en Online System Identification (57,1%).
Behavior-Cloned Cube Flip: TAM behaalde 72,0% succes, wat bijna overeenkomt met de ideale simulatie baseline (73,5%) en meer dan het succespercentage van Online SysID (34,0%) verdubbelt.
MPC Ball-on-Plate Balancing: TAM voltooide 13,6 ± 2,9 doelen in 15 seconden, waarmee het Online SysID (13,1) en Directe uitvoering (8,8) versloeg, en de ideale simulatieprestaties (15,9) benaderde.
Tracking met Onbekende Payloads: In end-effector tracking taken met een verborgen payload van 1 kg, verminderde TAM de trackingfout (RMSE) van ~6 cm (Direct) naar 1,29 cm (Carried state), waarmee het expliciete parameter schattingsbaselines overtrof.

Simulatie Cross-Robot Generalisatie

TAM-gewichten die vooraf getraind waren op vijf robots werden getest op twee ongeziene robots (Google Robot, Unitree Z1).
De multi-robot vooraf getrainde TAM verminderde de trackingfout aanzienlijk vergeleken met de Direct en Online SysID baselines.
Fine-tuning op de simulatie van de doelrobot verminderde de fout verder, wat de effectiviteit van de twee-fasen trainingspipeline aantoont.

Ablatie-studies

History Encoder: Het verwijderen van de long-horizon encoder verminderde de succespercentages aanzienlijk (van 84% naar 42% in simulatie), wat het belang van temporele context benadrukt.
Physics Residual Feature: Het verwijderen van de $e_\tau$ feature verzwakte de cross-robot transfer, wat bevestigt dat het een rol speelt bij het generaliseren voorbij specifieke morfologieën.
Direct Torque vs. Parameter Prediction: Het direct voorspellen van residu koppel presteerde beter dan methoden die probeerden eerst expliciete fysieke parameters te voorspellen.

5. Betekenis en Claims

Het artikel claimt dat TAM een verschuiving vertegenwoordigt in hoe sim-to-real transfer wordt afgehandeld voor manipulatie. In plaats van het beleid te dwingen om robuustheid te leren of voortdurende systeemidentificatie te vereisen, legt TAM de adaptatiebelasting bij een modulaire, koppel-niveau interface.

Modulariteit: Het maakt "plug-and-play" adaptatie mogelijk voor onafhankelijk geschreven beleidsregels (RL, BC, MPC) zonder hertraining.
Efficiëntie: Het elimineert de noodzaak voor real-world dataverzameling voor adaptatie, door te vertrouwen op gerandomiseerde simulatie en multi-robot pretraining.
Robuustheid: Het maakt dynamische, contactrijke manipulatie mogelijk op echte hardware met onbekende fysieke parameters, waarbij prestaties worden behaald die dicht bij de ideale simulatie baselines liggen waar traditionele methoden falen.

De auteurs erkennen beperkingen: TAM vereist toegang tot een koppelinterface en een overeenkomende kinematische structuur. Het gaat ervan uit dat de dynamica van de doelrobot gecorrigeerd kan worden binnen het koppelbudget van de actuator en biedt geen formele garanties voor langetermijnstabiliteit of taken die buiten de trainingsdistributie vallen (bijv. extreme contactkrachten die niet in de training voorkamen).