🤖 AI

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

Il documento introduce il Torque Adaptation Module (TAM), un componente appreso che consente il trasferimento zero-shot robusto di policy di manipolazione dinamica su diversi robot e carichi utili adattando i comandi di coppia basandosi esclusivamente sulla cronologia propriocettiva, eliminando così la necessità di domain randomization a livello di policy o di raccolta di dati da robot reali.

Autori originali: Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Pubblicato 2026-06-05

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un grande chef che ha trascorso anni a perfezionare una ricetta per una cucina specifica e di alto livello. Questo chef sa esattamente quanta pressione applicare a un coltello, quanto velocemente mescolare una pentola e come maneggiare un set specifico di pentole pesanti e su misura.

Ora, immagina di voler far cucinare lo stesso identico pasto a questo chef in una cucina diversa. Ma questa nuova cucina ha:

Pentole leggermente più pesanti (carichi ignoti).
Coltelli che sembrano un po' "appiccicosi" a causa del vecchio grasso (attrito).
Un fornello che risponde un briciolo più lentamente rispetto a quello a cui lo chef è abituato (dinamiche differenti).

Se lo chef cercasse di usare gli stessi identici movimenti senza adattarsi, il cibo potrebbe bruciarsi, la pentola potrebbe scivolare o il coltello potrebbe non tagliare correttamente. Nella robotica, questo è il problema "Sim-to-Real": un robot addestrato in una simulazione al computer perfetta spesso fallisce quando viene messo su un robot reale perché il mondo reale è disordinato, pesante e imprevedibile.

Il Problema: Il "Perfetto" contro il "Reale"

Il documento spiega che le soluzioni esistenti sono come cercare di insegnare allo chef a essere "super prudente" (Randomizzazione del Dominio o Domain Randomization) in modo da poter gestire qualsiasi cucina, il che lo rende lento e goffo. Oppure, si cerca di misurare ogni singola vite e molla nella nuova cucina mentre lo chef sta cucinando (Identificazione del Sistema o System Identification), il che richiede troppo tempo e dati.

La Soluzione: TAM (L'Adattatore Intelligente)

Gli autori introducono TAM (Modulo di Adattamento della Coppia o Torque Adaptation Module). Pensa a TAM come a un sous-chef super intelligente che sta proprio accanto al grande chef, ma solo nell'ultimo secondo prima che il coltello colpisca il cibo.

Ecco come funziona TAM, suddiviso in parti semplici:

1. La Politica "Black Box" (Lo Chef)
La politica principale del robot (lo "chef") è addestrata su un robot ideale e perfetto. Essa invia comandi come "Muovi il braccio alla posizione X" o "Applica la forza Y". Non sa nulla delle pentole pesanti o del grasso appiccicoso.

2. Il Controllore di Basso Livello (Il Braccio)
Questa è la parte che traduce il comando dello chef in un vero movimento muscolare (coppia o torque). Dice: "Ok, per arrivare alla posizione X, devo spingere con 10 Newton di forza".

3. TAM (Il Sous-Chef)
TAM si posiziona tra il Controllore di Basso Livello e il motore reale del robot. Non dice allo chef cosa fare. Non sa nemmeno cosa lo chef stia cercando di ottenere (non vede la ricetta o l'obiettivo).

Invece, TAM osserva la storia del robot. Osserva:

Come si è effettivamente mosso il braccio negli ultimi secondi.
Quanta forza è stata effettivamente applicata.
Come si è "sentito" il braccio (propriocezione).

In base a questa storia, TAM si rende conto: "Ehi, il braccio si sta muovendo più lentamente di quanto dovrebbe a causa di quella pentola pesante".

4. L'Aggiustamento Magico (La Coppia Residua)
TAM calcola una piccola correzione istantanea. Se il controllore ha detto "Spingi con 10 Newton", TAM potrebbe sussurrare: "In realtà, spingi con 10,5 Newton per compensare l'attrito". Aggiunge questa piccola "spinta extra" (coppia residua) al comando proprio prima che questo colpisca il motore.

Perché è speciale?

È Plug-and-Play: Puoi prendere una politica robotica addestrata per un lavoro (come spingere una scatola) e un'altra addestrata per un lavoro totalmente diverso (come ribaltare un cubo), e TAM funziona per entrambi. Non devi riaddestrare il "chef" principale. Devi solo collegare l'adattatore TAM.
Impara dal "Tatto", non dalla Vista: TAM non ha bisogno di vedere la telecamera del robot o conoscere il compito. Ha solo bisogno di sentire la storia del robot. È come un esperto bendato che può capire se un'auto è pesante solo dal suono del motore e dalle vibrazioni del volante.
È Veloce: TAM esegue questi piccoli aggiustamenti 1.000 volte al secondo (1 kHz). È abbastanza veloce da gestire compiti dinamici e veloci, come ribaltare oggetti o bilanciare una palla, che i metodi più lenti non possono fare.
Non ha bisogno di Dati dal Mondo Reale: Il "sous-chef" (TAM) è addestrato interamente in una simulazione al computer con migliaia di scenari casuali "cosa succederebbe se" (pentole pesanti, grasso appiccicoso, molle rotte). Una volta addestrato, può essere calato su un robot reale e funzionare immediatamente, anche se il robot ha attaccato un oggetto di peso completamente sconosciuto.

I Risultati

Il documento ha testato questo sistema su un vero robot (un Franka Panda) con tre compiti molto diversi:

Spingere una scatola (utilizzando una politica appresa tramite l'Apprendimento per Rinforzo o Reinforcement Learning).
Ribaltare un cubo (utilizzando una politica appresa copiando le dimostrazioni umane).
Bilanciare una palla su un piatto (utilizzando un controllore basato sulla matematica).

In tutti i casi, il robot con TAM è stato molto più performante dei robot che cercavano di indovinare la fisica "al volo" o dei robot che cercavano semplicemente di essere "cauti". TAM ha permesso al robot di muoversi con la stessa fiducia e velocità come se fosse nella simulazione perfetta, nonostante dovesse affrontare la confusione del mondo reale.

Analogia Riassuntiva

Se la politica del robot è un pilota che ha imparato a guidare su una pista da corsa perfetta e asciutta, e il mondo reale è una strada fangosa e piovosa:

I vecchi metodi dicono al pilota di guidare in modo super lento e prudente (conservativo).
Altri metodi cercano di misurare la profondità del fango mentre si guida (lento e complesso).
TAM è come un copilota che sente l'auto scivolare e corregge istantaneamente lo sterzo e l'acceleratore 1.000 volte al secondo per mantenere l'auto sulla pista, senza mai dover dire al pilota di cambiare il suo stile di guida.

Il documento conclude che TAM è uno strumento robusto e flessibile che permette ai robot addestrati nel "mondo perfetto" della simulazione di avere successo nel "mondo disordinato" della realtà, senza dover essere riaddestrati per ogni nuovo robot o ogni nuovo oggetto pesante che potrebbero sollevare.

Sintesi Tecnica: Modulo di Adattamento della Coppia (TAM) per un Trasferimento del Moto Robusto nella Manipolazione

1. Definizione del Problema

Il documento affronta la sfida del sim-to-real transfer (trasferimento dalla simulazione alla realtà) e della robustezza del moto nella manipolazione robotica. Una policy addestrata o progettata per un modello di robot specifico spesso fallisce quando viene implementata su un robot target con dinamiche differenti. Tali discrepanze derivano da:

Il gap sim-to-real (attrito non modellato, smorzamento, ritardi degli attuatori).
Carichi utili sconosciuti (aggiunta di massa e spostamenti del centro di massa).
Variazioni istanza-per-istanza (tolleranze di fabbricazione).

In compiti ricchi di contatto e dinamici, anche piccole discrepanze nel moto interrompono la tempistica e le modalità di contatto, portando al fallimento del compito. Le soluzioni esistenti presentano limitazioni significative:

Identificazione del Sistema (SysID): Richiede una raccolta continua di dati e la ri-identificazione del modello per ogni nuovo robot o variazione di carico.
Randomizzazione del Dominio (Domain Randomization): Spesso produce policy eccessivamente conservative che non riescono a sfruttare l'intero intervallo dinamico del robot.
Adattamento lato Policy (es. RMA, UPOSI): Richiede il riaddestramento o la distillazione della policy con un ramo di adattamento, il che è costoso o impossibile per policy closed-source, di terze parti o basate su modelli (MPC).

2. Metodologia: Il Modulo di Adattamento della Coppia (TAM)

Gli autori propongono il TAM, un modulo appreso inserito all'interfaccia di coppia — tra il controllore di basso livello e gli attuatori fisici del robot. TAM opera indipendentemente dalla policy di alto livello, permettendogli di adattare qualsiasi policy esistente (RL, BC o MPC) senza modificare la policy stessa.

Architettura Core

TAM è composto da due componenti primarie che operano a diverse scale temporali:

Encoder della Storia (5 Hz):
- Input: Una storia a lungo orizzonte (12 secondi) di dati propriocettivi (posizioni articolari $q$ , velocità $\dot{q}$ ) e coppie applicate $\tau^a$ .
- Augmentation delle Caratteristiche: L'encoder incorpora una caratteristica residua fisica ( $e_\tau$ ), calcolata come la differenza tra la coppia applicata e la coppia che il modello ideale richiederebbe per il moto osservato. Questo fornisce un segnale diretto del disallineamento dinamico.
- Elaborazione: Utilizza una strategia di tokenizzazione serie temporale patch-wise con un Transformer causale per elaborare efficientemente la storia ad alta frequenza (1 kHz) in uno stato latente compatto $z_t$ .
Adattatore di Coppia (1 kHz):
- Input: Lo stato latente $z_t$ , una finestra locale recente di stato/coppia e la coppia nominale $\tau^0_t$ generata dal controllore di basso livello.
- Output: Una correzione di coppia residua $\Delta\tau_t$ .
- Meccanismo: Utilizza una normalizzazione adattiva del layer condizionata da $z_t$ per consentire agli stessi pesi di esprimere diverse leggi di correzione per diverse dinamiche.
- Comando Finale: La coppia corretta $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ viene inviata al robot.

Strategia di Addestramento

Dati Indipendenti dal Compito: TAM è addestrato su rollout di moto articolare randomizzati e in spazio libero, non su specifiche dimostrazioni di compiti.
Supervisione: L'obiettivo di addestramento è il matching locale della coppia. Dato uno stato e una coppia nominale, il sistema calcola la coppia "teacher" necessaria affinché il robot perturbato (target) ottenga la stessa accelerazione del robot ideale.
Pipeline a Due Stadi:
1. Preaddestramento Multi-Robot: Il modulo è addestrato su rollout randomizzati da cinque diversi modelli di robot (Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4) per apprendere un'inizializzazione di correzione condivisa.
2. Fine-tuning Specifico per Robot: Se è disponibile un simulatore per il robot target, i pesi pre-addestrati vengono perfezionati su quel robot tramite i suoi rollout randomizzati. Non è richiesto alcun dato nel mondo reale per questo passaggio.

3. Contributi Chiave

Adattamento Disaccoppiato: Spostando lo strato di adattamento all'interfaccia di coppia, TAM non richiede l'accesso alle osservazioni, ai reward o agli stati interni della policy. Ciò consente il riutilizzo di un unico set di pesi TAM attraverso diverse policy (RL, BC, MPC) e spazi di azione (target articolari, target dell'end-effector, coppie dirette).
Trasferimento Zero-Shot nel Mondo Reale: Il metodo consente l'esecuzione robusta su robot reali con carichi utili e dinamiche sconosciute senza riaddestrare la policy sottostante o raccogliere dati di calibrazione nel mondo reale.
Correzione ad Alta Frequenza: Operando a 1 kHz, TAM supporta compiti di manipolazione dinamica e ricchi di contatto che richiedono una risposta rapida a contatti e cambiamenti di inerzia.
Generalizzazione: L'approccio di preaddestramento multi-robot permette al modulo di generalizzare a morfologie di robot non viste, con ulteriori miglioramenti possibili tramite il fine-tuning in simulazione.

4. Risultati Sperimentali

Gli autori hanno valutato TAM su un vero robot Franka Emika Panda attraverso tre compiti distinti e uno studio di tracking cross-robot in simulazione.

Compiti nel Mondo Reale (Franka Panda)

RL Basata su Visione per Spinta di Scatole: TAM ha raggiunto un tasso di successo del 76,2%, superando significativamente l'esecuzione Diretta (47,6%) e l'Online System Identification (57,1%).
Behavior-Cloned Cube Flip: TAM ha raggiunto un tasso di successo del 72,0%, quasi eguagliando la baseline ideale di simulazione (73,5%) e più che raddoppiando il tasso di successo dell'Online SysID (34,0%).
MPC Ball-on-Plate Balancing: TAM ha completato 13,6 ± 2,9 obiettivi in 15 secondi, superando l'Online SysID (13,1) e l'esecuzione Diretta (8,8), avvicinandosi alle prestazioni della simulazione ideale (15,9).
Tracking con Carichi Utili Sconosciuti: In compiti di tracking dell'end-effector con un carico utile nascosto di 1 kg, TAM ha ridotto l'errore di tracking (RMSE) da circa 6 cm (Diretta) a 1,29 cm (Stato trasportato), superando le baseline di stima esplicita dei parametri.

Generalizzazione Cross-Robot in Simulazione

I pesi TAM pre-addestrati su cinque robot sono stati testati su due robot non visti (Google Robot, Unitree Z1).
Il TAM pre-addestrato multi-robot ha ridotto significativamente l'errore di tracking rispetto alle baseline di Diretta e Online SysID.
Il fine-tuning sul simulatore del robot target ha ulteriormente ridotto l'errore, dimostrando l'efficacia della pipeline di addestramento a due stadi.

Studi di Ablazione

Encoder della Storia: Rimuovere l'encoder a lungo orizzonte ha ridotto significativamente i tassi di successo (dal 84% al 42% in simulazione), evidenziando l'importanza del contesto temporale.
Caratteristica Residua Fisica: Rimuovere la caratteristica $e_\tau$ ha indebolito il trasferimento cross-robot, confermando il suo ruolo nel generalizzare oltre specifiche morfologie.
Coppia Diretta vs Predizione di Parametri: La predizione diretta della coppia residua ha superato i metodi che tentavano prima di predire esplicitamente i parametri fisici.

5. Significato e Rivendicazioni

Il documento sostiene che TAM rappresenti un cambio di paradigma nel modo in cui viene gestito il sim-to-real transfer per la manipolazione. Invece di forzare la policy a imparare la robustezza o richiedere l'identificazione continua del sistema, TAM delega il carico dell'adattamento a un'interfaccia modulare a livello di coppia.

Modularità: Permette l'adattamento "plug-and-play" per policy create indipendentemente (RL, BC, MPC) senza riaddestramento.
Efficienza: Elimina la necessità di raccolta dati nel mondo reale per l'adattamento, affidandosi invece alla randomizzazione in simulazione e al preaddestramento multi-robot.
Robustezza: Abilita una manipolazione dinamica e ricca di contatto su hardware reale con parametri fisici sconosciuti, raggiungendo prestazioni vicine alle baseline ideali di simulazione dove i metodi tradizionali falliscono.

Gli autori riconoscono i limiti: TAM richiede l'accesso a un'interfaccia di coppia e una struttura cinematica corrispondente. Assume che le dinamiche del robot target possano essere corrette entro il budget di coppia degli attuatori e non fornisce garanzie formali di stabilità a lungo orizzonte o per compiti che richiedono dinamiche esterne alla distribuzione di addestramento (es. forze di contatto estreme non viste durante l'addestramento).