💻 computer science

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

SEED-UMI è un nuovo framework di apprendimento per imitazione che consente un addestramento efficiente di robot destri facendo indossare sia all'essere umano che al robot lo stesso esoscheletro, creando così misurazioni articolari e viste della telecamera del polso condivise che eliminano la necessità di un retargeting soggetto a errori e permettono alle policy di apprendere direttamente da dimostrazioni ricche di contatti.

Autori originali: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Pubblicato 2026-09-11

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Insegnare a un robot a usare le mani come un essere umano è uno dei problemi più difficili nella robotica moderna. Sebbene le macchine siano diventate esperte nel camminare o nel muovere le braccia, il lavoro delicato e basato sul contatto delle dita rimane elusivo. La difficoltà fondamentale non risiede solo nella complessità della mano stessa, ma nel modo in cui la insegniamo. Per imparare, un robot deve osservare un essere umano eseguire un compito e poi cercare di copiarne il movimento. Tuttavia, le mani umane e le mani robotiche sono costruite in modo diverso; hanno un numero diverso di giunti, dimensioni diverse e si muovono in modi differenti. Quando un essere umano tocca un oggetto, la sua pelle si comprime e le sue articolazioni si piegano in un modo specifico che una mano di metallo rigido non può imitare perfettamente. Gli attuali metodi cercano di colmare questo divario usando telecamere per osservare l'uomo o guanti per registrare i suoi movimenti, ma questi approcci spesso falliscono quando la mano tocca effettivamente qualcosa. I dati diventano disordinati, la traduzione dall'umano al robot si interrompe e il robot fatica a replicare la pressione sottile e la tempistica richieste per compiti come avvitare un bullone o lanciare una palla.

Un team di ricercatori ha proposto una soluzione diversa che evita del tutto la necessità di una complessa traduzione. Invece di cercare di convertire matematicamente i movimenti umani in comandi per il robot, hanno costruito un sistema in cui l'essere umano e il robot indossano lo stesso identico dispositivo meccanico. Questo dispositivo è un esoscheletro specializzato, una struttura leggera che si adatta alla mano e alle dita. I ricercatori hanno progettato questa struttura in modo che corrisponda perfettamente alla mano del robot per dimensioni e posizionamento dei giunti. Quando un essere umano lo indossa, la struttura si muove con le sue dita. Quando il robot lo indossa, la struttura si muove con i suoi motori. Poiché la struttura fisica è identica, i sensori all'interno del dispositivo registrano esattamente gli stessi dati, sia che lo indossi un essere umano, sia che lo indossi un robot. Questo semplice cambiamento trasforma un difficile problema di traduzione in un problema di osservazione diretta.

I ricercatori, guidati da Tengbo Yu e colleghi, hanno sviluppato un framework che chiamano SEED-UMI per mettere in pratica questa idea. Il sistema si basa su una misurazione fisica condivisa. L'esoscheletro è dotato di sensori in ogni giunto che misurano quanto si piega ogni dito. Esso trasporta inoltre una telecamera montata sul polso, puntata verso la mano e gli oggetti che essa sta toccando. Quando un operatore umano indossa il dispositivo per eseguire un compito, i sensori registrano gli angoli dei giunti e la telecamera registra la visuale. Poiché il robot indossa lo stesso dispositivo, vede la stessa visuale e misura gli stessi angoli dei giunti quando esegue la stessa azione. Ciò significa che il robot non ha bisogno di indovinare come tradurre un gesto umano; esso impara semplicemente a muovere i propri giunti per corrispondere alle letture dei sensori che vede, usando la prestazione dell'uomo come guida diretta.

Per far sì che ciò funzioni, il team ha utilizzato un processo di apprendimento in due fasi. Per prima cosa, hanno fatto indossare al robot l'esoscheletro e hanno fatto muovere i suoi giunti casualmente, un processo che chiamano "motor babbling" (balbettio motorio). Questo ha aiutato il robot a comprendere la relazione fondamentale tra i propri comandi motori e le letture dei sensori prodotte. Successivamente, hanno introdotto i dati accoppiati. Un essere umano indossa il dispositivo ed esegue un compito, come prendere una custodia di AirPods o avvitare una vite. Il robot riproduce quindi quel movimento utilizzando la mappatura iniziale. Fondamentalmente, il sistema ha confrontato le letti dei sensori del tentativo dell'umano con le letture dei sensori del tentativo del robot. Se le dita del robot si muovevano diversamente da quelle dell'umano, il sistema utilizzava quella differenza per regolare la mappatura. Ciò ha permesso al robot di imparare come gestire l'attrito extra e la resistenza che si verificano quando le dita premono contro oggetti reali, una situazione in cui i metodi precedenti spesso fallivano.

Il team ha testato questo approccio su cinque compiti impegnativi che richiedevano precisione nel contatto e nella tempistica. Questi includevano avvitare una vite in un pannello, inserire un AirPod nella sua custodia di ricarica, lanciare una palla in un cesto, pulire un tavolo con un panno e spruzzare un deodorante per ambienti. In questi test, i ricercatori hanno confrontato il loro nuovo metodo con la teleoperazione tradizionale, in cui un essere umano controlla il robot in tempo reale, e con i metodi che non utilizzano la fase di affinamento accoppiato. I risultati hanno dimostrato che l'approccio SEED-UMI è altamente efficace. I robot addestrati con questo metodo hanno raggiunto un tasso di successo del 70,0% in tutti i compiti. Questa prestazione era quasi identica al tasso di successo del 71,7% ottenuto dai robot addestrati su dati raccolti attraverso la teleoperazione diretta, ma con un vantaggio significativo in termini di velocità.

La scoperta più sorprendente è stata l'efficienza della raccolta dati. Poiché l'operatore umano non deve controllare il robot in tempo reale, può eseguire i compiti in modo naturale e veloce. I ricercatori hanno scoperto che potevano raccogliere dati tre volte più velocemente con SEED-UMI rispetto alla teleoperazione tradizionale. In una finestra di trenta minuti, un singolo operatore ha raccolto 52 dimostrazioni di successo usando il nuovo sistema, rispetto ai soli 18 della vecchia modalità. Questo guadagno di velocità non è avvenuto a scapito della qualità. I robot addestrati con questi dati più veloci sono stati in grado di gestire compiti delicati, come la tempistica precisa necessaria per lanciare una palla o la pressione costante richiesta per pulire un tavolo, altrettanto bene di quelli addestrati con i dati più lenti del tempo reale. Il sistema si è dimostrato particolarmente forte nei compiti in cui il robot doveva reagire alla resistenza fisica di un oggetto, uno scenario in cui i precedenti metodi a ciclo aperto spesso faticavano.

Il successo di questo lavoro suggerisce che il collo di bottiglia nell'insegnare abilità destre ai robot non sia un migliore algoritmo, ma piuttosto l'interfaccia tra l'essere umano e la macchina. Rendendo l'essere umano e il robot proprietari dello stesso strumento di misurazione fisica, i ricercatori hanno eliminato la necessità di software complessi per tradurre i movimenti. Il robot impara direttamente dall'esperienza condivisa del dispositivo, osservando lo stesso mondo e percependo i medesimi vincoli meccanici dell'essere umano. Sebbene il sistema richieda attualmente un esoscheletro costruito su misura per ogni specifica mano robotica, i risultati indicano una strada promettente. Offre un modo per raccogliere grandi quantità di dati di alta qualità e ricchi di contatto, senza i ritardi e gli errori del controllo in tempo reale, accelerando potenzialmente lo sviluppo di robot che possano davvero padroneggiare le abilità tattili fini della mano umana.

Riepilogo Tecnico: SEED-UMI

Definizione del Problema

La manipolazione destra con mani robotiche rimane un collo di bottiglia significativo nell'apprendimento robotico, principalmente a causa della difficoltà di raccogliere dimostrazioni ricche di contatti e di alta qualità che si trasferiscano fedelmente dall'umano al robot. Gli approcci esistenti affrontano compromessi intrinseci:

Il tracciamento basato sulla visione permette movimenti non vincolati ma soffre di occlusioni e jitter durante il contatto.
I sistemi basati su guanti (sensori inerziali/di flessione) forniscono dati di movimento affidabili ma introducono artefatti di movimento cutaneo e richiedono una mappatura di corrispondenza tra le articolazioni umane e quelle robotiche spesso complessa e imprecisa.
I sistemi basati su esoscheletri offrono misurazioni meccaniche coerenti ma tipicamente sacrificano il comfort dell'operatore e la produttività a causa della struttura ingombrante.

Fondamentalmente, le attuali pipeline trattano la dimostrazione umana e l'esecuzione robotica come domini separati collegati da modelli di retargeting a ciclo aperto. Questi modelli sono spesso calibrati nello spazio libero e degradano significativamente durante le interazioni ricche di contatto a causa di attrito, carichi esterni ed effetti di accoppiamento tra le articolazioni. Inoltre, le discrepanze visive tra le osservazioni umane e quelle robotiche necessitano spesso di traduzione generativa di immagini o segmentazione, il che può oscurare i pixel critici di contatto.

Metodologia: SEED-UMI

Gli autori propongono SEED-UMI (Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration), un framework costruito sul concetto di misurazione fisica condivisa. Invece di apprendere una mappatura tra diverse incarnazioni umane e robotiche, SEED-UMI utilizza un singolo esoscheletro cinematicamente isomorfo indossato sia dall'operatore umano che dalla mano robotica target.

1. Hardware: L'Esoscheletro Condiviso

L'innovazione principale è un esoscheletro personalizzato co-progettato con una specifica mano destra completamente attuata (mano Wuji).

Isomorfismo Cinematico: La lunghezza dei link, gli assi delle articolazioni e i limiti del range di movimento dell'esoscheletro sono meccanicamente identici all'albero cinematico del robot. Ciò garantisce una stretta corrispondenza 1:1 delle articolazioni (20 gradi di libertà) e una geometria di contatto identica sia sul lato umano che su quello robotico.
Design del Meccanismo: Per evitare di ostruire la superficie di contatto palmare e per rientrare nei volumi di ingombro laterale, il design impiega un meccanismo a quattro barre in parallelo. Questo instrada la rotazione dall'asse dell'articolazione a un encoder magnetico senza contatto montato dorsalmente, preservando la superficie di contatto libera da ostruzioni necessaria per la manipolazione fine.
Integrazione dei Sensori: La struttura dell'esoscheletro monta rigidamente:
- Encoder rotativi magnetici senza contatto in ogni articolazione (fornendo un vettore di encoder condiviso $e_t \in \mathbb{R}^{20}$ ).
- Un Intel RealSense T265 dorsale per il tracciamento del polso a 6 DoF.
- Una telecamera fisheye ventrale (FoV di 150°) per l'osservazione dello spazio di lavoro.
  Poiché i sensori sono montati sull'esoscheletro, le costanti intrinseche ed estrinseche della telecamera rispetto al frame dell'encoder rimangono identiche indipendentemente dal fatto che l'esoscheletro sia indossato dall'uomo o dal robot.

2. Software: Mappatura Cross-Embodiment in Due Fasi

Il framework scinde la raccolta dei dati dalla teleoperazione in tempo reale, utilizzando un processo in due fasi per apprendere la mappatura encoder-comando ( $e_t \to q_t$ ):

Fase 1: Motor Babbling (Spazio Libero): Il robot indossa l'esoscheletro ed esegue un'esplorazione strutturata (scansioni a singola articolazione, movimenti accoppiati). Questo addestra una mappatura iniziale $f_{\theta_0}$ dalle letture dell'encoder ai comandi delle articolazioni del robot. Sebbene catturi la cinematica di base, è incline al drift sotto carichi di contatto.
Fase 2: Paired Replay e Fine-Tuning:
1. Un operatore umano esegue dimostrazioni indossando l'esoscheletro, registrando traiettorie di encoder ricche di contatto $\{e^{(h)}_t\}$ .
2. Queste traiettorie vengono riprodotte sul robot utilizzando la mappatura iniziale $f_{\theta_0}$ .
3. Il sistema registra le conseguenti risposte dell'encoder lato robot $\{e^{(r)}_t\}$ e i comandi delle articolazioni $\{q^{(r)}_t\}$ .
4. Viene formato un dataset accoppiato dove la discrepanza tra la traccia dell'encoder lato umano e la risposta dell'encoder lato robot funge da segnale di supervisione.
5. La mappatura viene perfezionata minimizzando una funzione di perdita che allinea le predizioni degli encoder lato robot con la traccia umana, regolarizza i comandi verso il replay accoppiato e penalizza i salti temporali. Ciò corregge la mappatura per gli effetti dipendenti dal contatto (attrito, compliance) senza richiedere ricalibrazioni manuali o simulazione.

3. Apprendimento della Policy

Le policy sono addestrate direttamente su immagini del polso grezze, centrate sull'esoscheletro e sul vettore di encoder condiviso. Poiché l'osservazione visiva (telecamera montata sull'esoscheletro condiviso) e l'interfaccia fisica sono identiche durante la raccolta dei dati umani e l'esecuzione del robot, il framework elimina la necessità di:

Segmentazione della mano.
Traduzione generativa di immagini (inpainting).
Simulazione o Reinforcement Learning (RL).
Gli autori utilizzano architetture standard come ACT, Diffusion Policy e $\pi0.5$ , prendendo osservazioni grezze e input dell'encoder per predire chunk di azioni.

Contributi Chiave

Interfaccia di Misurazione Fisica Condivisa: Un design hardware innovativo in cui lo stesso esoscheletro è indossato sia dall'uomo che dal robot, trasformando il retargeting in un problema di supervisione accoppiata cross-embodiment piuttosto che in una mappatura a ciclo aperto.
Raccolta Dati Ricca di Contatto: Il sistema consente la raccolta di dimostrazioni naturali e ricche di contatto che sono direttamente trasferibili al robot, evitando il degrado delle mappature a ciclo aperto sotto carico.
Pipeline di Apprendimento Efficiente: Rimuovendo la necessità di allineamento visivo generativo e simulazione, il framework permette alle policy di addestrare su dati grezzi con standard augmentations, semplificando significativamente la pipeline di apprendimento.
Fine-Tuning Accoppiato: Un metodo basato sui dati per raffinare le mappature encoder-comando utilizzando tracce accoppiate umano-robot, correggendo efficacementamente la dinamica di contatto senza intervento manuale.

Risultati Sperimentali

Il framework è stato valutato su cinque compiti di manipolazione destra ricchi di contatto: Avvitatura (Screw Driving), Inserimento Custodia AirPods (AirPods Case Insertion), Lancio in Cesto (Ball Basket Throwing), Pulizia Tavolo (Table Cleaning) e Spruzzatura Deodorante (Air Freshener Spray).

Tassi di Successo:
- SEED-UMI con fine-tuning accoppiato ( $P+$ ): Ha raggiunto un tasso di successo medio del 70,0% in tutti i compiti.
- Baseline di Teleoperazione ( $T$ ): Ha raggiunto il 71,7%.
- SEED-UMI senza fine-tuning ( $P-$ ): Ha raggiunto il 57,3%.
- Notevolmente, $P+$ ha superato la teleoperazione in compiti altamente precisi e dinamici come Inserimento Custodia AirPods (73,3% vs 65,0%) e Lancio in Cesto (68,3% vs 60,0%), dove i loop di teleoperazione in tempo reale faticano con latenza e tempistiche.
Efficienza nella Raccolta Dati:
- SEED-UMI ha dimostrato un miglioramento di 3,0× nel throughput della raccolta dati rispetto alla teleoperazione tramite esoscheletro.
- In una finestra di 30 minuti, un operatore ha raccolto 52 dimostrazioni di successo tramite SEED-UMI rispetto alle 18 tramite teleoperazione.
- Il guadagno normalizzato per successo di dati utili al minuto è rimasto di circa 2,9×.

Significato e Rivendicazioni

Il paper sostiene che superare l'ostacolo nella manipolazione destra richieda di ripensare l'interfaccia tra le incarnazioni umane e robotiche piuttosto che migliorare esclusivamente gli algoritmi di retargeting. Trasformando il retargeting e l'apprendimento della policy visuomotoria in una forma di supervisione cross-embodiment accoppiata, SEED-UMI offre una via scalabile ed efficiente verso l'apprendimento robotico destro.

Gli autori affermano che il loro approccio:

Scinde la raccolta delle dimostrazioni umane dalla teleoperazione robotica in tempo reale, dalla simulazione o dal RL.
Preserva la naturalezza delle interazioni umane ricche di contatto garantendo al contempo un trasferimento fedele al robot.
Fornisce una direzione promettente per la raccolta di dati di mano destra nel mondo reale su una scala precedentemente irraggiungibile con la teleoperazione tradizionale, senza sacrificare la qualità dei dati.

Il lavoro riconosce i limiti, notando che l'attuale sistema richiede scelte ingegneristiche per diverse geometrie delle mani e che la indossabilità da parte dell'operatore rimane un fattore per compiti a lungo termine. Il lavoro futuro è diretto verso l'automazione del design cross-hand e il miglioramento dell'esperienza di indossamento.