Sintesi Tecnica: Trasferire il Contatto, non solo il Movimento

Problematica

La manipolazione destra richiede molto più della semplice previsione del movimento delle dita; necessita della regolazione attiva delle forze di contatto per gestire scivolamenti, deformazioni e auto-occlusione. Le attuali policy cross-embodiment unificano con successo l'intento di movimento attraverso pose retargetizzate o spazi latenti di azione, ma falliscono nel trasferire il feedback di contatto. Il feedback della forza rimane legato alla sensoristica e all'attuazione specifiche di ogni mano (ad esempio, segnali di sforzo grezzi o proxy tattili), rendendo impossibile confrontare il carico tra mani robotiche eterogenee. Di conseguenza, le policy addestrate su una mano non possono generalizzare su un'altra quando i segnali visivi sono occlusi o quando è richiesta una regolazione precisa della forza.

Metodologia

1. Interfaccia Unificata Forza-Posizione

Il contributo principale è un'interfaccia trasferibile che scinde l'intento di movimento dal carico di contatto, esprimendo entrambi in unità fisiche comparabili.

• Intento di Movimento Condiviso: La posa della mano è rappresentata in un latente MANO-pose condiviso ($\psi \in \mathbb{R}^{15}$). Questo vettore a bassa dimensionalità viene appreso una sola volta dai dati di guanti umani e mappato su la configurazione dei giunti di qualsiasi mano specifica ($q^{(h)}$) tramite una mappa di retargeting specifica per la mano ($R_h$) che ottimizza la posizione delle punte delle dita e la forma delle dita.
• Canale di Contatto Calibrato: Invece di utilizzare lo sforzo grezzo, il sistema esegue l'identificazione del sistema per mappare i proxy dello sforzo specifici della mano in coppie meccaniche fisiche ($\tau^{(h)}$ in N·m). Da queste coppie, il sistema deriva:
  • Forze alle punte delle dita ($f_t$): Calcolate tramite l'inverso dei minimi quadrati del Jacobiano traslazionale.
  • Descrittori di Coppia Spaziale ($\gamma_t$): Un set compatto di tre scalari ($c, \rho, \ell$) che codifica la posizione del contatto lungo il dito, la distribuzione del carico tra i giunti e la quota laterale della forza.
    Questo permette alla policy di osservare "dove la mano dovrebbe muoversi" e "come l'oggetto è caricato" in un sistema di coordinate unificato, indipendentemente dalla specifica configurazione della mano.

2. MARC: Politica Reattiva Compliante con Consapevolezza della Maschera (Mask-Aware Reactive Compliant Policy)

Gli autori introducono MARC, una policy di flow-matching basata su un'architettura Diffusion Transformer (DiT).

• Input: La policy è condizionata da una tupla di stato unificata $s_t$ contenente la posa dell'end-effector, le posizioni delle punte delle dita, le forze calibrate ($f_t$), i descrittori di coppia spaziale ($\gamma_t$) e il latente della posa condivisa ($\psi_t$).
• Mascheramento Visivo Strutturato: Durante l'addestramento, i token visivi (patch o interi flussi di telecamera) vengono sostituiti casualmente con embedding di maschera appresi. Ciò costringe la policy a fare affidamento su forza e propriocezione quando l'evidenza visiva è mancante o inaffidabile (ad esempio, durante l'auto-occlusione), invece di imparare a ignorare i dati di forza.
• Obiettivo di Addestramento: La policy predice vettori di velocità per trasportare una sorgente di rumore Gaussiano verso un chunk di azione, minimizzando la perdita di flow-matching.

3. Pipeline di Esecuzione Ibrida

Il sistema non si affida a una singola policy end-to-end per compiti a lungo termine. Al contrario, compone primitive apprese con controller basati su modelli:

• Reach-and-Lift (Raggiungi e Solleva): Eseguito da MARC, gestendo la fase di presa sensibile al contatto e il sollevamento iniziale.
• Transport (Trasporto): Gestito da un regolatore di presa costante che utilizza un controller ibrido forza-posizione. Esso mantiene una presa minima stabile e si stringe autonomamente in base alla coppia calibrata se il trasporto carica l'oggetto.
• Handover (Consegna): Controllato da un controller di ammettenza dell'end-effector che cede all'arto e apre la mano proporzionalmente alle forze esterne (wrench).
• Logica del Controller: Il controller di basso livello segue una posa comandata ma applica una correzione di "ritirata a senso unico" basata sulla coppia calibrata. Se la coppia di contatto supera un target, il controller apre il giunto; altrimenti, segue il comando di posa. Ciò garantisce la compliance senza spingere la mano più a fondo nell'oggetto.

Contributi Chiave

1. Rappresentazione del Contatto Trasferibile: Un metodo per convertire i segnali di sforzo specifici della mano in coppie calibrate, forze alle punte delle dita e descrittori di carico compatti, rendendo il feedback di contatto fisicamente comparabile tra diverse mani destre.
2. Interfaccia Forza-Posizione Unificata: Un framework che combina l'intento di posa della mano condiviso con il feedback di contatto calibrato, consentendo il trasferimento del controllo compliante tra embodiment eterogenei.
3. Policy MARC e Pipeline: Una policy di flow-matching consapevole della maschera addestrata su visione, propriocezione e contatto calibrato, integrata con primitive basate su modelli per la manipolazione a lungo termine (raggiungere, trasportare, consegnare) senza riaddestramento specifico per il compito.

Risultati Sperimentali

Il sistema è stato valutato su un umanoide Unitree G1 equipaggiato con tre mani strutturalmente diverse (Wuji, Wuji12 e Inspire) attraverso dieci compiti che coinvolgono oggetti rigidi e complianti/deformabili (ad esempio, uova, panini brioche, tazze impilate).

• Guadagno di Performance: MARC ha migliorato il tasso medio di successo di "reach-and-lift" dal 0.44 (baseline sDiT) allo 0.71 attraverso tutte le mani e i compiti.
• Miglioramenti Specifici:
  • Inspire: 0.54 $\to$ 0.84
  • Wuji: 0.48 $\to$ 0.79
  • Wuji12: 0.29 $\to$ 0.51
  • Casi Critici: I guadagni più significativi sono stati osservati nel compito "Marker" (scivoloso, occluso), dove i tassi di successo sono passati da 0.2/0.1 a 1.0/0.9 per Inspire e Wuji rispettivamente.
• Ablazione: Rimuovendo il canale di contatto calibrato, la performance sugli oggetti rigidi è crollata nuovamente al valore della baseline (0.48), confermando che il guadagno è guidato dal canale di forza, non solo dall'architettura o dal mascheramento.
• Generalizzazione Zero-Shot: La policy si è trasferita con successo a una configurazione Wuji15 non vista (15-DoF) senza riaddestramento, ottenendo tassi di successo entro 0.1 dai risultati in-distribution di Wuji.

Significato e Rivendicazioni

L'articolo sostiene che il contatto stesso è trasferibile quando espresso in unità fisiche (coppia e forza) piuttosto che come proxy specifici della mano. Unificando l'intento di movimento e il carico di contatto in un'interfaccia condivisa, il sistema consente il trasferimento di abilità di manipolazione destra attraverso mani strutturalmente diverse. Gli autori sottolineano che questo approccio permette un'interazione stabile e compliante durante compiti a lungo termine, particolarmente in scenari in cui il feedback visivo è insufficiente a causa dell'occlusione o della deformazione dell'oggetto. Il lavoro dimostola che una singola policy, addestrata sul contatto calibrato, può guidare hardware eterogenei senza richiedere l'addestramento di un modello per ogni mano o il fine-tuning specifico per il compito.