Sintesi Tecnica: Apprendimento dell'Imitazione Visuomotoria Tri-Manuale di Politiche Robotiche

Definizione del Problema

La teleoperazione bimanuale standard assume una mappatura uno-a-uno tra le due mani di un operatore e i due end-effector di un robot. Questa ipotesi fallisce per i sistemi tri-manuali, dove un robot possiede tre braccia ma un singolo operatore umano può controllare continuamente solo due canali simultaneamente. Per dimostrare compiti con tre braccia, gli operatori devono ricorrere allo switching di modalità a coppie, serializzando movimenti indipendenti che potrebbero invece avvenire in modo concorrente.

Quando si addestrano politiche di apprendimento per imitazione (ad esempio, tramite behavior cloning) su tali dati, la politica spesso apprende i ritardi imposti dall'interfaccia piuttosto che i requisiti intrinseci del compito. Il robot può riprodurre periodi di attesa non necessari in cui un braccio rimane inattivo mentre l'operatore sposta il controllo su un'altra coppia, anche se la geometria del compito permetterebbe l'esecuzione simultanea. La sfida principale è separare i movimenti locali dimostrati (che sono validi) dal timing di raccolta (che è subottimale a causa dei vincoli dell'interfaccia) per abilitare un controllo a tre braccia sincrono.

Metodologia: TriManPolicy e DATS

Gli autori propongono TriManPolicy, un sistema che consente a un singolo operatore di dimostrare comportamenti tri-manuali scindendo il contenuto del movimento dal timing globale. La pipeline del sistema si compone di tre fasi principali:

1. Raccolta delle Dimostrazioni con Cambio di Modalità

Gli operatori controllano due delle tre braccia (Sinistra, Destra o Altra) in qualsiasi momento, passando tra le coppie ({LR, LO, RO}) secondo necessità. Tutti gli stati del robot, le osservazioni e i comandi vengono registrati sotto un unico clock, tracciando la coppia di teleoperazione attiva in ogni istante temporale.

2. Annotazione dei Sotto-compiti e Costruzione del Grafo

Per ogni episodio registrato, un Modello Vision-Language (VLM) propone i confini dei segmenti, le braccia richieste e le relazioni di precedenza. Gli annotatori umani esaminano e raffinano questi dati in un grafo del compito $G_n = (V_n, E_n)$, dove:

• Nodi ($V_n$): Rappresentano sotto-compiti temporalmente localizzati con durate fisse, set di braccia richiesti e label semantiche opzionali.
• Archi ($E_n$): Codificano le dipendenze finisci-inizia (prerequisiti del compito) e i vincoli di risorse (ad esempio, una braccio non può essere utilizzato da due segmenti simultaneamente).
• Distinzione Chiave: Il grafo distingue tra ordinamenti richiesti dal compito (che devono essere preservati) e serializzazioni indotte dall'interfaccia (che possono essere allentate).

3. Programmazione Tri-Braccia Sensibile alle Dipendenze (DATS)

L'innovazione centrale, DATS, tratta il ritempo delle dimostrazioni come un problema di programmazione (scheduling) vincolato. Prende i segmenti sensorimotori a durata fissa e li riposiziona su un nuovo timeline globale per minimizzare il makespan dell'episodio soddisfacendo:

• Vincoli di Precedenza: Se il segmento $A$ deve precedere $B$, $A$ deve terminare prima che $B$ inizi.
• Esclusività delle Risorse: Un singolo braccio non può eseguire due segmenti simultaneamente.
• Obiettivo: Massimizzare la concorrenza di segmenti con braccia disgiunte che non hanno una via di dipendenza, efficacementmente "parallelizzando" la dimostrazione.

Processo di Ritempo:
DATS calcola uno schema ottimale utilizzando CP-SAT (Google OR-Tools). Applica una mappa temporale in avanti per spostare i timestamp di tutti i messaggi all'interno di un segmento tramite un offset costante. Ciò preserva il timing sensorimotorio locale all'interno di ogni segmento pur alterando l'allineamento globale tra le braccia. I dati ritempati risultanti addestrano una singola politica sincrona che controlla tutti e tre i braccia congiuntamente.

4. Apprendimento della Politica

Il sistema addestra una politica transformer a chunk di azioni (action-chunked transformer policy). Data un'osservazione $o_t$, la politica predice una sequenza di azioni sincronizzate per tutti e tre i braccia su un orizzonte $H$. Fondamentalmente, l'obiettivo di addestramento minimizza la stessa funzione di perdita sia per i dati grezzi che per quelli DATS, ma le finestre di supervisione congiunta differiscono: DATS posiziona i target cross-arm compatibili all'interno dello stesso window di addestramento, mentre i dati grezzi spesso accoppiano il progresso in un braccio con soste di attesa in altri.

Contributi Chiave

1. Formulazione del Problema: Estende l'apprendimento per imitazione tramite teleoperazione a scenari in cui i canali di manipolazione del robot eccedono la capacità di controllo simultaneo dell'operatore, formulando specificamente il problema per tre braccia cooperanti.
2. Algoritmo DATS: Introduce un approccio basato sulla programmazione per il ritempo delle dimostrazioni. Preserva le dipendenze del compito e i vincoli di risorsa delle braccia pur allentando le serializzazioni indotte dall'interfaccia, permettendo la sovrapposizione di movimenti indipendenti delle braccia.
3. Valutazione del Sistema: Addestra e valuta politiche sincrone a tre braccia su sei compiti complessi nel mondo reale, dimostrando che i dati ritempati portano a un'esecuzione più veloce senza sacrificare i tassi di successo.

Risultati Sperimentali

Il sistema è stato valutato su sei compiti reali (es. TowelHang, BinTowel, BagTape) utilizzando 237 dimostrazioni elaborate e 300 prove su robot reale (25 prove per compito per condizione).

• Tassi di Successo: Le politiche addestrate con DATS hanno ottenuto conteggi di successo uguali o superiori rispetto alle politiche baseline (Raw) in tutti i sei compiti.
• Tempo di Completamento: Le politiche DATS hanno ridotto significativamente il tempo medio di completamento per le prove di successo in ogni compito, con riduzioni comprese tra il 31,3% e il 49,9%. Il tempo macro-medio aggregato è sceso da 83,1s (Baseline) a 47,8s (DATS).
• Analisi Offline:
  • Durata: In alcuni compiti (es. TowelHang, BinTowel), DATS ha accorciato la timeline dell'episodio rimuovendo gli intervalli di inattività.
  • Copertura Co-Window: In tutti i compiti, DATS ha aumentato significativamente la copertura co-window (la frazione di coppie di segmenti cross-arm elegibili che appaiono nello stesso window di addestramento). Ad esempio, in TrayWipe, la copertura è passata da circa il 9,5% (Raw) al 71,2% (DATS) con una variazione trascurabile della durata totale. Ciò indica che DATS cambia con successo cosa la politica impara a fare simultaneamente, non solo quanto velocemente lo fa.

Significato e Rivendicazioni

L'articolo sostiene che il timing della supervisione è un fattore critico nell'apprendimento dell'imitazione tri-manuale. Trattando lo staging del cambio di modalità come una proprietà della timeline di addestramento piuttosto che come un vincolo che la politica distribuita deve ereditare, TriManPolicy consente a un singolo operatore di dimostrare complessi comportamenti tri-manuali concorrenti.

Gli autori sottolineano che:

• Il contenuto sensorimotorio locale delle dimostrazioni rimane valido e utile anche quando il loro timing globale è subottimale.
• DATS ricostruisce efficacementamente il timing globale per allinearsi alle dipendenze del compito e alle risorse disponibili, impedendo alla politica di apprendere ritardi non necessari.
• L'approccio non richiede alcun grafo di dipendenza o scheduler durante il deployment; la politica appresa agisce direttamente su osservazioni sincrone dal vivo, avendo interiorizzato i pattern di esecuzione concorrente durante l'addestramento.

I risultati dimostrano che separare il contenuto della dimostrazione dal timing di raccolta consente un controllo tri-manuale sincrono ed efficiente utilizzando dati raccolti tramite la standard teleoperazione a coppie.