Learning to Act Through Contact: A Unified View of Multi-Task Robot Learning

Sintesi Tecnica: Imparare ad Agire Tramite il Contatto

Enunciato del Problema
Gli attuali approcci di apprendimento per rinforzo (RL) per la robotica si basano spesso su obiettivi specifici per compito, risultando in politiche che faticano a generalizzare a scenari non visti senza riaddestramento. Sebbene il RL abbia ottenuto successi in domini specifici come la locomozione agile di quadrupedi e la manipolazione abile, i metodi prevalenti trattano tipicamente il contatto come un sottoprodotto incidentale dell'ottimizzazione del movimento piuttosto che come un primitivo di controllo fondamentale. Questa astrazione limita il trasferimento di abilità attraverso interazioni fisiche diverse (ad esempio, dalla camminata alla manipolazione di oggetti) e attraverso diverse morfologie robotiche. Le rappresentazioni degli obiettivi esistenti, come target di posizione 3D o riferimenti di movimento, spesso trascurano l'importanza critica della tempistica e del posizionamento del contatto, rendendo difficile unificare locomozione e manipolazione sotto un unico framework.

Metodologia
Gli autori propongono un framework unificato basato su una rappresentazione esplicita del contatto. Invece di progettare politiche separate per compiti diversi, l'approccio definisce i compiti attraverso sequenze di obiettivi di contatto. Questi obiettivi specificano:

• Posizioni di contatto target ($p^{con}$)
• Tempistiche/durate del contatto ($S$)
• Effettori terminali attivi (indicatori binari $I^{con}$)
• Target di posa dell'oggetto (per compiti di manipolazione)

Il sistema opera tramite un pianificatore di alto livello che genera queste sequenze di obiettivi di contatto, le quali vengono poi eseguite da una politica RL condizionata agli obiettivi. La politica è addestrata a tracciare questi obiettivi utilizzando coppie articolari, indipendentemente dalla specifica morfologia robotica o dal tipo di compito.

Fasi di Contatto e Ricompense
Il framework scompone l'interazione in tre fasi distinte per ogni effettore terminale, consentendo la creazione e la rottura controllata del contatto:

1. Raggiungi (R): L'effettore terminale si muove verso una posizione di contatto desiderata.
2. Mantieni (H): L'effettore terminale mantiene il contatto nella posizione raggiunta.
3. Stacca (D): L'effettore terminale si muove liberamente senza impegnare il contatto.

Per addestrare la politica, gli autori impiegano una struttura di ricompensa densa che incentiva comportamenti specifici in base alla fase corrente:

• Ricompensa di Raggiungimento: Incoraggia la minimizzazione della distanza dalla posizione di contatto target quando l'indicatore di contatto è 0.
• Ricompensa di Mantenimento: Incentiva il mantenimento del contatto nella posizione desiderata quando l'indicatore è 1.
• Ricompensa di Distacco: Penalizza il contatto non intenzionale quando l'indicatore è 0.
• Ricompensa di Posa: Per la manipolazione, un termine aggiuntivo traccia la posizione e l'orientamento dell'oggetto.

La politica osserva stati propriocettivi (posizioni/velocità articolari), gli obiettivi di contatto corrente e successivo, e le durate dei comandi. Nota bene, il framework non si basa su sensori di contatto espliciti dai piedi del robot per l'addestramento in simulazione.

Contributi Chiave

1. Framework Unificato Esplicito sul Contatto: Gli autori propongono un framework RL condizionato agli obiettivi in cui i compiti sono definiti da obiettivi di contatto, consentendo a una singola politica di apprendere diverse andature di locomozione e abilità di manipolazione.
2. Validazione Empirica su Morfologie Diverse: Il framework è validato su robot morfologicamente distinti (quadrupedi e umanoidi) che eseguono un'ampia gamma di compiti, dimostrando che il ragionamento esplicito sul contatto facilita comportamenti robusti e dinamici attraverso diverse incarnazioni.

Risultati Sperimentali
Il framework è stato valutato su tre scenari principali:

1. Locomozione Quadrupede: Una singola politica ha eseguito con successo multiple andature (trotto, passo, balzo, salto, strisciata) e ha navigato terreni impegnativi, inclusi attraversamenti di gap.
2. Locomozione Umanoide: Una singola politica umanoide ha eseguito sia andature bipedi (camminata, salto) che quadrupedi (strisciata, passo, salto), inclusi movimenti assistiti dalle mani.
3. Manipolazione Bimanuale: Un robot umanoide ha eseguito compiti complessi come la riorientazione di oggetti su un tavolo e il tracciamento delle pose degli oggetti mentre li sollevava.

Risultati sulla Generalizzazione:

• Velocità/Directioni Non Viste: Rispetto alle politiche addestrate su target di velocità, la politica esplicita sul contatto ha generalizzato significativamente meglio ai movimenti laterali e alle direzioni di velocità fuori distribuzione, nonostante non ricevesse ricompense specifiche per il movimento laterale durante l'addestramento.
• Multi-Andatura vs Singola-Andatura: La politica multi-andatura ha dimostrato una minore deviazione del piano di contatto (distanza di Hamming) su durate di comando variabili rispetto alle politiche a singola andatura, suggerendo un'interpolazione efficace tra le andature.
• Forme di Oggetti Non Viste: Nei compiti di manipolazione, la politica esplicita sul contatto ha generalizzato meglio a forme di oggetti non visti (cilindriche e sferiche) rispetto a una baseline che utilizzava una codifica one-hot del compito. La politica esplicita sul contatto ha esibito comportamenti emergenti, come strategie di riprova, per tracciare le pose su oggetti sferici rotolanti.
• Pose di Oggetti Non Viste: La politica esplicita sul contatto ha ottenuto errori di tracciamento e variabilità inferiori sulle pose degli oggetti estrapolate oltre la distribuzione di addestramento rispetto alla baseline one-hot.

Significato e Affermazioni
Il documento afferma che trattare il contatto come un primitivo fisico centrale, piuttosto che come un sottoprodotto dell'ottimizzazione, consente un'astrazione più fondamentale dei compiti robotici. Unificando locomozione e manipolazione attraverso obiettivi di contatto, l'approccio permette a una singola politica di generalizzare su sistemi morfologicamente distinti e scenari non visti. Gli autori posizionano l'apprendimento di politiche esplicite sul contatto come una base promettente per la loco-manipolazione scalabile, sostenendo che sfrutta strutture condivise tra i compiti per migliorare l'adattabilità senza la necessità di riaddestramento da zero per ogni nuovo compito. È proposto un lavoro futuro per integrare questa politica di basso livello con pianificatori di alto livello appresi per compiti autonomi a lungo orizzonte ed esplorare la robustezza sim-to-reale.