It's Not Just More Demos: Counterfactual Action Sensitivity Coverage for Data-Efficient Robust Robot Imitation

Sintesi Tecnica: Copertura della Sensibilità all'Azione per Nuisance Controfatuali per un'Imitazione Robotica Robusta e Data-Efficient

Problematica
L'apprendimento dell'imitazione visuomotoria ha raggiunto un successo significativo nei compiti di manipolazione, eppure le policy addestrate rimangono spesso fragili quando vengono dispiegate sotto l'effetto di disturbi visivi (nuisance) che preservano il compito (es. cambiamenti di illuminazione, spostamenti dello sfondo, oggetti distraenti o variazioni della texture delle superfici). Sebbene questi disturbi non alterino lo stato sottostante del compito o l'azione esperta richiesta, essi causano una degradazione sostanziale delle prestazioni delle policy addestrate su dati "puliti". La comunità robotica ha tradizionalmente affrontato questo problema aumentando la raccolta di dati o utilizzando la randomizzazione del dominio. Tuttavia, aumentare indiscriminatamente la diversità dei dati è inefficiente; spesso si coprono variazioni che la policy gestisce già, trascurando specifiche condizioni visive che inducono risposte fragili. La sfida centrale consiste nell'identificare, per una specifica policy addata, quali punti dati aggiuntivi siano più informativi per riparare la sua robustezza senza richiedere costosi rollout online o l'intervento di un esperto.

Metodologia: Counterfactual Nuisance Behaviour Cloning (CFNBC)
Gli autori propongono CFNBC, un framework di selezione dei dati offline progettato per riparare le policy visuomotorie mirando ai loro specifici modi di fragilità. La pipeline opera in tre fasi:

1. Generazione di Controfatuali Accoppiati: Partendo da una policy nominale ($\pi_{\theta_0}$) addestrata su dimostrazioni pulite, il metodo genera osservazioni accoppiate per lo stesso stato del compito: una pulita ($s^c_t$) e una con un disturbo visivo ($s^n_t$). Fondamentalmente, l'azione esperta $a^*$ rimane invariante tra la coppia.
2. Misurazione della Deriva dell'Azione: Le azioni predette dalla policy per gli input puliti e con disturbo vengono confrontate in uno spazio d'azione normalizzato. La deriva dell'azione ($d_i$) è definita come l'entità del cambiamento nell'azione predetta dalla policy tra la coppia di input. Un'alta deriva indica che la policy è sensibile a cambiamenti visivi irrilevanti per il compito. Inoltre, una caratteristica di risposta ($r_i$) cattura il tipo di cambiamento dell'azione indotto, consentendo il confronto di diversi modi di fallimento.
3. Selezione della Riparazione Guidata dalla Risposta: Inve al posto di selezionare semplicemente gli esempi con la deriva più elevata (che potrebbero essere ridondanti), CFNBC seleziona un set di riparazione compatto ($R_K$) che copra diversi modi di risposta ad alta sensibilità. Utilizzando un approccio di ottimizzazione greedy, l'algoritmo massimizza la copertura dello spazio di risposta candidato sotto un budget fisso $K$. Ciò assicura che i dati selezionati affrontino una vasta gamma di schemi di fragilità piuttosto che solo gli outlier più estremi.
4. Fine-Tuning: Le osservazioni con disturbo selezionate vengono accoppiate con le loro azioni esperte originali (ereditate dalle dimostrazioni pulite) per formare un dataset di riparazione controfatuale. La policy nominale viene sottoposta a fine-tuning su un mix di dati puliti originali e su questo set di riparazione selezionato. Questo processo non richiede nuovi label esperti, label di successo dei rollout o ricompense.

Contributi Chiave

• Formulazione della Robustezza come Selezione dei Dati: Il documento inquadra la riparazione delle policy visuomotorie non come un problema di generazione di più dati, ma come selezione degli esempi controfatuali più informativi per una specifica policy.
• Segnale di Deriva dell'Azione: L'introduzione della "deriva dell'azione" come un segnale di sensibilità offline e specifico per la policy. Questa metrica classifica le condizioni di disturbo in base alla fragilità senza richiedere rollout nell'ambiente o etichette di successo.
• Selezione Guidata dalla Risposta: Una strategia di selezione innovativa che dà priorità alla diversità dei modi di risposta della policy rispetto alla pura entità della deriva, garantendo che il set di riparazione copra un ampio spettro di comportamenti di fallimento.
• Validazione Empirica: Dimostrazione che questo approccio mirato supera significativamente la selezione casuale dei dati e la selezione basata solo sull'alta deriva sotto budget di dati ridotti.

Risultati Sperimentali
Il framework è stato valutato su due compiti di manipolazione simulata: trasferimento di un cubo bimanuale in MuJoCo e impilamento di cubi in SimplerEnv, utilizzando Action Chunking with Transformers (ACT) come architettura di base.

• Conferma della Fragilità: Le policy nominali hanno ottenuto successi elevati (~90-96%) nei domini puliti, ma hanno subito una degradazione severa (tassi di successo scesi allo 0-44%) sotto i disturbi visivi che preservano il compito.
• La Deriva come Proxy: La deriva dell'azione ha mostrato una forte correlazione con i tassi di fallimento dei rollout (correlazioni di Spearman $\rho=0.95$ e $\rho=0.88$), validandola come un indicatore affidabile della fragilità offline.
• Efficienza dei Dati: Nel regime a basso budget (20–30 candidati selezionati), la riparazione guidata dalla risposta ha superato sostanzialmente la selezione casuale a budget equivalente.
  • Nel Trasferimento del Cubo, il metodo proposto ha raggiunto un tasso di successo di 0.96 in tutti i disturbi con 20 candidati, mentre la selezione casuale richiedeva circa 100–500 campioni per raggiungere prestazioni simili.
  • Nell'Impilamento del Cubo, il metodo ha migliorato il successo in tutti i disturbi di +0.44 rispetto alla policy nominale, rispetto a +0.28 per la selezione casuale.
• Generalizzazione: Le policy riparate hanno mantenuto alte prestazioni sui dati puliti, indicando che la robustezza è stata acquisita senza sacrificare il comportamento nominale. Sebbene le prestazioni sulle condizioni di disturbo non testate variassero, il metodo ha costantemente migliorato il trasferimento all'interno del pool di candidati testati.

Significato e Rivendicazioni
Il documento sostiene una visione "data-centric" della riparazione della robustezza. Afferma che i dati più utili per riparare una policy non sono necessariamente quelli più numerosi, visivamente diversificati o ovviamente difficili. Inveve, i dati più efficaci sono quelli che coprono i modi di risposta fragili dell'attuale policy. Utilizzando la generazione controfatuale come un audit offline anziché come un'augmentation non strutturata, CFNBC consente la costruzione di set di riparazione compatti e ad alto impatto che migliorano significativamente la robustezza con un overhead di dati minimo, evitando i costi e i rischi per la sicurezza associati ai rollout di fallimento online.