Sintesi Tecnica: TREAD (Task Robustness via Re-Labelling Vision-Action Robot Data)

Problematica

I recenti progressi nella scalabilità dei modelli di apprendimento robotico hanno prodotto policy capaci di generalizzare verso scenari nuovi. Tuttavia, queste policy faticano frequentemente a seguire in modo affidabile le istruzioni testuali. Gli autori attribuiscono questa debolezza alla mancanza di diversità linguistica e di sequenze di azioni nei dataset robotici esistenti. Sebbene gli sforzi collaborativi abbiano ampliato le dimensioni dei dataset, questi spesso soffrono di squilibri di modalità: contengono traiettorie lunghe e complesse con molteplici sotto-obiettivi, ma la diversità linguistica è "diluita" perché meno istruzioni uniche sono associate al crescente numero di fotogrammi immagine-azione. La ri-annotazione manuale di migliaia di video di dimostrazione per aumentare questa diversità non è scalabile rispetto alle richieste dei moderni sistemi di apprendimento robotico.

Metodologia: Framework TREAD

Il documento introduce TREAD (Task Robustness via RE-Labelling Vision-Action Robot Data), un framework scalabile che sfrutta grandi Modelli Vision-Language (VLM) per aumentare i dataset robotici esistenti senza raccogliere nuovi dati. Il framework opera attraverso un processo iterativo in tre fasi utilizzando un VLM pre-addestrato (specificamente Gemini Pro 2.5 negli esperimenti):

1. Generazione di Sotto-task Semantici: Dato un'istruzione di alto livello originale e il fotogramma iniziale della scena, il VLM genera una sequenza di descrizioni semantiche di sotto-task necessarie per completare l'obiettivo. Fondamentalmente, il modello adatta il numero di sotto-task in base al contesto della scena (ad esempio, determinando se un cassetto è aperto o chiuso).
2. Segmentazione Temporale: Il VLM elabora l'intero video di dimostrazione, utilizzando l'elenco di sotto-task generato per identificare i confini temporali specifici (inizio e fine) in cui avviene ciascun sotto-task. Questo decompone una singola traiettoria a lungo raggio $(\tau, \ell)$ in un insieme ordinato di sotto-traiettorie etichettate $[(\tilde{\tau}_1, \tilde{\ell}_1), \dots, (\tilde{\tau}_z, \tilde{\ell}_z)]$.
3. Diversità delle Istruzioni Grounded: Per ogni sotto-traiettoria, il VLM genera variazioni linguistiche diverse dell'istruzione. A differenza della semplice sostituzione di sinonimi, questo passaggio condiziona la generazione sul contesto visivo (il primo fotogramma della sotto-traiettoria). Il modello incorpora proprietà degli oggetti (colore, forma) e relazioni spaziali per creare parafrasi grounded (ad esempio, cambiando "prendi la tazza blu" in "afferra la piccola tazza da caffè accanto al laptop").

Il dataset aumentato risultante è un mix delle traiettorie originali e delle nuove sotto-traiettorie decomposte e linguisticamente diverse.

Contributi Chiave

Gli autori apportano due contributi primari:

1. Un Nuovo Framework: TREAD utilizza l'interrogazione iterativa di un VLM per aumentare e diversificare sistematicamente i dataset originali scomponendo le traiettorie e ri-etichettandole con un linguaggio grounded e diversificato.
2. Un Dataset Aumentato: Gli autori rilasciano il dataset ottenuto applicando questo framework per facilitare la ricerca futura.

Risultati Sperimentali

Gli autori hanno valutato TREAD sul benchmark LIBERO, un ambiente di simulazione per la manipolazione robotica. Hanno perfezionato (fine-tuning) due policy generaliste, Octo e $\pi_0$-FAST, su dataset aumentati tramite TREAD e le hanno confrontate con le baseline addestrate sui dati originali.

• Generalizzazione del Movimento (Nuovi Ambienti): Quando testate su accoppiate scena-istruzione nuove, le policy addestrate con la decomposizione delle traiettorie di TREAD hanno mostrato prestazioni migliorate. Nello specifico, TREAD ha ottenuto un tasso di successo superiore del 15% su Octo e del 6% su $\pi_0$-FAST per task a obiettivo singolo rispetto alla baseline. I benefici sono stati particolarmente pronunciati per i task a obiettivi multipli, dove TREAD ha migliorato i tassi di completamento del primo obiettivo del 30% per Octo.
• Generalizzazione del Linguaggio (Nuove Istruzioni): In task che richiedono l'aderenza a istruzioni linguisticamente varie, TREAD ha dimostrato una robustezza significativa. Per i task a obiettivo singolo, TREAD ha migliorato i tassi di successo del 20% per Octo e del 9% per $\pi_0$-FAST rispetto alla baseline.
• Performance In-Distribution: L'aumento non ha compromesso le prestazioni sui task in-distribution; TREAD ha mantenuto tassi di successo comparabili alla baseline sui classici task a lungo raggio LIBERO-10.

Gli autori notano che la decomposizione delle traiettorie ha fornito bias induttivi particolarmente preziosi per Octo, che manca della comprensione vision-language pre-addestrata inerente a $\pi_0$-FAST.

Significato e Rivendicazioni

Il documento afferma che TREAD affronta efficacemente il problema della "diluizione" nei dataset robotici scomponendo le dimostrazioni lunghe in coppie linguaggio-azione granulari e grounded. Sfruttando la conoscenza trasferibile dei VLM, il metodo migliora sia la generalizzazione della pianificazione (attraverso la decomposizione delle traiettorie) sia la generalizzazione della policy condizionata dal linguaggio (attraverso l'aumento della diversità linguistica).

Gli autori sottolineano che il loro approccio migliora le prestazioni della policy senza richiedere la raccolta di ulteriori dati o modifiche architettoniche alla policy stessa, rendendolo applicabile accanto a qualsiasi architettura vision-language-action. Riconoscono limitazioni, specificamente la dipendenza da un VLM a codice chiuso che influisce sulla riproducibilità, e suggeriscono che il lavoro futuro dovrebbe esplorare alternative open-source e l'applicazione ad altri dataset più ampi. Tuttavia, concludono che anche con piccole quantità di dati correttamente segmentati e aumentati, i modelli VLA attuali mostrano guadagni di prestazione evidenti.