Sintesi Tecnica: INSIGHT – Acquisizione di Competenze Guidata da Sezione tramite VLA Steerable (Pilotabili)

Definizione del Problema

I modelli Vision-Language-Action (VLA) hanno fatto progredire la manipolazione robotica general-purpose, ma rimangono fondamentalmente limitati dalle competenze presenti nei loro dati di addestramento. L'acquisizione di nuove abilità di manipolazione richiede tipicamente costose dimostrazioni umane e un fine-tuning per ogni nuovo compito. Sebbene l'apprendimento per rinforzo (RL) offra un'alternativa, esso spesso richiede una complessità campionaria proibitiva e vincoli di sicurezza nel mondo reale. Inoltre, i metodi esistenti che utilizzano Vision-Language Models (VLM) o Large Language Models (LLM) come pianificatori o agenti di codifica operano generalmente al tempo di test; essi compongono competenze predefinite o generano traiettorie senza aggiornare la politica appresa sottostante. Di conseguenza, i robot non possono espandere autonomamente il proprio set di capacità per gestire scenari inediti (ad esempio, un rover su Marte che deve spazzare via detriti pur essendo stato addestrato solo per scavare rocce) senza l'intervento umano.

Metodologia: Framework INSIGHT

INSIGHT affronta queste limitazioni rendendo i VLA "steerable" (pilotabili) a livello di azione primitiva, abilitando l'acquisizione autonoma di competenze attraverso una pipeline a due stadi.

Stadio 1: Segmentazione Automatica delle Primitive e Addestramento VLA Steerable

Il primo stadio trasforma le normali dimostrazioni teleoperate in una politica VLA pilotabile senza annotazione manuale.

• Definizione di Primitive: Una primitiva è definita come un segmento di azione riutilizzabile caratterizzato da un singolo modo di movimento dominante (ad esempio, traslazione lungo un asse, rotazione o transizione dello stato della pinza) e un'etichetta in linguaggio naturale (ad esempio, "solleva verso l'alto", "chiudi la pinza").
• Segmentazione Automatica: Un VLM riceve una descrizione del compito ed esempi di primitive per generare una sequenza ordinata di primitive attese. Questi piani generati dal VLM sono allineati con i dati delle dimostrazioni umane utilizzando le transizioni dello stato della pinza (aperto/chiuso), le magnitudo del movimento dell'end-effector e i tag dell'asse dominante.
• Fine-Tuning: Le traiettorie segmentate e etichettate vengono utilizzate per il fine-tuning di un VLA preaddestrato (utilizzando LoRA). Ogni segmento di primitiva diventa un episodio di addestramento separato condizionato dalla sua eticheatura linguistica. Viene aggiunto un canale di progresso appreso allo spazio delle azioni per fornire segnali di terminazione per le singole primitive.
• Risultato: Il risultato è un VLA che può essere pilotato tramite il linguaggio per eseguire specifiche primitive, piuttosto che solo istruzioni di compiti completi.

Stadio 2: Ciclo di Acquisizione Competenze Guidato da VLM

Dato un VLA pilotabile con un vocabolario noto di primitive ($V$), INSIGHT acquisisce autonomamente le competenze mancanti per nuovi compiti.

1. Identificazione del Gap di Primitive: Per un nuovo compito, un pianificatore VLM decompone il compito in una sequenza di primitive. Qualsiasi primitiva $p_i$ nel piano che non è presente nel vocabolario corrente $V$ viene segnalata come un "gap di primitiva".
2. Parametrizzazione ed Esecuzione: Per ogni gap, il VLM propone parametri di controllo di basso livello, specificamente un asse di movimento (traslazione $\{dx, dy, dz\}$ o rotazione $\{dr_x, dr_y, dr_z\}$) e una magnitudo con segno. Il robot esegue il piano: le primitive note sono gestite dal VLA pilotabile, mentre i gap sono eseguiti da un controllore di basso livello utilizzando i parametri proposti dal VLM.
3. Valutazione del Successo e Integrazione: Un oracolo VLM analizza la scena prima e dopo l'esecuzione (rollout) per verificare il successo del compito. Le esecuzioni di successo della nuova primitiva vengono automaticamente etichettate, memorizzate e aggiunte al dataset di addamento.
4. Riapprendimento: Il VLA viene riaddestrato sul dataset combinato delle primitive originali e di quelle appena acquisite. Questo espande il vocabolario $V$, permettendo al robot di eseguire il compito completo composto autonomamente nelle iterazioni future.

Contributi Chiave

1. Pipeline di Segmentazione Automatica delle Primitive: Un metodo per scomporre le dimostrazioni teleoperate in primitive etichettate utilizzando la decomposizione del piano VLM e indizi cinematici, eliminando la necessità di annotazione manuale e abilitando la pilotabilità a livello di primitiva.
2. Volano di Dati Guidato da VLM (VLM-Guided Data Flywheel): Un sistema a ciclo chiuso in cui il VLM identifica le primitive mancanti per nuovi compiti, genera autonomamente dimostrazioni di successo tramite il controllo di basso livello e riaddestra il VLA per integrare queste nuove capacità senza ulteriori dimostrazioni umane.
3. Acquisizione di Competenze Compositive: Una dimostrazione del fatto che le primitive acquisite possono essere composte per risolvere compiti complessi a lungo raggio, abilitando efficacementamente l'apprendimento continuo e lifelong.

Risultati Sperimentali

Il framework è stato valutato attraverso cinque compiti in simulazione (ambiente LIBERO con Franka Panda) e su hardware reale (UFactory xArm).

• Simulazione (Ribaltamento Blocco): Partendo solo da dimostrazioni di pick-and-place, INSIGHT ha acquisito una primitiva di "rotazione blocco". Ha raggiunto il 75% di successo nel compito di ribaltamento del blocco dopo 246 esecuzioni di primitive acquisite. Al contrario, un baseline di RL Soft Actor-Critic (SAC) con lo stesso budget computazionale ha ottenuto lo 0% di successo nel ribaltamento.
• Simulazione (Chiusura Cassetto): Addestrato solo su demo di apertura cassetto, INSIGHT ha acquisito una primitiva di "spinta cassetto chiuso" da uno stato iniziale Out-of-Distribution (OOD) (cassetto già aperto). Ha ottenuto il 100% di successo nella chiusura del cassetto mantenendo la capacità di aprirlo.
• Mondo Reale (Avvitamento e Versamento):
  • Avvitamento: INSIGHT ha raggiunto il 92% di successo end-to-end nell'apertura del tappo di una bottiglia, rispetto al 32% di un baseline Code-as-Policies (CaP-X) e allo 0% di un VLA standard fine-tuned ($\pi0.5$).
  • Versamento: INSIGHT ha raggiunto il 96% di successo nel versare fagioli, contro il 16% di CaP-X.
  • Composizione: Per un compito complesso di 14 primitive "avvita-e-versa", INSIGHT ha raggiunto l'80% di successo end-to-end, superando significativamente CaP-X (4%).
  • Efficienza: INSIGHT ha richiesto sostanzialmente meno tempo di esecuzione (wall-clock time) per prova rispetto a CaP-X (ad esempio, 13.6s contro 41.5s per l'avvitamento) perché esegue primitive apprese invece di ragionare su ogni singolo passaggio al tempo di test.
• Mondo Reale (Spazzare): Partendo solo da dimostrazioni di scavo (scooping), INSIGHT ha acquisito una primitiva di spinta laterale per spazzare i detriti, avendo successo in 5/5 prove di valutazione.
• Ritenzione delle Competenze: In tutti gli esperimenti, il VLA unificato ha mantenuto il 100% delle prestazioni sulle sue abilità base originali dopo l'acquisizione di nuove primitive.

Significato e Rivendicazioni

L'articolo sostiene che la pilotabilità delle primitive fornisce una base pratica per l'acquisizione continua di competenze nelle politiche VLA. Decoupling (scollegando) le competenze in primitive compostive e pilotabili, INSIGHT permette ai robot di:

• Identificare esattamente quali capacità mancano per un nuovo compito.
• Acquisire autonomamente quelle specifiche competenze mancanti attraverso la pratica.
• Integrare nuove competenze in una politica unificata senza il forgetting catastrofico delle abilità precedenti.

Gli autori posizionano questo lavoro come un passaggio dal trattare i VLM meramente come pianificatori al tempo di test, all'uso degli stessi come agenti attivi in un ciclo di acquisizione dati che espande costantemente il set di abilità del robot. Questo approccio offre una via verso robot che possono adattarsi a nuovi ambienti (come l'esempio del rover su Marte) senza il costo proibitivo di raccogliere nuove dimostrazioni umane per ogni nuovo comportamento.

Limitazioni segnalate dagli autori:

• L'acquisizione delle primitive è attualmente limitata a movimenti su singolo asse.
• Il sistema filtra le esecuzioni di successo; l'integrazione dell'analisi dei fallimenti potrebbe migliorare l'efficienza del campionamento.
• L'intervento umano è ancora richiesto per il reset dell'ambiente tra le esecuzioni.
• Il metodo non è ancora stato testato su embodiment ad alto grado di libertà (DOF) come umanoidi o manipolatori mobili.