Riepilogo Tecnico: Addestramento Ibrido per Modelli Visione-Linguaggio-Azione

Enunciato del Problema

I modelli Visione-Linguaggio-Azione (VLA) sono emersi come un approccio promettente per il controllo robotico generalista, sfruttando grandi Modelli Visione-Linguaggio (VLM) pre-addestrati e perfezionati su dataset robotici. Tuttavia, esiste un collo di bottiglia significativo tra le prestazioni e l'efficienza dell'inferenza. Strategie recenti, come la Catena di Pensiero Incorporata (ECoT), migliorano le prestazioni addestrando i modelli a generare "pensieri" linguistici intermedi (tracce di ragionamento) prima di eseguire le azioni. Sebbene questi output intermedi migliorino la pianificazione e la generalizzazione dell'agente, aumentano significativamente la latenza di inferenza. Nella manipolazione robotica reale, dove i compiti richiedono lunghe sequenze di azioni, questo ritardo impatta negativamente sull'usabilità e sulla frequenza di controllo.

La domanda centrale affrontata da questo lavoro è: la generazione di lunghe catene di pensiero è un prerequisito rigoroso per ottenere miglioramenti delle prestazioni nei VLA? Gli autori ipotizzano che i guadagni di prestazioni derivanti dalla Catena di Pensiero (CoT) non derivino dalla generazione di pensieri al momento del test, ma dall'interiorizzazione dei pattern di ragionamento durante l'addestramento. Propongono che i modelli possano sviluppare un'"intuizione esperta" (analoga al pensiero di Sistema 1 nella cognizione umana) che permette loro di prevedere le azioni direttamente con alta accuratezza, avendo appreso dalle tracce di ragionamento durante la fase di addestramento.

Metodologia: Addestramento Ibrido (HyT)

Il documento introduce l'Addestramento Ibrido (HyT), un framework progettato per permettere ai VLA di apprendere dalle tracce di ragionamento mantenendo la capacità di eseguire inferenze di azioni rapide e dirette.

Concetto Chiave

HyT tratta il VLA come un singolo modello capace di apprendere multiple distribuzioni condizionate basate su una variabile di modalità ($m$). Invece di addestrare modelli separati per il "pensare" (ECoT) e l'"agire" (VLA standard), HyT ottimizza congiuntamente un unico insieme di parametri ($\theta$) per gestire tre modalità distinte:

1. Modalità Azione ($m_a$): Il modello prevede le azioni direttamente, condizionato solo dall'osservazione e dalla descrizione del compito ($p(a_t | x_t, l)$). Questo imita l'inferenza VLA standard.
2. Modalità Pensiero ($m_\tau$): Il modello prevede prima pensieri intermedi ($\tau_t$) e poi le azioni condizionate su quei pensieri ($p(a_t, \tau_t | x_t, l)$), simile all'ECoT.
3. Modalità Seguito ($m_f$): Il modello prevede le azioni condizionate su pensieri/istruzioni forniti da una fonte esterna (ad esempio, un umano o un oracolo), agendo come una politica di basso livello in un sistema gerarchico ($p(a_t | x_t, \tau_t, l)$).

Obiettivo di Addestramento

L'obiettivo di addestramento è formulato come una somma pesata delle perdite di verosimiglianza negativa per ciascuna distribuzione:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

Per evitare di ridurre la variabilità del batch (ciò che accadrebbe se ogni punto dati includesse tutte e tre le modalità), gli autori impiegano una stima Monte Carlo. Durante l'addestramento, per ogni batch, il modello campiona input e output secondo le probabilità definite dai coefficienti ($w_\alpha, w_\tau, w_f$). Negli esperimenti, gli autori utilizzano i coefficienti $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$, dando priorità alla distribuzione "pensiero" per massimizzare il segnale di apprendimento dalle tracce di ragionamento.

Flessibilità di Inferenza

Al momento del test, la variabile di modalità viene impostata esplicitamente per controllare il comportamento del modello:

• Predefinito (Azione): Il modello viene istruito con $m = \langle act \rangle$ per produrre azioni direttamente. Questo mantiene la velocità di inferenza dei VLA standard (circa 3 Hz su GPU A100) beneficiando al contempo delle conoscenze interiorizzate durante l'addestramento.
• Modalità Alternative: Il modello può essere commutato alla modalità "pensiero" per l'interpretabilità o alla modalità "seguito" per eseguire istruzioni dettagliate fornite da un oracolo o da un umano.

Contributi Chiave

1. Framework HyT: Una strategia di addestramento innovativa che unifica l'addestramento VLA standard, l'ECoT e l'istruzione gerarchica in un'unica architettura di modello.
2. Disaccoppiamento di Addestramento e Inferenza: La dimostrazione che i modelli possono apprendere dalle tracce di ragionamento (CoT) durante l'addestramento ma eseguire azioni direttamente durante l'inferenza, "distillando" efficacemente il processo di ragionamento nelle rappresentazioni interne del modello senza incorrere in latenza di inferenza.
3. Modalità di Inferenza Flessibili: La capacità di commutare dinamicamente tra previsione diretta delle azioni, generazione di pensieri e seguito delle istruzioni all'interno dello stesso modello, offrendo un compromesso tra velocità e interpretabilità.
4. Validazione Empirica: Valutazione estesa su benchmark simulati (ClevrSkills, LIBERO) e compiti robotici reali (UFactory xArm 6).

Risultati Sperimentali

Benchmark Simulati

• ClevrSkills: I modelli addestrati con HyT hanno costantemente superato i VLA standard e generalmente hanno superato le linee di base ECoT e gerarchiche (HiRobot) su tutte le dimensioni dei dataset (da 300 a 3000 dimostrazioni). Notabilmente, HyT ha mostrato i guadagni più significativi su compiti complessi a lungo orizzonte.
  • Velocità di Inferenza: HyT e VLA standard hanno raggiunto ~3 Hz, mentre ECoT era 3 volte più lento e HiRobot 4 volte più lento.
  • Efficienza dei Dati: I modelli HyT addestrati su piccoli dataset (300 dimostrazioni) hanno mostrato prestazioni superiori rispetto alle linee di base, suggerendo che la distribuzione "pensiero" fornisce un forte segnale di addestramento quando i dati sono scarsi.
• LIBERO: Quando combinato con la ricetta OFT (Ottimizzazione del Fine-Tuning), HyT ha raggiunto risultati all'avanguardia, in particolare nelle suite di compiti "Goal" e "Long", superando altri approcci basati su CoT e VLA standard.

Esperimenti nel Mondo Reale

• Setup: Gli esperimenti sono stati condotti su un UFactory xArm 6 con una pinza a due dita.
• Prestazioni: HyT ha superato significativamente la linea di base OpenVLA, raggiungendo un tasso di successo complessivo del 63% rispetto al 41% di OpenVLA.
• Generalizzazione: Il divario di prestazioni è stato più pronunciato nei compiti Out-of-Distribution (OOD) (54% vs 29%), indicando che HyT migliora la capacità del modello di generalizzare a nuove disposizioni di oggetti e scenari.
• Analisi Qualitativa: I modelli HyT hanno dimostrato maggiore precisione nel raggiungere le posizioni di presa e posizionamento e meno errori nella selezione degli oggetti rispetto a OpenVLA.

Studi di Ablazione

• Coefficienti: La distribuzione "pensiero" è risultata critica per i piccoli dataset, mentre la distribuzione "seguito" ha migliorato le prestazioni quando al modello era richiesto di seguire istruzioni esterne di un oracolo.
• Modalità di Inferenza: Nelle impostazioni valutate, le modalità "azione" e "pensiero" hanno prodotto prestazioni simili, supportando l'ipotesi che la generazione di pensieri intermedi non sia strettamente necessaria al momento del test per compiti di manipolazione primitiva.

Significato e Affermazioni

Il documento afferma che l'utilità primaria delle tecniche CoT nei VLA è migliorare le rappresentazioni apprese del modello piuttosto che servire come passo intermedio obbligatorio durante l'esecuzione. Interiorizzando i pattern di ragionamento, il modello sviluppa un'"intuizione esperta" che permette un controllo robusto ad alta frequenza.

Gli autori posizionano HyT come una soluzione scalabile che colma il divario tra ragionamento ad alte prestazioni e controllo robotico in tempo reale. Sostengono che, sebbene compiti complessi che richiedono memoria avanzata o ragionamento possano ancora beneficiare della CoT al momento del test, molti compiti standard di manipolazione possono essere risolti in modo robusto con bassi costi di inferenza sfruttando HyT. Il framework offre un percorso pratico per il dispiegamento di VLA ad alte prestazioni in ambienti reali dove la latenza è critica, senza sacrificare i benefici di generalizzazione dell'addestramento basato sul ragionamento.