💻 computer science

DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization

Questo articolo introduce DyGRO-VLA, un framework di ottimizzazione in due fasi che migliora la generalizzabilità dei modelli Vision-Language-Action attraverso diversi compiti catturando rappresentazioni latenti inter-attività e affinando dinamicamente l'ottimizzazione della politica attraverso una miscela di residui RL, mitigando così l'interferenza e migliorando le prestazioni in presenza di spostamenti della distribuzione.

Autori originali: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot a essere un "maestro di tutti i mestieri". Vuoi che sappia cucinare, pulire, riparare un rubinetto che perde e costruire una mensola, tutto utilizzando lo stesso cervello. Questo è l'obiettivo dei modelli VLA (Vision-Language-Action): robot che possono vedere, comprendere il linguaggio e muovere le braccia per fare cose.

Tuttavia, c'è un grosso problema. Quando i ricercatori cercano di migliorare questi robot utilizzando l'Apprendimento per Rinforzo (RL)—un metodo in cui il robot impara per tentativi ed errori, ottenendo una "ricompensa" per il successo—spesso si imbattono in un paradosso.

Il Problema: La Trappola dello "Specialista"

Pensa al cervello del robot come a una biblioteca di conoscenze. Quando lo addestri per la prima volta, impara regole generali (come "afferra l'oggetto"). Ma quando inizi a usare il RL per insegnargli un compito specifico, come "impila i blocchi rossi", il robot si concentra così tanto su quel singolo lavoro che inizia a riscrivere la propria biblioteca.

È come uno studente che studia così tanto per un esame di matematica da dimenticare come leggere. Il documento definisce questo fenomeno "Dimenticanza Catastrofica".

Il Vecchio Modo: Se addestri il robot su 10 compiti diversi, diventa bravo in uno ma dimentica gli altri nove. Più compiti aggiungi, peggio va nel complesso. È come cercare di fare giocoleria con 20 palline; alla fine le lasci cadere tutte perché il tuo cervello sta cercando di essere uno specialista in troppe cose contemporaneamente.

La Soluzione: DyGRO-VLA

Gli autori propongono un nuovo metodo chiamato DyGRO-VLA. Per capire come funziona, immagina uno Chef Maestro che gestisce una cucina affollata.

Fase 1: Lo "Chef Maestro" (Pre-addestramento Offline)

Prima, il robot impara da una vasta biblioteca di video che mostrano esseri umani che svolgono ogni sorta di compito.

Il Trucco: Invece di memorizzare semplicemente ogni video, il robot impara a filtrare il "rumore". Ignora le cose che non contano per il movimento (come il colore delle pareti o l'illuminazione) e si concentra solo sulle informazioni essenziali (dove si trova la tazza, quanto è pesante).
L'Analogia: È come lo Chef Maestro che impara i fondamentali della cucina. Impara che "il calore scioglie il formaggio" e che "i coltelli tagliano", indipendentemente dal fatto che stia preparando una pizza o una zuppa. Questo crea una base condivisa che funziona per tutto.

Fase 2: Il "Team di Specialisti" (Affinamento Online)

Ora, il robot ha bisogno di migliorare in compiti specifici nel mondo reale. Invece di riscrivere il cervello dello Chef Maestro, DyGRO-VLA aggiunge un team di assistenti specializzati (chiamati "Esperti Residui").

Come funziona: Lo Chef Maestro (il modello di base) fa una previsione su cosa fare. Poi, un "router" (come un capo cuoco) guarda il compito corrente e chiede: "Chi è il miglior assistente per questo specifico lavoro?"
- Se il compito è "impilare le ciotole", il router chiama l'"Assistente per l'Impilamento".
- Se il compito è "inchiodare un chiodo", il router chiama l'"Assistente per l'Inchiodatura".
La Magia: Questi assistenti apportano solo piccole correzioni (residui) al piano dello Chef Maestro. Non riscrivono l'intero libro; aggiungono solo un post-it che dice: "Sposta la mano di 2 pollici a sinistra".
Perché aiuta: Poiché il cervello dello Chef Maestro rimane per lo più intatto, il robot non dimentica come fare gli altri compiti. L'"Assistente per l'Impilamento" non interferisce con l'"Assistente per l'Inchiodatura". Lavorano insieme senza calpestarsi i piedi.

I Risultati

I ricercatori hanno testato questo metodo su due grandi sfide robotiche:

LIBERO: Una suite di test digitale con 130 compiti diversi (come spostare oggetti, impilare e sequenze lunghe di azioni).
RoboTwin2: Un test nel mondo reale con un robot a due bracci.

L'Esito:

Meglio degli altri: DyGRO-VLA ha battuto tutti gli altri metodi principali. Sui compiti più difficili (sequenze lunghe di azioni), ha migliorato i tassi di successo di quasi il 10%.
Successo nel mondo reale: Quando hanno portato il robot dalla simulazione al computer a un robot fisico reale, ha comunque performato meglio della concorrenza, completando con successo compiti come raccogliere bottiglie e impilare ciotole.

Riassunto

In termini semplici, i metodi precedenti cercavano di trasformare il robot in uno "super-specialista" per ogni singolo compito, il che gli faceva dimenticare tutto il resto. DyGRO-VLA mantiene il robot come un "generalista" (lo Chef Maestro) e assume semplicemente un team dinamico di specialisti per aiutare solo quando necessario. In questo modo, il robot migliora in tutto senza dimenticare come fare qualcos'altro.

Riepilogo Tecnico: DyGRO-VLA

1. Enunciato del Problema

Il documento affronta un collo di bottiglia critico per la scalabilità nell'addestramento di modelli Vision-Language-Action (VLA) per la manipolazione robotica generalista. Sebbene i recenti progressi nell'Apprendimento per Rinforzo (RL) abbiano migliorato la precisione del controllo e i tassi di successo per singoli compiti, l'applicazione del RL post-addestramento a scenari multi-compito spesso porta a dimenticanza catastrofica e interferenza tra compiti.

Un'analisi empirica sul benchmark LIBERO rivela che, all'aumentare del numero di compiti, gli ottimizzatori RL standard (ad es. Soft Actor-Critic) peggiorano nelle prestazioni. Nello specifico:

Distorsione della Rappresentazione: Il fine-tuning RL su singolo compito distorce lo spazio delle caratteristiche condiviso appreso durante il pre-addestramento, isolando le esperienze specifiche del compito e riducendo l'allineamento con gli altri compiti.
Degrado delle Prestazioni: I modelli ottimizzati per compiti specifici spesso subiscono cali significativi delle prestazioni su compiti non correlati, e l'addestramento RL multi-compito diventa sempre più instabile all'aumentare del numero di compiti.
Il Trade-off: Esiste un conflitto fondamentale tra il raggiungimento di un'alta destrezza su compiti specifici e il mantenimento della generalizzabilità tra compiti richiesta per i robot generalisti.

2. Metodologia: DyGRO-VLA

Per risolvere il trade-off tra destrezza e generalizzabilità, gli autori propongono DyGRO-VLA (Ottimizzazione Residuale Raggruppata Dinamica), un framework di ottimizzazione in due fasi.

Fase 1: Pre-addestramento Offline con Collo di Bottiglia dell'Informazione (IB)

La prima fase si concentra sull'apprendimento di una rappresentazione latente condivisa e robusta tra i compiti $p(z|o)$ da dimostrazioni offline.

Architettura: Utilizza un backbone VLM (DINOv2, SigLIP, Qwen2.5-0.5B) per codificare osservazioni visive e istruzioni linguistiche, fusi con dati propriocettivi.
Obiettivo: Il modello viene addestrato utilizzando un obiettivo Variational Information Bottleneck (VIB). Lo scopo è massimizzare l'informazione reciproca tra la rappresentazione latente $Z$ e l'azione $A$ ( $I(Z; A)$ ) minimizzando al contempo l'informazione reciproca tra l'osservazione $O$ e $Z$ ( $I(O; Z)$ ).
Meccanismo: Questo costringe il codificatore a mantenere solo le informazioni rilevanti per il compito (ad es. geometria dell'oggetto, relazioni spaziali) scartando i fattori di disturbo (ad es. disordine di sfondo, illuminazione), creando uno spazio latente compatto adatto alla generalizzazione.
Perdita: Viene derivato un limite inferiore variazionale per rendere l'obiettivo IB trattabile, coinvolgendo un critico neurale $T_\psi$ per stimare i termini di informazione reciproca.

Fase 2: Fine-tuning Online tramite Mixture-of-RL-Residuals (MoRR)

La seconda fase ottimizza la politica per le prestazioni multi-compito senza disturbare la rappresentazione condivisa appresa nella Fase 1.

Apprendimento Residuale: Invece di aggiornare direttamente la politica di base, l'ottimizzatore RL prevede un residuo ( $\Delta a$ ) per rifinire il blocco di azione di base ( $a_{base}$ ). Questo preserva il prior pre-addestrato consentendo al contempo correzioni specifiche per il compito.
Instradamento Dinamico (MoE): Per gestire più compiti, il framework impiega un'architettura Mixture-of-Experts (MoE) con $N$ $N$ esperti residui.
- Embedding dei Compiti: Un obiettivo di apprendimento contrastivo ( $L_{CL}$ ) apprende embedding dei compiti ( $\tilde{z}_T$ ) che codificano pattern di identificazione del compito, distinti dal latente rilevante per la decisione $z$ .
- Router: Una rete di gating condizionata sull'embedding del compito seleziona e pondera dinamicamente i migliori $m$ esperti per un dato compito.
Obiettivi di Addestramento: La perdita totale combina:
1. Perdita RL ( $L_{RL}$ ): Perdita standard attore-critico per la politica aumentata.
2. Perdita Contrastiva ( $L_{CL}$ ): Assicura che gli embedding dei compiti siano discriminativi per l'instradamento.
3. Bilanciamento del Carico ( $L_{LB}$ ): Un regolarizzatore basato sull'entropia per prevenire il collasso degli esperti e garantire un utilizzo equilibrato dell'MoE.
Campionamento Consapevole della Difficoltà: Il processo di addestramento sbilancia il campionamento verso compiti sottorisolti per concentrare l'apprendimento su scenari impegnativi.

3. Contributi Chiave

Analisi delle Limitazioni del RL: Il documento fornisce prove empiriche che dimostrano come il post-addestramento RL standard causi dimenticanza catastrofica e distorsione della rappresentazione negli scenari VLA multi-compito, evidenziando la necessità di preservare le caratteristiche tra i compiti.
Framework DyGRO-VLA: Introduzione di un nuovo framework in due fasi che combina il pre-addestramento con Collo di Bottiglia dell'Informazione e una Mixture dinamica di Residui RL per il fine-tuning online.
Ottimizzazione Raggruppata Dinamica: La progettazione di un meccanismo di instradamento che compone dinamicamente esperti RL specializzati basati su embedding dei compiti, mitigando efficacemente i conflitti di gradiente tra compiti diversi.
Validazione Completa: Valutazione estesa su LIBERO (130 compiti), RoboTwin2 (braccia doppie) e trasferimento Sim2Real nel mondo reale, dimostrando miglioramenti coerenti rispetto ai baseline dello stato dell'arte.

4. Risultati Sperimentali

Gli autori hanno valutato DyGRO-VLA sui benchmark LIBERO e RoboTwin2, confrontandolo con baseline robuste tra cui Octo, OpenVLA, $\pi_0$ e vari metodi di fine-tuning RL.

Benchmark LIBERO:
- DyGRO-VLA ha raggiunto un 97,1% di tasso di successo medio su tutte le suite, superando il modello di base offline del +4,4%.
- È stato osservato un miglioramento notevole sulla suite impegnativa LIBERO-Long, dove i tassi di successo sono aumentati dall'85,2% al 95,0% (+9,8% di guadagno assoluto).
- Ha superato altri baseline basati su RL (ad es. TGRPO, VLA-RL, RIPT-VLA) che hanno faticato con l'addestramento congiunto multi-compito.
Analisi del Conflitto di Gradiente: Le visualizzazioni della similarità del coseno dei gradienti hanno mostrato che, mentre i residui MLP standard presentano forti correlazioni negative (conflitti) tra gruppi di compiti, il MoRR di DyGRO-VLA ha ridotto significativamente questi conflitti mantenendo la sinergia intra-gruppo.
Studi di Ablazione:
- La rimozione dell'obiettivo IB o dell'obiettivo di apprendimento contrastivo ha portato a cali delle prestazioni, confermando la necessità dell'apprendimento di rappresentazioni condivise e dell'instradamento discriminativo.
- L'aumento del numero di esperti (da 1 a 8) ha migliorato costantemente le prestazioni, con 8 esperti che hanno prodotto i migliori risultati.
Mondo Reale (RoboTwin2):
- Nel trasferimento Sim2Real, DyGRO-VLA ha raggiunto il miglior successo generale in simulazione (79,2%) e ha superato le baseline RFT nelle prove nel mondo reale, in particolare su compiti bimanuali complessi e a lungo orizzonte.

5. Significato e Affermazioni

Il documento afferma che DyGRO-VLA offre una soluzione scalabile e robusta per un efficiente fine-tuning multi-compito per rinforzo. Il suo significato principale risiede in:

Preservazione della Generalizzazione: Disaccoppiando l'apprendimento di rappresentazioni condivise dal raffinamento specifico del compito tramite apprendimento residuale, previene l'"overfitting" degli ottimizzatori RL che tipicamente affligge l'addestramento VLA multi-compito.
Colmare il Divario: Colma con successo il divario tra il controllo ad alte prestazioni su singolo compito e le capacità di generalizzazione richieste per i robot generalisti.
Applicabilità Pratica: Il metodo dimostra che politiche RL complesse e multi-compito possono essere trasferite efficacemente a sistemi robotici reali senza dimenticanza catastrofica.

Gli autori riconoscono limitazioni, tra cui la sensibilità alla sparsità delle ricompense durante l'addestramento online, la dipendenza da identità dei compiti note per l'instradamento e la necessità di una valutazione più ampia nel mondo reale su diverse incarnazioni. Tuttavia, posizionano DyGRO-VLA come un passo fondamentale verso sistemi robotici a scopo generale capaci di gestire compiti reali diversificati con un modello unificato.