🤖 AI

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think

Questo articolo introduce una pipeline di compressione strutturale senza addestramento che identifica e rimuove gli strati ridondanti nei modelli Vision-Language-Action, ottenendo una riduzione della profondità fino al 50% e un'accelerazione significativa sia nell'addestramento che nell'inferenza, mantenendo o migliorando le prestazioni in diversi compiti robotici.

Autori originali: Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le, Daniel So

Pubblicato 2026-06-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tuan Dam, Vu Duong, Tung M. Luu, Trung Le, Tran Nguyen Le, Minh Vu, An Thai Le, Ngan Le, Daniel Sonntag, James Zou, Jan Peters, Duy M. H. Nguyen, Ngo Anh Vien

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico gigante e super-intelligente. Questo cervello è un modello "Vision-Language-Action" (VLA). Può vedere il mondo, comprendere le tue istruzioni vocali e capire esattamente come muovere le sue braccia per fare cose come piegare una maglietta o prendere una tazza.

Il problema è che questi cervelli sono giganteschi. Sono così grandi che addestrarli richiede giorni di tempo su un supercomputer e farli funzionare in tempo reale è come cercare di guidare una Ferrari attraverso un mercato affollato: è lento, costoso e richiede molta benzina (potenza di calcolo).

Gli autori di questo articolo si sono posti una domanda semplice: "Abbiamo davvero bisogno di tutto quel cervello?"

La Grande Scoperta: L'Effetto "Camera dell'Eco"

I ricercatori hanno guardato dentro questi cervelli robotici giganti e hanno scoperto qualcosa di sorprendente. Hanno scoperto che questi cervelli sono pieni di ridondanza.

Pensa al cervello come a una lunga catena di montaggio con 50 operai (livelli/layer).

Operaio 1 guarda l'oggetto.
Operaio 2 lo guarda di nuovo e dice: "Sì, è una tazza".
Operaio 3 lo guarda e dice: "È ancora una tazza".
Operaio 4 dice: "Decisamente una tazza".

I ricercatori hanno scoperto che, per lunghi tratti della catena di montaggio, gli operai stanno solo ripetendo ciò che ha detto l'operaio precedente. Non stanno aggiungendo nulla di nuovo; stanno solo facendo l'eco della stessa informazione. In termini tecnici, hanno scoperto che i livelli consecutivi producono "pensieri" (rappressioni) quasi identici.

La Soluzione: Le Forbici "CKA"

Inve invece di tenere tutti i 50 operai, il team ha inventato un metodo chiamato CLP (CKA-guided Layer Pruning).

Immagina di avere un paio di forbici intelligenti che possono ascoltare la catena di montaggio. Le forbici usano uno strumento chiamato Centered Kernel Alignment (CKA) per misurare quanto due operai stiano dicendo la stessa cosa.

Se l'Operaio 5 e l'Operaio 6 dicono esattamente la stessa cosa, le forbici li tagliano fuori.
La linea viene ricongiunta in modo che l'Operaio 4 passi il messaggio direttamente all'Operaio 7.

Fondamentalmente, questo non richiede di riaddestrare l'intero cervello da zero. È un "ritaglio" una tantum eseguito prima che il robot impari un nuovo compito specifico.

I Risultati: Più Piccoli, Più Veloci e Più Intelligenti

Dopo aver tagliato il grasso, i risultati sono stati impressionanti:

Il Cervello è Diventato Più Piccolo: Hanno rimosso fino al 50% dei livelli. È come trasformare un grattacielo di 50 piani in uno di 25 piani, ma l'edificio resta forte quanto prima.
L'Addestramento è Diventato Più Veloce: Poiché il modello è più piccolo, insegnargli un nuovo compito ha richiesto il 40–50% di tempo in meno. Se un compito richiedeva 20 ore per essere imparato, ora ne richiede circa 10.
Velocità in Tempo Reale: Il robot può ora pensare e muoversi circa il 30% più velocemente nella vita reale.
Prestazioni Migliori in Alcuni Casi: Sorprendentemente, in situazioni in cui il robot non aveva molti dati da cui imparare (come vedere un compito solo 100 volte), il cervello più piccolo si è comportato meglio del gigante.
- L'Analogia: Pensa allo studiare per un esame. Se hai un libro di testo enorme e confuso (il modello grande), potresti sentirti sopraffatto e memorizzare le cose sbagliate (overfitting). Se hai un riassunto conciso e chiaro (il modello potato), ti concentri sui fatti più importanti e ottieni risultati migliori nel test.

Dove lo Hanno Testato

Non lo hanno testato solo in una simulazione al computer. Lo hanno provato su:

Robot Virtuali: In mondi di videogiochi come LIBERO e RoboCasa.
Robot Reali: Braccia fisiche reali (come i robot UR10 e ALOHA) in un vero laboratorio, mentre svolgono compiti come piegare pantaloncini, servire tovaglioli e impilare blocchi.

Il Punto Fondamentale

L'articolo dimostra che questi cervelli robotici avanzati sono "sovradimensionati". Hanno molti più livelli di quanti ne abbiano effettivamente bisogno per fare il lavoro. Usando un metodo semplice, che non richiede addestramento, per tagliare via i livelli ripetitivi, possiamo rendere i robot più economici da addestrare, più veloci da eseguire e altrettanto bravi (o anche migliori) nel loro lavoro.

In breve: Non serve un cervello a 50 livelli per piegare una maglietta; un cervello snello a 25 livelli fa il lavoro egregiamente, e lo fa anche più velocemente.

Sintesi Tecnica: Il Fine-tuning di Modelli Vision-Language-Action Richiede Meno Layer di Quanti si Pensi

Definizione del Problema

I modelli Vision-Language-Action (VLA), come $\pi_0$ e GR00T-N1.5, hanno rivoluzionato la manipolazione robotica sfruttando un massiccio pre-training su dataset video-robot per generare politiche di controllo continuo. Tuttavia, queste architetture allo stato dell'arte (SOTA) tipicamente si estendono su miliardi di parametri, creando severi colli di bottiglia computazionali. Questi colli di bottiglia si manifestano come costi hardware proibitivi durante il fine-tuning a valle, latenza operativa elevata e un pesante overhead di memoria-banda che limita l'inferenza in tempo reale sull'edge.

Le strategie di ottimizzazione esistenti affrontano tre criticità fondamentali:

Ambito Limitato: Molti metodi si concentrano su vecchi baseline autoregressivi basati su token testuali (es. OpenVLA), piuttosto che sui moderni fondamenti a controllo continuo.
Inefficienza dell'Addestamento: I metodi senza addestramento (es. token pruning, caching) spesso accelerano l'inferenza, ma non riescono a ridurre il costo computazionale della fase di fine-tuning a valle, che è estremamente onerosa.
Complessità Architetturale: I metodi adattivi all'addestramento (es. routing dinamico, early exiting) introducono moduli ausiliari e obiettivi di addestramento complessi, alterando la struttura centrale del modello e creando attrito con gli algoritmi di apprendimento a valle.

La domanda centrale affrontata è se i layer ridondanti possano essere rimossi prima del fine-tuning senza sacrificare le prestazioni della policy.

Metodologia: CKA-Guided Layer Pruning (CLP)

Gli autori propongono CLP, una pipeline di compressione strutturale che è interamente priva di addestramento e non richiede moduli di routing ausiliari. L'intuizione fondamentale è che i moderni backbone VLA esibiscono una severa ridondanza rappresentazionale layer-wise, dove blocchi transformer consecutivi producono rappresentazioni di token altamente correlate.

Il framework CLP opera come segue:

Diagnosi della Ridondanza: Utilizzando un set di calibrazione compatto campionato da episodi di addestramento, il metodo esegue un singolo passaggio forward per estrarre le rappresentazioni degli stati nascosti.
Misurazione della Similarità: Impiega l'Allineamento del Kernel Centrato (CKA) per quantificare la similarità rappresentazionale tra layer adiacenti. Il CKA è stato scelto per la sua invarianza alle trasformazioni ortogonali e alla scalatura isotropa, rendendolo robusto nell'identificare ridondanze strutturali.
Identificazione dei Layer: Alti punteggi CKA tra layer consecutivi indicano una trasformazione delle feature minima. Il metodo aggrega i layer ridondanti adiacenti in blocchi contigui.
Pruning Statico: All'interno di ogni blocco ridondante, tutti i layer eccetto il layer "ancora funzionale" iniziale vengono rimossi permanentemente. Questo processo è applicato indipendentemente sia al backbone del Vision-Language Model (VLM) che alla testa della policy di controllo continuo.
Adattamento a Valle: Il modello compresso risultante viene sottoposto a fine-tuning sul task target utilizzando l'obiettivo di addestramento nativo. Non sono richiesti loss di distillazione o modifiche architettoniche.

Contributi Chiave

Adattamento Accessibile di SOTA VLA: Il paper dimostra che i fondamenti a controllo continuo SOTA ( $\pi_0$ , GR00T-N1.5) possono essere sottoposti a fine-tuning con una profondità sostanzialmente ridotta, abbassando i costi di memoria, addestramento e inferenza senza introdurre moduli di routing ausiliari o di early-exit.
Compressione del Backbone Pre-Finetuning: L'introduzione di CLP, un semplice framework basato su calibrazione che identifica e rimuove i blocchi transformer rappresentazionalmente ridondanti utilizzando il CKA prima dell'adattamento a valle.
Validazione Multi-Embodiment Diversificata: Valutazioni estese attraverso tre benchmark di simulazione (LIBERO, RoboCasa, SimplerEnv) e 10 task di manipolazione nel mondo reale che spaziano su quattro embodiment robotici (UR10, UR5, ALOHA a braccio singolo, ALOHA bimanuale).

Risultati Sperimentali

Gli autori validano CLP in contesti di simulazione e del mondo reale, riportando i seguenti risultati chiave:

Efficienza di Compressione: CLP riduce la profondità del modello fino al 50% e i parametri addestrabili dal 25% al 37% attraverso diversi backbone ( $\pi_0$ $π_{0}$ , GR00T-N1.5, SmolVLA).
- Velocità di Addestramento: Raggiunge una riduzione del tempo di addestramento del 40–50% (es. 1.94 $\times$ più veloce nei task del mondo reale).
- Velocità di Inferenza: Garantisce un'inferenza in tempo reale fino al 30% più veloce.
- FLOPs: Riduce il costo computazionale fino al 50% (es. riduzione del 49.3% per GR00T-N1.5).
Ritenzione delle Prestazioni: Nonostante il significativo pruning, l'architettura snellita eguaglia o supera le prestazioni dei modelli base a scala intera.
- In simulazione (LIBERO), CLP mantiene tassi di successo competitivi riducendo i parametri addestrabili di circa il 30%.
- Nelle implementazioni nel mondo reale, CLP migliora i tassi di successo medi (es. dal 73.5% al 75.9% su GR00T-N1.5) e supera i modelli completi in task specifici come il servire il tovagliolo (+20%) e il posizionamento del cacciavite (+15%).
Effetto di Regolarizzazione: Nei regimi con scarsità di dati, la compressione strutturale agisce come un efficace regolarizzatore. Ad esempio, limitare l'addestramento al 10% dei dati LIBERO ha elevato i tassi di successo dal 77.7% all'84.6% con CLP, superando sia il baseline completo che i metodi di routing dinamico come MoLe-VLA.
Confronto con i Baseline: CLP supera i metodi di token pruning senza addestramento (che non riducono i costi di fine-tuning) e i metodi adattivi all'addestramento (che aggiungono complessità) sia in termini di efficienza che di efficienza campionaria.

Significato e Rivendicazioni

Il paper sostiene che i VLA avanzati richiedono significativamente meno layer di quanto precedentemente assunto. Rivelando una "caratteristica architettonica altamente non banale" di severa ridondanza tra i layer, il lavoro offre un paradigma altamente efficiente dal punto di vista computazionale per l'apprendimento robotico scalabile.

Gli autori sottolineano che il loro approccio è "strutturalmente pulito", evitando l'attrito del routing dinamico o delle pipeline di distillazione. Argomentano che rimuovere i layer ridondanti non solo accelera l'addestramento e l'inferenza, ma regolarizza implicitamente il modello, prevenendo l'overfitting nei regimi a bassi dati. Le conclusioni suggeriscono uno spostamento dall'assunto che architetture VLA in continua crescita siano necessarie, puntando invece verso policy fondazionali più efficienti e sostenibili che possono essere adattate con un overhead computazionale minimo.