Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation

Sintesi Tecnica: Riconsiderare la Ridondanza dei Parametri nei Modelli Vision-Language-Action

Definizione del Problema
I modelli Vision-Language-Action (VLA) hanno fatto progredire l'intelligenza incarnata adattando i modelli Vision-Language (VLM) pre-addestrati su larga scala a compiti di controllo robotico. Tuttavia, questi modelli ereditano scale di parametri massicce, creando carichi computazionali e di archiviazione significativi. Gli attuali sforzi di ottimizzazione dell'efficienza, in particolare la potatura dei parametri (parameter pruning), affrontano un collo di bottiglia critico: i modelli VLA mostrano un'estrema sensibilità alla rimozione dei parametri. Anche una potatura moderata spesso porta a un "cliff di prestazioni" (performance cliff), rendendo necessari meccanismi di recupero post-hoc come il Supervised Fine-Tuning (SFT) o la Low-Rank Adaptation (LoRA) per ripristinare la funzionalità.

Gli autori mettono in discussione l'attuale paradigma ingegneristico che tratta questa degradazione delle prestazioni come un costo inevitabile della potatura. Sostengono che il diffuso affidamento sul recupero maschera un problema fondamentale: se un modello potato deve ri-apprendere a funzionare, i parametri rimossi erano probabilmente non ridondanti ma vitali. Ciò solleva la questione se gli attuali criteri di potatura rimuovano indiscriminatamente parametri critici che subiscono una riorganizzazione funzionale durante il processo di adattamento da VLM a VLA.

Metodologia
Il documento propone un framework diagnostico che inquadra la potatura dei VLA non come un obiettivo di ottimizzazione, ma come un intervento controllato per analizzare i ruoli funzionali dei parametri. La metodologia si compone di tre componenti principali:

1. Quantificazione dei Segnali di Adattamento: Gli autori definiscono la divergenza relativa dei parametri ($\Delta W$) tra i pesi del VLM pre-addestrato ($W^{VLM}$) e i pesi del VLA adattato ($W^{VLA}$). Visualizzano la distribuzione spaziale di questa divergenza attraverso diversi moduli (Encoder Visivi, Backbone del Linguaggio e Proiettori Cross-Modali) per identificare pattern strutturati piuttosto che rumore casuale.
2. Potatura Controllata come Sonda Diagnostica: Per stabilire un legame causale tra i segnali di divergenza e l'importanza funzionale, gli autori introducono un protocollo di valutazione "senza recupero" (recovery-free). Applicano la potatura direttamente al modello senza successivo fine-tuning. Confrontano due strategie:
   • Potatura con massima differenza: Rimozione dei parametri con la maggiore $|\Delta W|$.
   • Potatura con minima differenza: Rimozione dei parametri con la minore $|\Delta W|$.
     Osservando l'impatto immediato sui tassi di successo del compito (SR), determinano quali segnali di divergenza correlano con la ridondanza.
3. Schema di Potatura Congiunta Multi-Modulo: Sulla base della scoperta che i segnali di ridondanza variano significativamente tra i moduli (eterogeneità modulare), gli autori progettano una strategia di potatura differenziata. Questo schema applica regole di potatura specifiche a Encoder Visivi, Backbone del Linguaggio e Proiettori basandosi sulle loro uniche caratteristiche di divergenza, con l'obiettivo di ridurre i parametri senza innescare il collasso delle prestazioni.

Contributi Chiave

1. Framework Diagnostico: Gli autori introducono un nuovo framework che tratta la potatura come un intervento controllato per collegare causalmente la divergenza indotta dall'adattamento con l'importanza funzionale dei parametri, disaccoppiando l'identificazione della ridondanza dal recupero delle prestazioni.
2. Rivelazione della "Trappola del Recupero": Lo studio dimostra che l'attuale affidamento sul recupero post-potatura nasconde la rimozione indiscriminata di parametri vitali. Dimostrano che i segnali $\Delta W$ esibiscono una forte eterogeneità modulare, il che significa che una strategia di potatura uniforme è inefficace.
3. Strategia di Potatura Senza Recupero: Propongono uno schema di potatura congiunta multi-modulo che sfrutta i segoli di adattamento per ottenere una compressione significativa (riduzione dei parametri del 12%–30%) mantenendo circa il 90% delle prestazioni originali, interamente senza fine-tuning o compensazione post-potatura.

Risultati Sperimentali
L'approccio è stato valutato sul benchmark LIBERO utilizzando due coppie di modelli rappresentativi: OpenVLA (basato su Prismatic/Llama-2) e $\pi0.5$ (basato su PaLI-Gemma).

• Validazione delle Ipotesi:
  • Ipotesi I: Gli esperimenti hanno confermato che i modelli che richiedono il recupero dopo la potatura avevano probabilmente perso parametri vitali. I modelli potati usando le strategie "Lowest-diff" sono crollati immediatamente (es. 0.0% SR) ma si sono recuperati dopo il fine-tuning LoRA, provando che i parametri rimossi non erano ridondanti.
  • Ipotesi II & III: L'utilità dei segnali $\Delta W$ varia per modulo. Ad esempio, in DINOv2 di OpenVLA, la potatura delle teste di attenzione con massima differenza ha causato il collasso, mentre la potatura dei canali FFN con minima differenza ha causato il collasso. Al contrario, nel modulo Proiettore, entrambe le strategie hanno portato al collasso, indicando che si tratta di un collo di bottiglia fragile che richiede protezione.
  • Ipotesi IV: Lo schema multi-modulo proposto ha ridotto con successo i parametri senza recupero.
• Metriche di Prestazione:
  • OpenVLA: La configurazione "Moderate" ha ridotto i parametri da 7.5B a 6.2B (12.4GB di memoria) mantenendo un tasso di successo medio del 62.3% su LIBERO, rispetto a un fallimento catastrofico (1.0% SR) per i metodi baseline come LLM-Pruner nelle stesse condizioni di assenza di recupero.
  • $\pi0.5$: La configurazione "Moderate" ha ridotto la memoria da 7.3GB a 5.6GB, mantenendo un tasso di successo medio dell'89.0% (rispetto a un baseline del 96.9%), mentre i criteri esistenti portavano al totale collasso delle prestazioni.

Significatività e Rivendicazioni
Il documento sostiene di fornire una nuova strada per l'implementazione di policy robotiche efficienti e robuste in ambienti con risorse limitate. Spostando l'attenzione da "come potare di più e recuperare" a "come identificare la vera ridondanza tramite i segnali di adattamento", gli autori dimostrano che i modelli VLA contengono una ridondanza significativa e strutturata che può essere rimossa in sicurezza senza costosi meccanismi di recupero. Lo studio suggerisce che comprendere l'evoluzione dei parametri dalla percezione generale all'azione incarnata è cruciale per l'efficiente implementazione dei VLA, offrendo un'alternativa rigorosa all'attuale paradigma "potatura e poi recupero".