EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training

1. Il Problema: Il Divario Distributivo tra VLM e VLA

I modelli Vision-Language-Action (VLA) rappresentano l'evoluzione dei modelli fondazionali robotici, unificando percezione visiva, comprensione linguistica e generazione di azioni. Attualmente, la maggior parte dei VLA eredita le proprie capacità visive e linguistiche dai modelli Vision-Language (VLM) pre-addestrati su larga scala.

Tuttavia, esiste un divario fondamentale (gap):

• Disallineamento dei Dati: I dati di pre-addestramento dei VLM (es. captioning, VQA, comprensione documentale) coprono un dominio visivo-linguistico molto ampio e generico. Al contrario, i dati VLA sono specifici per l'interazione fisica e le traiettorie di manipolazione robotica.
• Limitazioni dell'Adattamento Attuale: Semplicemente fare fine-tuning di un VLM su dati robotici non garantisce prestazioni ottimali. I ricercatori hanno scoperto che i dati VLM occupano regioni dello spazio delle rappresentazioni largamente separate dai cluster compatti dei dati VLA. Questo disallineamento distributivo significa che l'inizializzazione fornita dai VLM "fuori scaffale" (off-the-shelf) non è ottimizzata per il ragionamento corporeo (embodied reasoning) richiesto dalla generazione di azioni efficaci.

2. Metodologia: EmbodiedMidtrain

Gli autori propongono EmbodiedMidtrain, un framework di mid-training (addestramento intermedio) progettato per colmare questo divario prima del fine-tuning finale sul compito VLA.

A. Analisi del Divario Distributivo

Prima di tutto, il lavoro caratterizza il divario tra VLM e VLA utilizzando la Maximum Mean Discrepancy (MMD) e la visualizzazione t-SNE.

• I dati VLA formano cluster compatti e separati dalla distribuzione più ampia e dispersa dei dati VLM.
• Tuttavia, all'interno dei dati VLM, esiste un'eterogeneità significativa: alcuni campioni sono intrinsecamente più allineati al dominio VLA rispetto ad altri.

B. Motore di Selezione dei Dati (Data Engine)

Il cuore della metodologia è un motore di selezione basato sulla prossimità:

1. Stimatore di Prossimità (Proximity Estimator): Viene addestrato un classificatore binario leggero su un VLM "congelato" (frozen). Il suo compito è distinguere i campioni VLA (positivi) dai campioni VLM (negativi).
   • L'output del classificatore funge da punteggio continuo che misura quanto un campione VLM sia vicino al dominio VLA.
   • Matematicamente, questo punteggio approssima il rapporto di densità $p_{VLA}(x) / (p_{VLA}(x) + p_{VLM}(x))$.
2. Selezione dei Campioni: Invece di usare tutti i dati VLM disponibili, il sistema seleziona solo il sottoinsieme (top-K) con i punteggi di prossimità più alti.
3. Mid-Training: Il VLM viene ri-addestrato (mid-training) su questo mix curato e allineato al dominio VLA. Questo crea un'inizializzazione più forte rispetto al VLM originale.
4. Fine-Tuning VLA: Infine, il VLM mid-trainato viene utilizzato come backbone per il fine-tuning standard su compiti robotici specifici.

3. Contributi Chiave

1. Pipeline di Mid-Training Basata sulla Prossimità: Introduzione di un metodo sistematico per selezionare i dati VLM più rilevanti per l'embodiment, utilizzando uno stimatore di prossimità apprendibile invece di metriche manuali o selezioni casuali.
2. Miglioramenti Costanti delle Prestazioni: Dimostrazione che il mid-training porta a guadagni significativi e coerenti su diversi benchmark robotici e con diversi backbone VLM (InternVL e Qwen).
3. Analisi delle Dinamiche di Addestramento: Evidenza che il mid-training fornisce un'inizializzazione fondamentalmente migliore. I vantaggi emergono fin dai primi step del fine-tuning e si ampliano nel tempo, a differenza di un semplice "vantaggio iniziale" transitorio.
4. Trasferibilità Cross-Architettura: I dati selezionati utilizzando le caratteristiche di un modello (es. InternVL3.5-1B) migliorano le prestazioni anche su modelli diversi (es. Qwen3VL-2B), suggerendo che la selezione cattura proprietà distributive generali del dominio VLA.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark di manipolazione robotica simulata: Calvin ABC-D, SimplerEnv Bridge e Libero-10.

• Prestazioni Competitive con Modelli Più Grandi: Il modello mid-trainato InternVL3.5-1B (1.1B parametri) supera i modelli VLA esperti (come OpenVLA e $\pi_0$) su Calvin e supera VLM "off-the-shelf" che sono 3-8 volte più grandi (es. Paligemma, KosMos-2) su tutti i benchmark, utilizzando una frazione del budget di addestramento.
• Efficienza: Il modello mid-trainato raggiunge prestazioni competitive con modelli Qwen di grandi dimensioni (fino a 30B parametri) ma con un budget di addestramento drasticamente inferiore.
• Ablation Study:
  • La selezione casuale dei dati non funziona, confermando che non è la quantità di dati aggiuntivi a contare, ma la loro qualità e allineamento.
  • Lo stimatore di prossimità apprendibile supera metriche manuali come la distanza nello spazio delle feature o la perplexità condizionata.
• Analisi dei Dati Selezionati: Il motore di selezione favorisce campioni che richiedono ragionamento spaziale e grounding (es. "dove si trova l'oggetto?"), scartando compiti puramente testuali o di riconoscimento di testo (es. copertine di libri), pur mantenendo la diversità generale dei dati VLM.

5. Significato e Impatto

Il lavoro EmbodiedMidtrain offre una soluzione elegante ed efficiente al problema dell'adattamento dei modelli fondazionali alla robotica:

• Cambio di Paradigma: Sposta l'attenzione dalla creazione di nuovi dataset robotici massicci (spesso costosi da raccogliere) alla riutilizzazione intelligente dei vasti dataset VLM esistenti.
• Ottimizzazione delle Risorse: Dimostra che la qualità dell'allineamento dei dati è più importante della semplice scala del modello o della quantità di dati pre-addestrati.
• Riproducibilità e Accessibilità: Poiché il metodo non richiede modifiche architetturali al VLM o al VLA ed è scalabile, può essere adottato da ricercatori con risorse computazionali limitate per migliorare le prestazioni dei loro agenti robotici.

In sintesi, il paper dimostra che un'attenta selezione dei dati basata sulla prossimità durante una fase intermedia di addestramento può trasformare un generico modello visione-linguaggio in un'ottima base per l'intelligenza corporea, colmando il divario tra percezione generale e azione robotica specifica.