Sintesi Tecnica: Splash – Apprendimento dell'Allineamento Tattile con Maschera Isolata in MLLM

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) sono sempre più utilizzati nella robotica incorporata (embodied robotics), dove la comprensione delle proprietà fisiche come l'attrito e la conformità è cruciale. Tuttavia, dotare i modelli linguistici multimodali compatti (sMLLM, ad esempio $\le$ 3B di parametri) di capacità di ragionamento tattile presenta una sfida significativa: il dimenticanza catastrofica (catastrophic forgetting).

Gli approcci esistenti che integrano le modalità tattili spesso richiedono l'aggiornamento dell'intero modello o di ampi sottoinsiemi di parametri. Negli sMLLM con risorse limitate, questa ottimizzazione per i segnali tattili distorce le caratteristiche visivo-linguistiche (VL) pre-addestrate, causando la perdita delle capacità di ragionamento general-purpose del modello. Come dimostrato nel paper, anche piccole quantità di dati di addestramento tattile possono degradare le prestazioni VL, creando un compromesso a somma zero tra l'acquisizione di nuove modalità sensoriali e la preservazione delle capacità di ragionamento consolidate.

2. Metodologia: Il Framework Splash

Gli autori propongono Splash, un framework di allineamento tattile con maschera isolata progettato per integrare la percezione tattile negli sMLLM senza costi aggiuntivi di inferenza o dimenticanza catastrofica. La filosofia centrale è quella di confinare tutto l'adattamento tattile in un sottospazio di parametri "dormienti" (meno importanti), mantenendo invece "critici" i parametri fondamentali.

2.1 Localizzazione del Sottospazio Dormiente

Splash sfrutta l'ipotesi della naturale sparsità nei modelli pre-addestrati, dove solo un sottoinsieme di parametri è critico per il mantenimento della funzione.

• Metrica di Importanza: Utilizzando un piccolo set di calibrazione da dati visivo-linguistici (ad esempio, CC12M), il metodo calcola un punteggio di importanza relativa alla visione ($S_{i,j}$) per ogni peso nei layer lineari dell'LLM. Il punteggio è definito come il prodotto della magnitudo del peso e della norma $\ell_2$ del corrispondente input di attivazione:
  $$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$$
• Generazione della Maschera: In base a un rapporto di sparsità ($s\%$), viene generata una maschera binaria ($\mathbf{M}$). I parametri con punteggi inferiori a una soglia sono contrassegnati come "dormienti" (addestrabili), mentre quelli superiori sono "critici" (congelati).
• Vincoli di Stabilità: Il primo e l'ultimo blocco transformer sono esclusi dalla mascheratura per preservare l'ancoraggio dell'input e le rappresentazioni semantiche di alto livello, garantendo la stabilità dell'addestramento.

2.2 Allineamento Tattile con Maschera Isolata

A differenza degli approcci precedenti in due fasi (allineamento prima degli encoder, poi fine-tuning dell'LLM), Splash impiega un processo di addestramento unificato in un'unica fase.

• Architettura: Il modello consiste in un front-end visivo congelato, un front-end tattile addestrinabile (un ViT-Tiny inizializzato da ImageNet) e il backbone LLM.
• Obiettivo di Addestramento: Il modello minimizza la perdita di cross-entropy per la generazione di descrizioni tattili dati immagini RGB, immagini di contatto e prompt testuali.
• Aggiornamenti dei Parametri:
  • Parametri Critici: Congelati ($\nabla \mathcal{L} = 0$). Fungono da ancoraggi stabili per il manifold VL pre-addestrato.
  • Parametri Dormienti: Aggiornati tramite discesa del gradiente usando la maschera ($\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$).
  • Front-end Tattile: Completamente addestrinabile.
• Meccanismo: Isolando rigorosamente gli aggiornamenti al sottospazio dormiente, Splash impedisce la perturbazione dell'intero manifold dei parametri, evitando efficacemente la dimenticanza catastrofica senza introdurre moduli esterni come gli adapter (ad esempio, LoRA) che aggiungerebbero latenza di inferenza.

3. Contributi Chiave

1. Framework Splash: Un nuovo metodo di adattamento con parametri isolati che integra la percezione tattile negli sMLLM con zero costi aggiuntivi di inferenza, mitigando la dimenticanza catastrofica relativa alla visione.
2. Addestramento Unificato: Uno schema di addestramento a fase singola che ottimizza simultaneamente il front-end tattile e il sottospazio dormiente dell'LLM, eliminando la necessità di procedure di allineamento multi-stadio.
3. Preservazione delle Prestazioni: Capacità dimostrata di raggiungere lo stato dell'arte (SOTA) nel ragionamento tattile su modelli di piccola scala (1B e 3B) preservando al contempo le capacità VL general-purpose originali dei modelli.

4. Risultati Sperimentali

Gli autori hanno valutato Splash su tre benchmark Visuo-Tattile-Linguistici (VTL: SSVTP, TVL, TacQuad) e cinque benchmark Visivo-Linguistici (VL) general-purpose (MMMU, MathVista, MME, MMBench).

• Ragionamento Tattile (Benchmark VTL):

  • Splash-3B (basato su Qwen2.5-VL-3B) ha ottenuto un punteggio medio di 4.91, superando il baseline più forte, TVL-LLaMA (backbone 7B), che ha ottenuto 4.31.
  • Splash-1B (basato su InternVL2.5-1B) ha ottenuto una media di 5.01, superando UniTouch (backbone 7B, 3.74) e TVL-Qwen (4.50).
  • Splash ha dimostrato una robustezza superiore sotto cambiamenti di distribuzione (ad esempio, TacQuad), dove altri metodi come (IA)3 hanno subito significativi cali di prestazione.

• Preservazione delle Capacità (Benchmark VL):

  • Splash-3B ha mantenuto o migliorato le prestazioni sui task VL generali rispetto al suo baseline zero-shot e ad altri modelli adattati. Ad esempio, ha migliorato MMMUval da 50.0 (TVL-Qwen) a 55.3 e MathVista da 52.8 a 65.3.
  • Al contrario, metodi come (IA)3 che preservano la capacità VL spesso non sono riusciti ad apprendere efficacemente la dinamica tattile (under-fitting), mentre il fine-tuning completo o LoRA hanno spesso degradato le prestazioni VL.

• Studi di Ablazione:

  • Rapporto di Sparsità: Un rapporto di sparsità del 60% (60% dei parametri congelati) ha fornito il miglior compromesso tra apprendimento tattile e preservazione VL. Una sparsità del 100% (tuning completo) ha causato dimenticanza catastrofica, mentre una sparsità molto bassa ha limitato l'apprendimento tattile.
  • Dati di Calibrazione: Il metodo si è dimostrato robusto alla scelta del dataset di calibrazione, performando bene anche con dati rumorosi non accoppiati, suggerendo che cattura le ridondanze architettoniche intrinseche piuttosto che l'overfitting su specifici allineamenti semantici.

5. Significato e Rivendicazioni

Il paper sostiene che Splash offra una via pratica verso un'intelligenza tattile di alto livello per robot edge con risorse limitate. Identificando e riattivando i pesi "dormienti" sottoutilizzati, il framework consente ai modelli compatti di interiorizzare dinamiche di contatto complesse senza sacrificare le loro capacità di ragionamento fondamentali.

Gli autori sottolineano che Splash realizza un'espansione della modalità non distruttiva. A differenza dei metodi di fine-tuning efficiente dei parametri (PEFT) additivi che possono perturbare l'intero spazio dei parametri, l'isolamento strutturale di Splash assicura che i percorsi di ragionamento VL pre-addestrati rimangano fondamentalmente intatti. Ciò consente l'implementazione di un sofisticato ragionamento visuo-tattile su piccoli modelli (≤3B) adatti all'implementazione edge robotica nel mondo reale, superando i colli di bottiglia computazionali dei modelli più grandi da 7B+.