Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

Sintesi Tecnica: Generalizzare gli LMM a modalità visive versatili tramite la sintesi di modalità fabbricate

Definizione del problema
Gli attuali Large Multimodal Models (LMM) dimostrano prestazioni elevate sulla visione RGB, ma faticano a generalizzare verso modalità visive non viste (ad esempio, termica, profondità, raggi X). Gli approcci esistenti si affidano tipicamente alla scalabilità dei dati per includere specifiche modalità non-RGB durante l'addestramento, creando un "gap di generalizzazione" in cui i modelli falliscono su modalità non presenti nella loro distribuzione di addestramento. La sfida centrale è che gli LMM spesso confondono la semantica invariante della scena con le apparenze visive specifiche della modalità, costringendo il modello a imparare nuovi allineamenti per ogni distinta modalità anziché sviluppare una comprensione unificata del mondo fisico.

Metodologia: VVM-Tuning
Gli autori propongono VVM-Tuning, un framework di addestramento progettato per dotare gli LMM di due capacità distinte: Percezione indipendente dalla modalità e Comprensione dipendente dalla modalità. Ciò viene ottenuto attraverso una pipeline di Sintesi di modalità fabbricate e Contesti di modalità.

1. Pipeline di sintesi della modalità:

   • Sintesi dell'immagine: Per creare dati di addestramento diversificati senza richiedere dataset non-RGB reali, gli autori fabbricano immagini partendo da fonti RGB standard. Questo processo prevede la conversione delle immagini RGB in scala di grigi, l'applicazione di un'interpolazione spline cubica casuale per regolare gli istogrammi e la mappatura in pseudo-colori utilizzando 22 mappe di colori scientifici. Ulteriori aumenti (rumore, sfocatura) simulano le caratteristiche di sensori a bassa risoluzione o rumorosi.
   • Fabbricazione del contesto di modalità: Vengono generati prompt testuali per descrivere il significato fisico delle modalità sintetizzate (ad esempio, "i colori più caldi rappresentano temperature più elevate"). Per le immagini con maschere di segmentazione, i contesti sono assemblati collegando le mappe di colore agli oggetti; per le immagini non annotate, gli LLM vengono istruiti per generare contesti basandosi su esempi scritti da esseri umani.

2. Framework di addestramento (VVM-Tuning):
   Il framework utilizza il Supervised Fine-Tuning (SFT) con due set di task disgiunti:

   • Percezione indipendente dalla modalità: Questi task mirano a estrarre la semantica invariante e gli elementi visivi di base (percezione fotografica) indipendentemente dall'apparenza visiva.
     • Task Semantici: Il modello viene addestrato per estrarre la semantica sottostante condivisa tra l'immagine RGB originale e l'immagine fabbricata.
     • Task Fotografici: Il modello estrae indizi visivi unici (ad esempio, specifici pattern di colore) presenti nell'immagine fabbricata ma non nella descrizione semantica.
     • Formato: Include sia descrizioni di immagini che task di Visual Question Answering (VQA).
   • Comprensione dipendente dalla modalità: Questi task insegnano al modello a connettere le apparenze visive sintetizzate con gli attributi fisici definiti nel Contesto di modalità.
     • Il modello impara a integrare la descrizione semantica, la descrizione fotografica e il contesto specifico della modalità per rispondere a domande che richiedono la conoscenza della modalità.
     • Ciò consente l'adattamento zero-shot durante l'inferenza, utilizzando le capacità di istruzione e di apprendimento in-context del modello.

Contributi chiave

• Approccio di generalizzazione innovativo: Il documento è il primo a esplorare la generalizzazione degli LMM verso modalità visive non viste senza dati di addestramento in-modality, dimostrando che la sintesi della modalità e il contesto possono colmare questo divario.
• Sintesi di modalità fabbricate: Una pipeline che genera immagini non-RGB diversificate e i corrispondenti contesti di modalità a partire da dati RGB, consentendo la creazione di un set di istruzioni sintetiche generale.
• Strategia di addestramento disgiunta: Un framework che separa la "percezione indipendente dalla modalità" (estrazione della semantica condivisa) dalla "comprensione dipendente dalla modalità" (connessione del significato fisico all'apparenza), prevenendo il sovra-allineamento della semantica a specifiche apparenze RGB.
• VVM-Bench: Un benchmark completo che presenta 6 modalità visive (3 reali: Termica, Profondità, Raggi X; 3 fabbricate: Flusso Ottico, Sintetizzata 1, Sintetizzata 2) e 11 task di VQA per valutare sia le capacità di percezione che di comprensione.

Risultati sperimentali
Il framework è stato valutato su cinque modelli base (LLaVA-1.5, Qwen2.5-VL, Qwen3-VL) attraverso il VVM-Bench.

• Miglioramenti della percezione: I modelli addestrati con VVM-Tuning hanno mostrato un miglioramento medio dell'8,2% sul sottoinsieme di percezione (task senza contesti di modalità) in tutte le modalità testate. I guadagni più significativi sono stati osservati nelle modalità fabbricate (ad esempio, +22,2% per LLaVA-1.5 su Sintetizzata 1).
• Miglioramenti della comprensione: Con l'inclusione dei contesti di modalità, i modelli hanno ottenuto un miglioramento medio del 3,8% sul sottoinsieme di comprensione.
• Generalizzazione: Nonostante l'addestramento su dati sintetici, i modelli hanno dimostrato miglioramenti costanti sulle modalità del mondo reale (Termica, Profondità, Raggi X, Flusso Ottico), confermando che i principi sottostanti delle modalità visive sono condivisi.
• Studi di ablazione: I risultati hanno confermato che sia i task di percezione indipendente dalla modalità che i task di comprensione dipendente dalla modalità sono necessari; rimuovere uno dei due componenti degrada significativamente le prestazioni, rendendo la base percettiva critica per l'apprendimento dell'adattabilità.

Significatività e rivendicazioni
Gli autori affermano che il loro lavoro dimostra una via percorribile affinché gli LMM raggiungano la generalizzazione zero-shot verso modalità visive versatili. Disgiungendo la semantica invariante dalle apparenze specifiche della modalità e utilizzando contesti testuali per colmare il divario, gli LMM possono riconoscere entità fisiche e comprendere attributi specifici della modalità senza essere esplicitamente addestrati su quelle specifiche modalità.

Il documento sostiene che questo approccio offre una nuova prospettiva sulla visione artificiale: distinguere tra l'"immagine" (apparenza visiva) e il "mondo reale" (semantica sottostante). Gli autori suggeriscono che gli attuali LMM spesso trattano l'immagine come la realtà, mentre il loro metodo incoraggia una separazione che permette una generalizzazione più ampia. Concludono che, con sufficienti capacità percettive e contesti di modalità, gli LMM possono adattarsi a modalità visive non viste, e forniscono VVM-Bench per facilitare ulteriori ricerche in questa direzione.