Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

Sintesi Tecnica: Proiettore Cross-Modale basato su Query per il potenziamento di Mamba Multimodal LLM

Problematica
I Modelli Linguistici Multimodali Grandi (MLLM) si affidano attualmente molto alle architetture Transformer, che soffrono di una complessità computazionale e di memoria quadratica rispetto alla lunghezza della sequenza di input. Questo collo di bottiglia limita la scalabilità degli MLLM e impone carichi computazionali insostenibili. Sebbene il Selective Scan Structured State-Space Model (Mamba) offra un'alternativa promettente con complessità lineare ed un'inferenza efficiente, la sua applicazione alla modellazione multimodale rimane scarsamente esplorata. Nello specifico, i tentativi esistenti di integrare Mamba negli MLLM affrontano due sfide primarie: (1) la necessità di progettare manualmente ordini di scansione 2D euristici (ad esempio, bidirezionali o cross-direzionali) per convertire le caratteristiche delle immagini in sequenze 1D, e (2) la mancanza di flessibilità nel sottocampionamento (downsampling) della lunghezza dei token visivi, che spesso risulta in lunghezze di sequenza eccessive, annullando i vantaggi di efficienza di Mamba.

Metodologia
Gli autori propongono Querying Mamba, un'architettura innovativa che introduce un proiettore cross-modale basato su query per collegare encoder visivi pre-addestrati e LLM basati su Mamba. La metodologia si struttura attorno a tre componenti principali:

1. Architettura del Proiettore Q-Mamba:

   • Il proiettore utilizza uno stack di blocchi Q-Mamba, ciascuno composto da un livello Mamba, un meccanismo di cross-attention e una rete feedforward.
   • Query Apprendibili: Invece di elaborare direttamente i token visivi grezzi, il modello impiega un insieme di embedding di query apprendibili. Queste query interagiscono con le caratteristiche visive di un encoder visivo pre-addestrato e congelato (SigLIP) tramite cross-attention.
   • Prior Causale: Un livello Mamba unidirezionale è applicato alle query per introdurre dipendenze causali, garantendo che la sequenza proiettata sia compatibile con l'elaborazione sequenziale dell'LLM.
   • Maschera di Attenzione Locale: Il meccanismo di cross-attention utilizza una maschera di attenzione locale, dove ogni query presta attenzione esclusivamente a un sottoinsieme specifico di chiavi (keys), facilitando l'estrazione focalizzata da distinti componenti visivi.

2. Compressione e Allineamento dei Token Visivi:

   • Il proiettore comprime dinamicamente l'informazione visiva 2D in una sequenza di token causali 1D.
   • Regolando il numero di query apprendibili, il modello può effettivamente sottocampionare la lunghezza della sequenza di caratteristiche visive, riducendo il carico computazionale sull'LLM backbone senza richiedere la definizione manuale di ordini di scansione.

3. Addestramento del Mamba LLM Multimodale:

   • Il sistema integra un Mamba LLM pre-addestrato (2.8 miliardi di parametri) con l'encoder visivo tramite il proiettore Q-Mamba.
   • L'addestramento segue un paradigma a due fasi:
     • Fase 1 (Allineamento): Il proiettore viene allineato con l'LLM congelato utilizzando un dataset filtrato di istruzioni visive (CC3M).
     • Fase 2 (Fine-tuning End-to-End): Sia il proiettore che l'LLM vengono sottoposti a fine-tuning su un dataset combinato (LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct) per migliorare l'integrazione visione-linguaggio e mitigare le allucinazioni.

Contributi Chiave

• Querying Mamba: L'introduzione di un connettore multimodale basato su Mamba che utilizza la cross-attention e query apprendibili per sottocampionare adattivamente la lunghezza dei token visivi, eliminando la necessità di ordini di scansione 2D euristici.
• Esplorazione Architetturale: Un'indagine sistematica sui componenti del connettore multimodale, incluso l'uso di Mamba bidirezionale per il pre-processing, reti feedforward per il mixing dei canali e la lunghezza ottimale della sequenza di query.
• Valutazione Esaustiva: Benchmarking esteso del MLLM proposto su sei diversi task di comprensione visione-linguaggio, dimostrando miglioramenti sia nelle prestazioni che nel throughput rispetto agli esistenti Mamba-based MLLM.

Risultati Sperimentali
Il modello proposto è stato valutato su sei benchmark: VQAv2, GQA, VizWiz, VQAT, POPE e MMBench.

• Prestazioni: Il modello con 729 query apprendibili ha ottenuto le migliori prestazioni complessive, superando i modelli state-of-the-art basati su Mamba (Cobra e VL-Mamba) nella maggior parte delle metriche. Ad esempio, ha ottenuto un punteggio di 75.62 su VQAv2 e 58.33 su GQA.
• Analisi della Lunghezza delle Query: Aumentare il numero di query da 128 a 256 ha prodotto guadagni sostanziali. Tuttavia, ulteriori aumenti a 512 e 729 hanno mostrato rendimenti decrescenti. Notevolmente, le metriche per VizWiz (domande non rispondibili) e POPE (allucinazioni) hanno mostrato una relazione inversa con la dimensione delle query, suggerendo che un numero eccessivo di query possa introdurre dati estranei che complicano il processo decisionale.
• Throughput: La capacità di sottocampionamento dinamico ha ridotto significativamente il carico computazionale. Il modello proposto ha raggiunto tempi di addestramento (5.52 sec/iter) e inferenza (0.095 sec/iter) più rapidi rispetto a Cobra (7.62/0.129) e VL-Mamba (7.26/0.152).
• Studi di Ablazione:
  • Meccanismo di Attenzione: L'attenzione locale ha superato significativamente l'attenzione globale.
  • Pre-addestramento: L'utilizzo di pesi da un VL-Mamba addestrato per il connettore bidirezionale ha migliorato le prestazioni rispetto all'addestramento da zero.
  • Ordine di Scansione: Interessantemente, sebbene il modello sia stato addestrato con scansione bidirezionale, l'inferenza utilizzando solo una scansione in avanti non ha degradato le prestazioni e, in alcuni casi, le ha migliorate.

Significatività e Rivendicazioni
Il paper afferma che il proiettore cross-modale basato su query potenzia efficacementamente l'efficienza di Mamba per la modellazione visione-linguaggio. Comprimendo i token visivi in base al contesto di input attraverso la cross-attention, l'architettura elimina la dipendenza da ordini di scansione 2D progettati manualmente, un limite nei precedenti encoder visivi basati su Mamba. Gli autori sostengono che questo approccio migliora sia le prestazioni che il throughput degli MLLM basati su Mamba, offrendo una soluzione scalabile per i compiti multimodali.

Limitazioni
Gli autori riconoscono diverse limitazioni:

• Vincoli dei Dataset: I dataset di addestramento e fine-tuning (LLaVA-LLVIS, LLaVA-1.5) sono più piccoli di quelli tipicamente utilizzati per i grandi modelli linguistici, il che potrebbe limitare la generalizzazione.
• Durata dell'Addestramento: Il modello è stato addestrato per un solo epoch per fase, mentre modelli comparabili utilizzano spesso due, il che potrebbe influire sulla robustezza.
• "Dimenticanza" di Mamba: La natura sequenziale degli stati nascosti di Mamba può portare a problemi di dimenticanza con input lunghi, similmente alle RNN.
• Lavoro Futuro: Gli autori suggeriscono che un pre-addestramento più esteso di Q-Mamba (inclusa l'apprendimento contrastivo) e l'inizializzazione con pesi di un Mamba LLM compatto potrebbero migliorare ulteriormente le prestazioni. Notano inoltre il potenziale bias e le allucinazioni inerenti ai grandi modelli linguistici.