Zamba2-VL Technical Report

Problematica

I modelli visione-linguaggio (VLM) sono diventati l'interfaccia standard per il ragionamento multimodale, affidandosi tipicamente a un backbone di Large Language Model (LLM) basato su Transformer. Tuttavia, il meccanismo di self-attention nei Transformer comporta costi computazionali quadratici durante la fase di prefill e richiede una cache Key-Value (KV) che cresce linearmente con la lunghezza della sequenza. Questo diventa un collo di bottiglia critico per i modelli multimodali, dove una singola immagine ad alta risoluzione o un clip video può generare migliaia o centinaia di migliaia di token. Sebbene esistano mitigazioni lato input, come la compressione dei token visivi, esse non alterano il comportamento di scaling fondamentale del backbone.

I modelli a spazio di stato (SSM), specificamente Mamba e Mamba2, offrono un'elaborazione delle sequenze in tempo lineare e uno stato ricorrente di dimensioni costanti, risolvendo teoricamente questi vincoli di efficienza. Tuttavia, i precedenti VLM basati su SSM hanno faticato in compiti che richiedono un lookup in-context preciso (ad esempio, grounding visivo e recupero fine-grained), dove i meccanismi di attenzione rimangono superiori. Inoltre, gli attuali forti VLM basati su SSM sono spesso distillati da modelli Transformer o costruiti su backbone SSM più piccoli, lasciando aperta la questione se un'architettura ibrida SSM-Transformer possa essere competitiva quando addestrata da zero su larga scala.

Metodologia

Gli autori presentano Zamba2-VL, una famiglia di VLM basata sull'architettura ibrida Zamba2. Zamba2 intercala un backbone a spazio di stato Mamba2 con un piccolo numero di blocchi Transformer condivisi. I blocchi Transformer sono aumentati con proiettori LoRA per fornire capacità di recupero in-context, mentre gli strati Mamba2 gestiscono la maggior parte del calcolo con complessità temporale lineare e uno stato ricorrente fisso.

Architettura:

• Backbone: Zamba2 (varianti da 1.2B, 2.7B e 7B parametri).
• Encoder Visivo: Il Vision Transformer (ViT) di Qwen2.5-VL, scelto per l'uso di Rotary Position Embeddings (RoPE) 2D e l'elaborazione nativa a risoluzione dinamica, che preservano la struttura spaziale fine.
• Connector: Un adapter MLP a due strati standard che proietta le caratteristiche visive nello spazio di embedding del linguaggio. Esso raggruppa (pool) finestre 2x2 di patch embedding, riducendo i token visivi di un fattore quattro.
• Embedding Posizionali: Il modello mantiene gli schemi di embedding posizionale specifici dei modelli base Zamba2 (RoPE 1D per 1.2B/7B, nessun embedding rotativo per 2.7B) invece di adottare una variante multimodale RoPE, per evitare requisiti computazionali eccessivi.

Pipeline di Addestramento:
L'addestramento segue un curriculum in tre fasi:

1. Allineamento: L'adapter MLP viene addestrato su dati immagine-didascalia a bassa risoluzione (LLaVA-ReCap-558K) mentre il backbone e l'encoder visivo rimangono congelati.
2. Pretraining: Il modello completo è addestrato su un mix eterogeneo di circa 30B di token. Questa fase sovra-campiona deliberatamente i dati di comprensione dei documenti e OCR per compensare il ritardo iniziale del backbone Zamba2 nei compiti densi di testo rispetto ai puri Transformer.
3. Instruction Tuning: Il modello è sottoposto a fine-tuning su circa 20B di token di dati curati per il seguire le istruzioni, enfatizzando la conversazione multi-turno, il grounding (indicazione e bounding box) e il ragionamento.

Contributi Chiave

1. Primo VLM Ibrido Aperto SSM-Transformer: Zamba2-VL è presentato come la prima famiglia aperta di VLM costruita su un forte backbone ibrido SSM-Transformer, dimostrando che tali architetture sono substrati viabili e competitivi per la modellazione multimodale su scale da 1.2B a 7B.
2. Design Architetturale e dei Dati: Il paper dettaglia le specifiche scelte architettoniche (design del connettore, integrazione dei token visivi) e le strategie di composizione dei dati (specificamente il sovra-campionamento dei dati di documento/OCR) necessarie per estendere un backbone ibrido in un capace VLM.
3. Trade-off Efficienza-Accuratezza: Il lavoro caratterizza il profilo prestazionale-efficienza di questi modelli, mostrando che raggiungono un'accuratezza competitiva rispetto ai principali VLM basati su Transformer pur ereditando i vantaggi di velocità di inferenza del backbone Zamba2.

Risultati

Gli autori hanno valutato Zamba2-VL (1.2B, 2.7B, 7B) contro i principali VLM basati su Transformer a pesi aperti (Molmo2, Qwen3-VL, InternVL3.5, PerceptionLM) attraverso benchmark di comprensione dell'immagine, ragionamento, OCR, grounding e conteggio.

• Accuratezza: Zamba2-VL è ampiamente competitivo con i baseline Transformer di scala comparabile.
  • Conteggio: I modelli mostrano prestazioni eccezionali nel conteggio visivo. Zamba2-VL-1.2B ha ottenuto un punteggio di 62.5 su PixMoCount, quasi il doppio del punteggio di InternVL3.5-1B (32.8). Il modello 7B ha raggiunto 85.3, posizionandosi in cima alla sua fascia.
  • Documento/OCR: I modelli sono competitivi su DocVQA, ChartQA e TextVQA, un risultato attribuito al sovra-campionamento deliberato dei dati documentali durante il pretraining.
  • Ragionamento: I modelli restano leggermente indietro rispetto ai più forti baseline Transformer su benchmark di ragionamento pesante (es. MMMU, MathVista), un profilo che gli autori attribuiscono a una pipeline di addestramento focalizzata sull'acquisizione di capacità piuttosto che sulla specializzazione del ragionamento in stile RL.
• Efficienza: Il risultato più significativo è la velocità di inferenza. Zamba2-VL offre un Time-to-First-Token (TTFT) circa un ordine di grandezza inferiore rispetto ai baseline Transformer a parità di scala di parametri. Questo divario di efficienza è più pronunciato alle scale 1.2B e 2.7B, che sono critiche per l'implementazione su dispositivi ed edge.
• Studi di Ablazione:
  • Encoder Visivo: Il ViT di Qwen2.5-VL ha superato significativamente CLIP e SigLIP-2, in gran parte grazie al suo 2D RoPE e alla gestione della risoluzione dinamica.
  • Backbone: Confrontato con i riferimenti Llama-3.x sotto condizioni di addestramento identiche, i backbone ibridi Zamba2 hanno eguagliato o superato i Transformer nella maggior parte dei compiti di comprensione dell'immagine, ma sono rimasti indietro nei compiti documentali densi di testo (che sono stati successivamente mitigati dal sovra-campionamento dei dati). Il divario di prestazione tra Zamba2 e Llama si è ridotto significativamente all'aumentare della scala, con il modello 7B che è diventato quasi indistinguibile dal riferimento Llama-3.1-8B.

Significato

Il paper afferma che Zamba2-VL dimostra che gli LLM ibridi SSM-Transformer sono un'alternativa pratica ai densi Transformer per i backbone dei VLM, particolarmente in contesti con vincoli di latenza e memoria. I risultati suggeriscono che la "ricetta ibrida" — utilizzare la ricorrenza sub-quadratica per la maggior parte del calcolo e una piccola quantità di attenzione per il richiamo (recall) — può eguagliare la capacità dei densi Transformer su larga scala pur mantenendo sostanziali vantaggi di efficienza nell'inferenza. Gli autori rilasciano i modelli e il codice per fornire una base su cui ricercatori e professionisti possano costruire, mirando specificamente a scenari in cui i costi di serving e la latenza sono vincoli determinanti.