ZAYA1-VL-8B Technical Report

Sulla base del rapporto tecnico fornito, ecco un riepilogo dettagliato del paper ZAYA1-VL-8B.

Enunciato del Problema

I Modelli Vision-Language (VLM) sono evoluti rapidamente, tuttavia persistono diverse sfide prima che possano essere considerati pienamente maturi. Queste includono allucinazioni del modello, elevati costi computazionali per input ad alta risoluzione e difficoltà nel deployment efficiente. Un limite architetturale specifico identificato nel paper è che i VLM standard spesso instradano i token visivi e linguistici attraverso parametri di modello identici, costringendo rappresentazioni condivise a servire due modalità con proprietà statistiche fondamentalmente diverse. Ciò può creare interferenze, in particolare nelle architetture Mixture-of-Experts (MoE) dove l'instradamento degli esperti è appreso principalmente dai dati linguistici. Inoltre, l'uso standard di maschere di attenzione causale per i token immagine è subottimale perché le patch immagine mancano di un ordinamento intrinseco da sinistra a destra, impedendo arbitrariamente alle patch precedenti di prestare attenzione a quelle successive e limitando la cattura della struttura visiva globale. Inoltre, l'ecosistema si affida pesantemente a modelli proprietari o a dati sintetici distillati da essi, limitando la riproducibilità e la visibilità degli ingredienti che guidano le prestazioni.

Metodologia

Gli autori presentano ZAYA1-VL-8B, un VLM compatto costruito sul loro modello linguistico MoE interno, ZAYA1-8B-A1B. Il modello comprende 9,2 miliardi di parametri totali con 1,4 miliardi di parametri attivi (incluso il codificatore visivo). L'architettura integra quattro componenti principali: un LLM decoder-only, un codificatore visivo (basato su Qwen2.5-VL), un pre-processore delle immagini e un adattatore visivo.

Il paper dettaglia due innovazioni architetturali chiave progettate per affrontare i limiti della condivisione dei parametri e della mascheratura causale:

1. Adattatori LoRA Specifici per la Visione: Invece di aggiungere nuovi esperti al backbone MoE (il che aumenterebbe le dimensioni del modello e i requisiti di dati), gli autori integrano adattatori Low-Rank Adaptation (LoRA) nei pesi lineari dei moduli di attenzione e MLP all'interno dell'LLM. Questi adattatori vengono attivati solo quando i token visivi vengono passati nell'LLM. Vengono addestrati insieme ai pesi standard durante la fase principale di addestramento, partendo da zero con un termine di decadimento dei pesi per prevenire la divergenza dai percorsi testuali. Ciò aumenta la capacità specifica per modalità senza ingrandire sostanzialmente le dimensioni del modello.
2. Attenzione Bidirezionale sui Token Immagine: Gli autori rimuovono la maschera causale per i token visivi all'interno dei livelli di attenzione dell'LLM. Ciò consente un'attenzione bidirezionale completa tra tutti i token visivi, ripristinando la simmetria spaziale e allineando il pattern di attenzione dei token visivi all'interno dell'LLM a quello del codificatore visivo. I token testuali mantengono la mascheratura causale standard.

Pipeline di Addestramento:
L'addestramento segue un curriculum multistadio:

• Allineamento: Addestramento solo dell'adattatore visivo su dati di captioning di immagini a bassa risoluzione (LLaVA-ReCap-558K) con l'LLM congelato.
• Pre-addestramento: Addestramento congiunto di tutti i parametri su 30 milioni di campioni multimodali. Questa fase introduce un nuovo template di chat e aumenta progressivamente il limite di risoluzione dell'immagine da 0,8 MP a 6,3 MP.
• Espansione dell'Embedding: Espansione del livello di embedding dell'LLM per accogliere token speciali per compiti di grounding (bounding box e punti) mantenendo il resto del modello fisso.
• Instruction Tuning: Addestramento end-to-end su 20 milioni di campioni di testo e multimodali curati, introducendo dati di grounding sotto forma di bounding box e pointing.

La pipeline di addestramento utilizza un flusso di dati completamente streaming con packing efficiente delle sequenze e mascheratura di attenzione attentamente progettata (inclusa la mascheratura delle conversazioni) per gestire lunghezze di sequenza eterogenee e massimizzare l'utilizzo della GPU.

Contributi Chiave

1. Dimostrazione della Fattibilità MoE: Il paper dimostra che il loro LLM MoE personalizzato (ZAYA1-8B-A1B) è in grado di alimentare un VLM robusto, mostrando che i benefici dei MoE nel linguaggio si trasferiscono fluidamente ai compiti VLM.
2. Meccanismi Architetturali Novità: L'introduzione di adattatori LoRA specifici per la visione e di attenzione bidirezionale sui token immagine come meccanismi leggeri per affrontare l'interferenza tra modalità e i limiti della mascheratura causale, offrendo un nuovo approccio per estendere gli LLM MoE ai VLM.
3. Efficienza e Prestazioni: ZAYA1-VL-8B dimostra prestazioni solide per FLOP di inferenza ed efficienza nei campioni in termini di token di addestramento.
4. Rilascio Open Source: Il modello, i checkpoint di addestramento e il codice di inferenza sono resi pubblicamente disponibili alla comunità di ricerca.

Risultati

ZAYA1-VL-8B è stato valutato su una suite diversificata di benchmark che coprono la comprensione di documenti, la percezione, il ragionamento, il conteggio e il grounding.

• Benchmark Generali: Il modello raggiunge prestazioni competitive con i principali modelli base come Molmo2-4B e InternVL3.5-4B. Supera modelli tra cui Qwen2.5-VL-3B, PLM-3B e MolmoE-8B nei benchmark di comprensione delle immagini, ragionamento e conteggio (ad esempio, AI2D, ChartQA, DocVQA, CountBenchQA).
• Benchmark di Grounding: Su Point-Bench, ZAYA1-VL-8B ottiene un punteggio medio di 58,0, pareggiando MolmoE-8B-A1B e superando modelli densi più piccoli come Qwen3-VL-2B. Su RefCOCO, ottiene una media complessiva di 84,3, posizionandosi in modo competitivo tra modelli con parametri attivi significativamente maggiori.
• Studi di Ablazione: Gli esperimenti hanno confermato che l'attenzione bidirezionale per i token immagine migliora i compiti di comprensione di documenti e immagini, mentre gli adattatori LoRA specifici per la visione producono miglioramenti delle prestazioni chiari rispetto ai baseline senza adattatori.

Significato

Il paper afferma che ZAYA1-VL-8B dimostra che un backbone MoE ben progettato, abbinato a una pipeline efficiente nei dati, può alimentare un VLM altamente capace a una frazione sia del calcolo attivo che del budget dati di modelli comparabili. Rendendo open source il modello, gli autori mirano a fornire una base pratica per la comunità di ricerca, offrendo piena visibilità sugli ingredienti che guidano prestazioni solide. Il lavoro sottolinea che un'attenta curatela dei dati e innovazioni architetturali mirate possono produrre una comprensione visiva generale robusta senza la necessità di conteggi di parametri massicci o distillazione di dati proprietari. Le direzioni future menzionate includono l'integrazione diretta di RoPE multimodale nel backbone dell'LLM e l'espansione del corpus di addestramento per la comprensione video.