Zamba2-VL Technical Report

Probleemstelling

Vision-language modellen (VLM's) zijn de standaardinterface geworden voor multimodale redenering, waarbij ze doorgaans vertrouwen op een Transformer-gebaseerd Large Language Model (LLM)-backbone. De self-attention mechanisme in Transformers brengt echter kwadratische computationele kosten met zich mee tijdens de prefill-fase en vereist een Key-Value (KV) cache die lineair groeit met de sequentielengte. Dit vormt een ernstige bottleneck voor multimodale modellen, waarbij een enkele hogeresolutie-afbeelding of videoclip duizenden tot honderdduizenden tokens kan genereren. Hoewel mitigaties aan de inputzijde, zoals visuele tokencompressie, bestaan, veranderen deze de fundamentele schaalbaarheid van de backbone niet.

State-space modellen (SSM's), specifiek Mamba en Mamba2, bieden lineaire tijd-sequentieverwerking en een constante staat van vaste grootte, wat de efficiëntiebeperkingen theoretisch oplost. Eerdere SSM-gebaseerde VLM's hebben echter moeite gehad met taken die precieze in-context lookup vereisen (bijv. visuele grounding en fijnmazige retrieval), waarbij attention-mechanismen superieur blijven. Bov�elijk zijn bestaande sterke SSM-gebaseerde VLM's vaak gedestilleerd van Transformer-modellen of gebouwd op kleinere SSM-backbones, wat de vraag open laat of een hybride SSM-Transformer architectuur concurrerend kan zijn wanneer deze vanaf nul op schaal wordt getraind.

Methodologie

De auteurs presenteren Zamba2-VL, een familie van VLM's gebouwd op de Zamba2 hybride architectuur. Zamba2 weeft een Mamba2 state-space backbone af met een klein aantal gedeelde Transformer-blokken. De Transformer-blokken worden uitgebreid met LoRA-projectoren om in-context retrieval-mogelijkheden te bieden, terwijl de Mamba2-lagen het grootste deel van de berekeningen afhandelen met lineaire tijdscomplexiteit en een vaste recurrente staat.

Architectuur:

• Backbone: Zamba2 (1.2B, 2.7B, en 7B parameter varianten).
• Vision Encoder: De Vision Transformer (ViT) van Qwen2.5-VL, gekozen vanwege het gebruik van 2D Rotary Position Embeddings (RoPE) en native dynamische resolutie-verwerking, wat de fijnmazige ruimtelijke structuur behoudt.
• Connector: Een standaard twee-laagse MLP-adapter die visuele kenmerken projecteert naar de taal-embeddingruimte. Het poolt 2x2 vensters van patch-embeddings, waardoor het aantal visuele tokens met een factor vier wordt verminderd.
• Positional Embeddings: Het model behoudt de specifieke positionele embedding-schema's van de basis Zamba2-modellen (1D RoPE voor 1.2B/7B, geen rotary embedding voor 2.7B) in plaats van een multimodale RoPE-variant te adopteren, om excessieve computationele vereisten te vermijden.

Trainingspipeline:
De training volgt een driestaps curriculum:

1. Alignment: De MLP-adapter wordt getraind op lage-resolutie beeld-bijschrift data (LLaVA-ReCap-558K) terwijl de backbone en de vision encoder bevroren blijven.
2. Pretraining: Het volledige model wordt getraind op een heterogene mix van ~30B tokens. In deze fase wordt bewust document-begrip en OCR-data geüpgraded (upsampled) om de initiële achterstand van de Zamba2 backbone bij tekst-zware taken ten opzichte van pure Transformers te compenseren.
3. Instruction Tuning: Het model wordt gefinetuned op ~20B tokens aan gecureerde instructie-volgende data, met de nadruk op multi-turn conversatie, grounding (aanwijzen en bounding boxes) en redeneren.

Belangrijkste Bijdragen

1. Eerste Open Hybride SSM-Transformer VLM: Zamba2-VL wordt gepresenteerd als de eerste open familie van VLM's gebouwd op een sterke hybride SSM-Transformer backbone, wat aantoont dat dergelijke architecturen levensvatbare en concurrerende substraten zijn voor multimodale modellering op schalen van 1.2B tot 7B.
2. Architecturale en Data Design: Het paper beschrijft de specifieke architecturale keuzes (connector design, visuele token integratie) en de samenstelling van de data-strategieën (specifiek de up-sampling van document/OCR data) die nodig zijn om een hybride backbone uit te breiden naar een capabele VLM.
3. Efficiëntie-Nauwkeurigheid Afweging: Het werk karakteriseert het prestatie-efficiëntieprofiel van deze modellen, en laat zien dat ze een concurrerende nauwkeurigheid bereiken ten opzichte van leidende Transformer-gebaseerde VLM's, terwijl ze de voordelen van de inferentie-snelheid van de Zamba2 backbone erven.

Resultaten

De auteurs evalueerden Zamba2-VL (1.2B, 2.7B, 7B) tegen leidende open-weight Transformer-gebaseerde VLM's (Molmo2, Qwen3-VL, InternVL3.5, PerceptionLM) op benchmarks voor beeldbegrip, redeneren, OCR, grounding en tellen.

• Nauwkeurigheid: Zamba2-VL is breed concurrerend met Transformer-baselines van vergelijkbare schaal.
  • Tellen (Counting): De modellen vertonen uitzonderlijke prestaties in visueel tellen. Zamba2-VL-1.2B scoorde 62.5 op PixMoCount, bijna het dubbele van de score van InternVL3.5-1B (32.8). Het 7B-model behaalde 85.3, waarmee het bovenaan zijn categorie staat.
  • Document/OCR: De modellen zijn concurrerend op DocVQA, ChartQA en TextVQA, een resultaat dat wordt toegeschreven aan de bewuste up-sampling van document-data tijdens de pretraining.
  • Redeneren: De modellen blijven iets achter bij de sterkste Transformer-baselines op zware redeneer-benchmarks (bijv. MMMU, MathVista), een profiel dat de auteurs toeschrijven aan een trainingspipeline die gericht is op het verwerven van capaciteiten in plaats van RL-stijl specialisatie in redeneren.
• Efficiëntie: De meest significante bevinding is de inferentie-snelheid. Zamba2-VL levert ongeveer een orde van grootte lagere Time-to-First-Token (TTFT) vergeleken met Transformer-baselines bij overeenkomstige parameter-schalen. Dit efficiëntieverschil is het meest uitgesproken bij de 1.2B en 2.7B schalen, die cruciaal zijn voor on-device en edge-implementatie.
• Ablatie-studies:
  • Vision Encoder: De Qwen2.5-VL ViT presteerde aanzienlijk beter dan CLIP en SigLIP-2, grotendeels dankzij de 2D RoPE en dynamische resolutie-afhandeling.
  • Backbone: Wanneer vergeleken met Llama-3.x referenties onder gelijke trainingsomstandigheden, matchten of overtrof de hybride Zamba2 backbones de Transformers op de meeste beeldbegrip-taken, maar bleven ze achter op tekst-dichte document-taken (wat later werd gemitigeerd door data up-sampling). De prestatiekloof tussen Zamba2 en Llama werd aanzienlijk kleiner naarmate de schaal toenam, waarbij het 7B-model bijna ononderscheidbaar was van de Llama-3.1-8B referentie.

Betekenis

Het paper beweert dat Zamba2-VL aantoont dat hybride SSM-Transformer LLM's een praktisch alternatief zijn voor dichte Transformers als VLM-backbones, met name in latency- en geheugenbeperkte omgevingen. De resultaten suggereren dat het "hybride recept" — het gebruik van sub-kwadratische recursie voor het grootste deel van de berekening en een kleine hoeveelheid attention voor recall — de capaciteit van dichte Transformers op schaal kan evenaren, terwijl het aanzienlijke voordelen in inferentie-efficiëntie behoudt. De auteurs stellen de modellen en code beschikbaar om een fundament te bieden waarop onderzoekers en praktijkgebruikers kunnen voortbouwen, specifiek gericht op scenario's waarin serveerkosten en latency bindende factoren zijn.