ZAYA1-VL-8B Technical Report

Op basis van het verstrekte technische rapport volgt hier een gedetailleerde samenvatting van het ZAYA1-VL-8B-papier.

Probleemstelling

Visueel-taalmodellen (VLM's) hebben zich snel ontwikkeld, maar er blijven nog steeds uitdagingen bestaan voordat ze als volledig volwassen kunnen worden beschouwd. Deze omvatten modelhallucinaties, hoge rekenkosten voor invoer met hoge resolutie en moeilijkheden bij efficiënte implementatie. Een specifieke architecturale beperking die in het papier wordt geïdentificeerd, is dat standaard VLM's visuele en taal-tokens vaak door identieke modelparameters leiden, waardoor gedeelde representaties moeten dienen voor twee modaliteiten met fundamenteel verschillende statistische eigenschappen. Dit kan interferentie veroorzaken, met name in Mixture-of-Experts (MoE)-architecturen waar expert-routing voornamelijk wordt aangeleerd vanuit taaldata. Bovendien is het standaard gebruik van causale attentiemaskers voor beeldtokens suboptimaal, omdat beeldpatches geen inherent links-naar-rechts-volgorde hebben; dit verhindert willekeurig dat eerdere patches latere patches kunnen raadplegen en beperkt het vastleggen van globale visuele structuren. Daarnaast is het ecosysteem sterk afhankelijk van propriëtaire modellen of synthetische data die hieruit is gedistilleerd, wat de reproduceerbaarheid beperkt en inzicht in de ingrediënten die de prestaties drijven, beperkt.

Methodologie

De auteurs presenteren ZAYA1-VL-8B, een compact VLM gebaseerd op hun interne MoE-taalmodel, ZAYA1-8B-A1B. Het model bestaat uit in totaal 9,2 miljard parameters, waarvan 1,4 miljard actieve parameters (inclusief de visuele encoder). De architectuur integreert vier hoofdcomponenten: een decoder-only LLM, een visuele encoder (gebaseerd op Qwen2.5-VL), een beeldpreprocessor en een visuele adapter.

Het papier beschrijft twee belangrijke architecturale innovaties die zijn ontworpen om de beperkingen van parameterdeling en causale masking aan te pakken:

1. Visie-specifieke LoRA-adapters: In plaats van nieuwe experts toe te voegen aan de MoE-ruggengraat (wat de modelgrootte en data-eisen verhoogt), integreren de auteurs Low-Rank Adaptation (LoRA)-adapters in de lineaire gewichten van de attentie- en MLP-modules binnen de LLM. Deze adapters worden alleen geactiveerd wanneer visuele tokens naar de LLM worden doorgestuurd. Ze worden tijdens de hoofdtrainingsfase samen met de standaard gewichten getraind, beginnend bij nul met een weight decay-term om divergentie van tekstpaden te voorkomen. Dit verhoogt de modaliteit-specifieke capaciteit zonder de modelgrootte substantieel te vergroten.
2. Bidirectionele attentie over beeldtokens: De auteurs verwijderen het causale masker voor visuele tokens binnen de attentielagen van de LLM. Dit staat volledige bidirectionele attentie toe tussen alle visuele tokens, herstelt ruimtelijke symmetrie en brengt het attentiepatroon van visuele tokens binnen de LLM in lijn met dat van de visuele encoder. Teksttokens behouden standaard causale masking.

Trainingspijplijn:
De training volgt een meerstapscurriculum:

• Alignering: Training alleen van de visuele adapter op beeldcaptioning-data met lage resolutie (LLaVA-ReCap-558K) met de LLM bevroren.
• Pretraining: Gezamenlijke training van alle parameters op 30 miljoen multimodale samples. Deze fase introduceert een nieuw chattemplate en verhoogt progressief het limiet voor beeldresolutie van 0,8 MP naar 6,3 MP.
• Embedding-uitbreiding: Uitbreiden van de LLM-embeddingslaag om speciale tokens voor grondtaks (begrenzingen en punten) te accommoderen, terwijl de rest van het model vast blijft staan.
• Instructie-aanpassing: End-to-end training op 20 miljoen gecureerde tekst- en multimodale samples, waarbij gronddata wordt geïntroduceerd in de vorm van begrenzingsvakken en wijzen.

De trainingspijplijn maakt gebruik van een volledig streaming datapijplijn met efficiënte sequentiepakking en zorgvuldig ontworpen attentiemasking (inclusief conversatiemasking) om heterogene sequentielengtes te hanteren en GPU-gebruik te maximaliseren.

Belangrijkste Bijdragen

1. Demonstratie van MoE-haalbaarheid: Het papier toont aan dat hun aangepaste MoE-LLM (ZAYA1-8B-A1B) geschikt is om een krachtig VLM aan te drijven, en laat zien dat de voordelen van MoE's in taal naadloos overdragen naar VLM-taken.
2. Nieuwe architecturale mechanismen: De introductie van visie-specifieke LoRA-adapters en bidirectionele attentie over beeldtokens als lichtgewicht mechanismen om modaliteitsinterferentie en de beperkingen van causale masking aan te pakken, wat een nieuwe aanpak biedt voor het uitbreiden van MoE-LLM's naar VLM's.
3. Efficiëntie en prestaties: ZAYA1-VL-8B toont sterke prestaties per inferentie-FLOP en sample-efficiëntie in termen van trainings-tokens.
4. Open-source release: Het model, trainingscheckpoints en inferentiecode zijn openbaar beschikbaar gesteld aan de onderzoeksgemeenschap.

Resultaten

ZAYA1-VL-8B werd geëvalueerd over een diverse reeks benchmarks die documentbegrip, perceptie, redeneren, tellen en grondtaksen bestrijken.

• Algemene benchmarks: Het model bereikt prestaties die concurrerend zijn met toonaangevende basismodellen zoals Molmo2-4B en InternVL3.5-4B. Het overtreft modellen zoals Qwen2.5-VL-3B, PLM-3B en MolmoE-8B op benchmarks voor beeldbegrip, redeneren en tellen (bijvoorbeeld AI2D, ChartQA, DocVQA, CountBenchQA).
• Grondtaks-benchmarks: Op Point-Bench bereikt ZAYA1-VL-8B een gemiddelde score van 58,0, wat overeenkomt met MolmoE-8B-A1B en beter presteert dan kleinere dichte modellen zoals Qwen3-VL-2B. Op RefCOCO bereikt het een overall gemiddelde van 84,3, wat het concurrerend plaatst tussen modellen met aanzienlijk meer actieve parameters.
• Ablatiestudies: Experimenten bevestigden dat bidirectionele attentie voor beeldtokens de prestaties verbetert op taken voor document- en beeldbegrip, terwijl visie-specifieke LoRA-adapters duidelijke prestatieverbeteringen opleveren ten opzichte van baselines zonder adapters.

Betekenis

Het papier beweert dat ZAYA1-VL-8B aantoont dat een goed ontworpen MoE-ruggengraat, gekoppeld aan een data-efficiënte pijplijn, een zeer capabel VLM kan aandrijven voor een fractie van zowel de actieve rekenkracht als het databudget van vergelijkbare modellen. Door het model open-source te maken, beogen de auteurs een praktische basis te bieden voor de onderzoeksgemeenschap, met volledige zichtbaarheid op de ingrediënten die sterke prestaties drijven. Het werk benadrukt dat zorgvuldige data-curatie en gerichte architecturale innovaties robuust algemeen visueel begrip kunnen opleveren zonder de noodzaak van enorme parameteraantallen of propriëtaire data-distillatie. Toekomstige richtingen die worden genoemd, zijn het direct integreren van multimodale RoPE in de LLM-ruggengraat en het opschalen van het trainingscorpus voor video-interpretatie.