BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation

Probleemstelling

Autoregressieve Vision-Language Models (VLM's) hebben sterke multimodale vaardigheden bewezen, maar lijden onder een fundamenteel inferentie-bottleneck: ze genereren tokens één voor één (sequentieel), wat de doorvoersnelheid (throughput) beperkt. Diffusie-modellen bieden een alternatief door tokens parallel te genereren en te verfijnen, wat een betere kwaliteit-efficiëntie trade-off kan bieden.

Echter, het direct converteren van een voorgeïmplementeerde autoregressieve VLM naar een diffusie-VLM (dVLM) met grote blokken (large-block) leidt vaak tot een aanzienlijke daling in kwaliteit. De optimalisatieproblematiek en het decodeerpatroon veranderen te abrupt. Bestaande methoden kunnen de prestaties van autoregressieve baselines op multimodale taken vaak niet evenaren.

Methodologie: Het BARD Framework

BARD is een eenvoudig maar effectief raamwerk om een voorgeïmplementeerde autoregressieve VLM om te zetten in een dVLM met dezelfde architectuur, maar met efficiëntere, parallelle decoding. De aanpak combineert twee kerncomponenten:

1. Progressieve Supervised Block Merging (Progressieve Blokmigratie)
In plaats van direct te springen van causale decoding naar grote blokken, vergroot BARD de blokgrootte geleidelijk:

• Stap 1: De autoregressieve checkpoint wordt eerst omgezet in een stabiele "anker"-dVLM met een klein blok (bijv. grootte 4).
• Stap 2: De blokgrootte wordt progressief verdubbeld (4 → 8 → 16 → 32) door aangrenzende blokken te samenvoegen.
• Doel: Dit zorgt voor een soepele overgang in het leerpatroon, waardoor het model de token-predictiepatronen van kleinere blokken kan hergebruiken.

2. Stage-wise dVLM Distillatie
Ook met progressieve vergroting treedt er vaak een prestatiedaling op bij grotere blokken. Om dit op te lossen, wordt er een distillatiestap toegevoegd na elke trainingsfase:

• Leraar: Een vaste, kleine-blok dVLM (het ankermodel uit Stap 1) fungeert als leraar.
• Leerling: Het model met de grotere blokken (de student) wordt gedistilleerd vanuit dit vaste anker.
• Kerninzicht: Directe distillatie van een autoregressief model naar een diffusiemodel faalt vanwege een mismatch in de logistieken (autoregressief voorspelt de volgende token onder schone condities, terwijl diffusie dezelfde positie denoist onder corrumperende condities). Door te distilleren vanuit een diffusie-anker (die al in het diffusie-regime werkt), wordt deze mismatch opgelost en wordt de kwaliteit behouden.

Aanvullende Innovaties

• Mixed-Noise Scheduler: In plaats van alleen tokens te maskeren, introduceert BARD ook zichtbare corruptie (random vervanging van tokens). Dit leert het model om niet alleen ontbrekende tokens te vullen, maar ook foutieve, zichtbare tokens te corrigeren (iteratieve revisie).
• Memory-Friendly Training: Om de hoge geheugenkosten van multimodale training te verlagen, wordt een "packed" sequence layout gebruikt. Hierbij worden de context, het schone antwoord en het corrumperende antwoord in één sequentie verwerkt zonder redundante kopieën van de visuele context, wat de trainingskosten verlaagt en langere sequenties mogelijk maakt.

Belangrijkste Bijdragen

1. BARD Framework: Een nieuwe, schaalbare recept voor het omzetten van state-of-the-art autoregressieve VLM's naar efficiënte diffusie-VLM's zonder kwaliteitsverlies.
2. Inzicht in Distillatie: Het paper demonstreert dat directe autoregressie-naar-diffusie distillatie schadelijk kan zijn, terwijl distillatie binnen het diffusie-regime (van een klein-blok anker) consistent effectief is.
3. Efficiëntie en Kwaliteit: De methode combineert de parallelle decoding van diffusie met de sterke multimodale redeneerkracht van autoregressieve modellen.
4. Mixed-Noise Training: Een nieuwe trainingsstrategie die de revisiecapaciteit van het model verbetert zonder de stabiliteit van mask-based diffusion te verstoren.

Resultaten

De auteurs trainden een familie van modellen genaamd BARD-VL (2B, 4B en 8B parameters) op basis van Qwen3-VL, gebruikmakend van minder dan 4,4 miljoen trainingsvoorbeelden.

• Prestaties: BARD-VL vestigt een nieuwe state-of-the-art (SOTA) onder open-source dVLM's van vergelijkbare schaal.
  • Op de 4B en 8B schalen presteert BARD-VL beter dan eerdere open dVLM's (zoals LLaDA-V, Dream-VL, Dimple-VL).
  • BARD-VL behoudt of verbetert de prestaties van het bronmodel (Qwen3-VL) op de meeste benchmarks (zoals MMMU, MME, RealWorldQA, ChartQA). Bijvoorbeeld, BARD-VL 4B verbetert Qwen3-VL 4B op 5 van de 7 benchmarks.
• Efficiëntie: BARD-VL bereikt tot 3x hogere doorvoersnelheid (decoding throughput) vergeleken met het oorspronkelijke autoregressieve model, dankzij de parallelle decoding.
• Ablatie Studies:
  • Data-efficiëntie: Het model is al sterk met slechts 110K voorbeelden, maar schaalt goed tot 4,4M.
  • Block Merging: Progressieve vergroting is cruciaal; directe training op grote blokken leidt tot grote prestatieverlies.
  • Distillatie: Distillatie van een diffusie-anker is superieur aan distillatie van een autoregressief model, vooral bij grotere blokgroottes.

Betekenis

Dit werk toont aan dat de kloof tussen autoregressieve en diffusie-VLM's overbrugd kan worden zonder in te leveren op multimodale vaardigheden. BARD biedt een praktische route om de inferentie-efficiëntie van multimodale modellen drastisch te verhogen (door parallelle decoding) terwijl de redeneercapaciteit behouden blijft. Dit maakt diffusie-modellen een haalbaar alternatief voor autoregressieve modellen in real-world toepassingen waar snelheid en doorvoer essentieel zijn, zoals bij het verwerken van lange documenten of complexe visuele taken.