💻 computer science

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

LaViDa introduceert een nieuwe familie van Vision-Language Modellen gebouwd op discrete diffusiemechanismen die parallelle decodering en bidirectionele context benutten om competitieve prestaties, snellere inferentie en verbeterde controleerbaarheid te bereiken in vergelijking met traditionele autoregressieve modellen.

Oorspronkelijke auteurs: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers tegelijkertijd kunnen "zien" en "spreken". Dit is het domein van Vision-Language Models (VLM's), de superintelligente AI-assistenten die naar een foto van een zonsondergang kunnen kijken en er een gedicht over kunnen schrijven, of een complexe grafiek kunnen analyseren en de trends kunnen uitleggen. Jarenlang was de standaardmanier waarop deze modellen denken als een student die een toets maakt: ze beantwoorden deze woord voor woord, strikt van links naar rechts. Ze schrijven "De", dan "hemel", dan "is", zonder ooit terug te kijken om een eerder woord te veranderen. Hoewel dit goed werkt, is het traag omdat ze niet parallel kunnen schrijven, en het is rigide; als ze het eerste woord van een zin fout doen, kunnen ze niet gemakkelijk teruggaan om het te herstellen zonder opnieuw te beginnen.

Maar wat als er een andere manier was? Stel je voor dat je, in plaats van een zin woord voor woord te schrijven, begint met een blanco pagina vol vraagtekens en deze langzaam invult, waarbij je beslist welke woorden waar komen, terwijl je je keuzes constant verfijnt tot het beeld duidelijk is. Dit is het idee achter "diffusiemodellen". Oorspronkelijk beroemd geworden door het creëren van prachtige afbeeldingen vanuit ruis, hebben onderzoekers onlangs geprobeerd deze "invul-de-blanks"-aanpak voor tekst te gebruiken. De grote vraag is: Kunnen we deze flexibele, parallelle manier van denken combineren met het vermogen om afbeeldingen te zien? Als we dat zouden kunnen, zouden we AI kunnen krijgen die niet alleen slimmer is in het volgen van strikte regels (zoals het schrijven van een gedicht waarbij elke regel met een specifieke letter begint), maar ook veel sneller, omdat het niet hoeft te wachten tot het ene woord klaar is voordat het aan het volgende kan beginnen.

Maak kennis met LaViDa (Large Vision-Language Diffusion Model), een nieuwe familie van AI-modellen geïntroduceerd door onderzoekers van UCLA, Panasonic, Adobe en Salesforce. Denk aan LaViDa als de eerste "multitasking-kunstenaar" die de diffusiemethode gebruikt om afbeeldingen te begrijpen en erover te schrijven. In plaats van een verhaal woord voor woord te schrijven zoals een traditionele robot, begint LaViDa met een blanco canvas van "masks" (placeholders) en onthult geleidelijk het antwoord, waarbij het de gaten invult op een manier die het model toestaat om naar de hele zin tegelijkertijd te kijken.

De onderzoekers ontdekten dat deze aanpak een paar superkrachten heeft. Omdat LaViDa de hele zinstructuur kan bekijken voordat het de definitieve versie maakt, is het ongelooflijk goed in taken die strikte regels vereisen, zoals het voltooien van een gedicht waarbij elke regel met een specifieke letter moet beginnen. In tests versloeg het de concurrentie op deze "beperkte" taken grondig, met een verbetering van 59% vergeleken met de beste standaardmodellen. Het biedt ook een unieke "snelheidsregelaar" voor gebruikers: je kunt het de opdracht geven om super snel te zijn door minder gaten tegelijk in te vullen, of superhoogwaardig door meer stappen te nemen om het antwoord te verfijnen. Op het gebied van beeldbeschrijvingen (image captioning) wist het bijna 2 keer sneller te zijn dan zijn rivalen, terwijl het tegelijkertijd betere beschrijvingen schreef (een score van +4,1 punten hoger op een kwaliteitsmetriek genaamd CIDEr).

De paper merkt echter ook op dat deze nieuwe methode geen toverstaf is die alles direct oplost. De onderzoekers moesten een aantal slimme trucs bedenken om het goed te laten werken. Voor één ding creëerden ze een "complementaire masking"-techniek, wat er eigenlijk op neerkomt het model twee verschillende versies van een puzzel te geven om tegelijkertig op te lossen, zodat het geen belangrijke aanwijzingen mist. Ze bouwden ook een "Prefix-DLM"-systeem, dat fungeert als een slimme snelkoppeling, waardoor het model de afbeelding en de vraag kan onthouden zonder ze elke keer dat het een nieuw woord raadt, opnieuw te moeten lezen.

Ondanks deze successen is de paper voorzichtig in het benoemen van de gebieden waar LaViDa nog groeiruimte heeft. Hoewel het andere modellen verslaat op veel redeneer- en algemene kennisvragen, worstelt het soms met het lezen van kleine tekst in afbeeldingen (OCR), omdat het de details van de afbeelding moest comprimeren om in zijn geheugen te passen. De auteurs suggereren dat, hoewel diffusiemodellen een krachtig en veelbelovend alternatief zijn voor de standaard "woord-voor-woord"-aanpak, ze nog steeds leren hoe ze kunnen opschalen om te kunnen wedijveren met de allergrootste, meest data-hongerige AI-modellen die er zijn. Uiteindelijk bewijst LaViDa dat de "vul-de-blanks"-methode niet alleen bedoeld is voor het maken van plaatjes; het kan een sterke, flexibele en snelle manier zijn voor computers om onze visuele wereld te begrijpen.

Technische Samenvatting: LaViDa - Een Groot Diffusie-Taalmodel voor Multimodale Begrip

Probleemstelling

Moderne Vision-Language Models (VLM's) vertrouwen voornamelijk op Autoregressieve (AR) architecturen (bijv. LLaVA, Qwen-VL), die tekst token voor token genereren in een sequentie van links naar rechts. Hoewel effectief, lijdt deze aanpak onder inherente beperkingen:

Inference Snelheid: Sequentiële generatie is moeilijk te parallelliseren, wat leidt tot trage inferentie.
Controleerbaarheid: AR-modellen hebben moeite met taken die bidirectionele context of strikte structurele beperkingen vereisen, zoals tekst-infilling (bijv. het voltooien van een gedicht met specifieke lettergreepbeginletters) of het genereren van gestructureerde outputs (bijv. JSON) waarbij de inhoud over de sequentie heen gecoördineerd moet worden.

Discrete Diffusie Modellen (DM's) bieden een theoretisch alternatief door generatie te behandelen als een proces van geleidelijk ontmaskeren van tokens. Ze maken parallel decoderen en bidirectionele contextmodellering mogelijk. De toepassing ervan op multimodale taken blijft echter onderbelicht, en naïeve aanpassingen kampen met aanzienlijke uitdagingen op het gebied van trainingsefficiëntie en inferentiesnelheid.

Methodologie

De auteurs introduceren LaViDa (Large Vision-Language Diffusion Model with Masking), de eerste familie van VLM's gebouwd op discrete diffusiemodellen. De architectuur integreert een vision encoder met een diffusie-taalmodel (DLM) via een MLP-projector, analoog aan AR-gebaseerde VLM's zoals LLaVA.

Kernarchitectuur

Vision Encoder: Gebruikt SigLIP-400M om invoerbeelden te verwerken. Om resolutie en sequentielengte in balans te houden, worden afbeeldingen vergroot en verdeeld in meerdere views (vier $384^2$ views en één $768^2$ view die naar $384^2$ is vergroot). Deze worden gecodeerd en gepooled ( $2\times2$ average pooling) om het aantal tokens per afbeelding te reduceren tot 980 vóór projectie.
Diffusion Language Model: Een Transformer-gebaseerde DLM (gebruikmakend van LLaDA-8B of Dream-7B backbones) die de causale aandacht-mask van AR-modellen vervangt door een niet-causaal (bidirectioneel) mask. Het is getraind om schone tokens $X_0$ te voorspellen gegeven een gedeeltelijk gemaskeerde sequentie $X_t$ en visuele/prompt context.

Belangrijke Technische Innovaties

Om de specifieke uitdagingen van het toepassen van DM's op vision-language taken aan te pakken, bevat LaViDa drie nieuwe technieken:

Complementaire Maskering (Trainingsefficiëntie):
- Probleem: Standaard DM-training maskeert tokens stochastisch. In multimodale taken kunnen cruciale antwoord-tokens (vaak kort en schaars) in een enkele sample ongemaskeerd blijven, waardoor ze worden uitgesloten van de loss-berekening en dit zorgt voor verkeerd uitgelijnde gradiënten voor de vision encoder.
- Oplossing: Voor elke trainingssample genereert het model twee gemaskeerde versies ( $X_t$ en $X^C_t$ ) met disjunct gecorrumpeerde segmenten. Dit zorgt ervoor dat elk token in de output-sequentie bijdraagt aan de loss. Vision embeddings worden gekopieerd voor beide versies om de efficiëntie te maximaliseren.
Prefix-DLM (Inference Snelheid):
- Probleem: DM's kunnen doorgaans geen gebruik maken van KV-caching omdat ze volledige bidirectionele aandacht vereisen, wat leidt tot herhaalde herberekening van keys en values voor de gehele prompt (inclusief honderden visuele tokens) bij elke decoding stap.
- Oplossing: Er is een gespecialiseerd aandacht-mask geïntroduceerd waarbij visuele en prompt-tokens (de "prefix") alleen naar andere prefix-tokens kunnen kijken, terwijl antwoord-tokens naar alle tokens kunnen kijken. Dit maakt het mogelijk om de keys en values van de visuele en prompt embeddings te cachen, wat de latentie aanzienlijk vermindert.
Timestep Shifting (Snelheid-Kwaliteit Afweging):
- Probleem: Lineaire maskeringsschema's (het ontmaskeren van een vast aantal tokens per stap) presteren slecht bij een laag aantal stappen, wat de kwaliteit van de samples verslechtert.
- Oplossing: Geïnspireerd door beeld-diffusiemodellen (SD3), hanteren de auteurs een convex timestep shifting schema ( $\alpha = 1/3$ ). Dit ontmaskert adaptief meer tokens in de vroege stadia van het reverse proces, waardoor agressieve stap-reductie (snellere inferentie) mogelijk is zonder significante kwaliteitsverlies.

Experimentele Resultaten

LaViDa werd geëvalueerd op een breed scala aan benchmarks, waaronder algemeen begrip (MMMU, MME), redeneren (MathVista, ScienceQA), OCR (ChartQA, TextVQA) en beperkte generatietaken.

Competitieve Prestaties: LaViDa bereikt prestaties die vergelijkbaar zijn met of superieur aan AR-baselines (LLaVA-1.6-7B, Open-LLaVA-Next-Llama3-8B) op de meeste benchmarks. Opvallend genoeg behaalt LaViDa-8B de hoogste score op MMMU (43.3) onder vergelijkbare modellen.
Beperkte Generatie: Op bidirectionale taken zoals "Constrained Poem Completion", presteert LaViDa aanzienlijk beter dan AR-baselines, met een verbetering van 59% in het voldoen aan de beperkingen.
Snelheid en Kwaliteit Afweging:
- Op COCO captioning overtreft LaViDa Open-LLaVA-Next-Llama3-8B met +4.1 CIDEr terwijl het een 1.92× versnelling biedt.
- Door het aantal diffusie stappen (NFE) aan te passen, biedt LaViDa een flexibele afweging: bij 50% NFE is het sneller dan AR-baselines terwijl het een betere kwaliteit behoudt; bij 25% NFE is het aanzienlijk sneller met een prestatiedaling.
Ablatie Studies: Complementaire maskering bleek de ScienceQA prestaties met 67% te verbeteren ten opzichte van standaard maskering. De Prefix-DLM cache zorgde voor een tot wel 3.9× versnelling in inferentie-latentie met minimale prestatiekosten.

Betekenis en Claims

Het artikel claimt dat LaViDa aantoont dat diffusie-gebaseerde benaderingen competitief kunnen schalen met autoregressieve modellen voor vision-language taken, terwijl ze unieke voordelen bieden die AR-modellen niet gemakkelijk kunnen repliceren.

Eerste in zijn soort: LaViDa wordt gepresenteerd als de eerste familie van VLM's gebaseerd op discrete diffusiemodellen.
Paradigmaverschuiving: Het bewijst dat DM's niet alleen theoretische alternatieven zijn, maar praktische oplossingen die een flexibele snelheid-kwaliteit afweging en superieure controleerbaarheid bieden voor gestructureerde generatie en tekst-infilling.
Schaalbaarheid: Het werk breidt het succes van diffusiemodellen van het taaldomein (bijv. LLaDA, Dream) uit naar de visuele ruimte, en valideert dat met de juiste training en inferentie technieken (complementaire maskering, prefix caching, timestep shifting), DM's complexe multimodale instructie-opvolging kunnen afhandelen.

De auteurs merken beperkingen op, met name in de OCR-prestaties (toe te schrijven aan de noodzakelijke token-compressie via average pooling) en de huidige kloof tussen LaViDa en state-of-the-art AR-modellen die getraind zijn op aanzienlijk grotere datasets. Zij suggereren dat toekomstig werk de schaalbaarheid van DM's met grotere modellen en meer data moet verkennen.