Technische Samenvatting: Het Mitigeren van Mask Prior Drift en Positionele Attention Collapse in Grote Diffusie Vision-Language Modellen

Probleemstelling

Grote Diffusie Vision-Language Modellen (LDVLMs) zijn een veelbelovend alternatief voor autoregressieve modellen, met parallelle decoding voor efficiëntie en bidirectionele attention voor globale context. Deze paper identificeert echter twee fundamentele faalmodi die de prestaties tijdens langdurige multimodale generatie verslechteren:

1. Mask Prior Drift (Repetitieve Generatie): LDVLMs initialiseren alle generatietokens als een gedeelde mask-token ($M$). De auteurs observeren dat, naarmate de generatie vordert, de verborgen representaties van deze tokens progressief afwijken naar een gedeelde prior-richting (nauw verwant aan de gemiddelde vocabulaire-embedding). Deze convergentie beperkt de semantische diversiteit, waardoor het model herhaaldelijk specifieke functietokens genereert (bijv. "de", ",", "\n"), ongeacht de inputcontext. Dit probleem wordt verergerd wanneer het aantal generatiestappen wordt verminderd om de inferentiesnelheid te verbeteren.
2. Positionele Attention Collapse (Verslechterde Visuele Grounding): LDVLMs maken doorgaans gebruik van Rotary Position Embeddings (RoPE) om relatieve posities te coderen. De paper stelt vast dat de inherente localiteitsbias van RoPE, gecombineerd met het iteratieve unmask-proces, ervoor zorgt dat attention instort naar nabijgelegen, semantisch onvolledige mask-tokens. Bijgevolg wordt attention naar verre, informatieve visuele tokens onderdrukt, wat leidt tot slechte visuele grounding en hallucinaties in langdurige beschrijvingen.

Methodologie

Om deze problemen op te lossen zonder hertraining, stellen de auteurs twee inferentie-technieken voor:

1. Mask Prior Suppression (MPS)

Deze techniek beoogt de verborgen staten van generatietokens te debiasen om te voorkomen dat ze instorten in de gedeelde prior.

• Mechanisme: De methode benadert de mask-token prior met behulp van de gemiddelde vocabulaire-embedding ($\hat{e}$), die dient als een context-onafhankelijke proxy voor de dominante instortingsrichting.
• Implementatie:
  • Het vocabulaire-gemiddelde wordt door de transformer-lagen gevoerd om gemiddelde representaties per laag te verkrijgen.
  • Er wordt een hoofdcomponentenanalyse (PCA) uitgevoerd op deze representaties om een laag-dimensionale "prior-ruimte" te definiëren.
  • Voor elke generatietoken in de laatste verborgen staat wordt het component dat is uitgelijnd met deze prior-ruimte adaptief onderdrukt op basis van cosinus-similariteit.
  • De modificatie is minimaal en beïnvloedt slechts een klein deel van de dimensies (bijv. 3 van de 4096), waardoor de geleerde dynamiek van het model behouden blijft terwijl representatieve instorting wordt voorkomen.

2. Monotone RoPE Scaling (MRS)

Deze techniek adresseert de misalignatie tussen de localiteitsbias van RoPE en de behoefte aan globale visuele toegang in LDVLMs.

• Mechanisme: Standaard RoPE behandelt alle frequentiecomponenten uniform. De auteurs observeren dat hoogfrequente componenten kortafstands-attention domineren (mask-naar-mask), terwijl laagfrequente componenten noodzakelijk zijn voor langafstands-interacties (generatie-naar-visueel).
• Implementatie:
  • Er wordt een frequentie-bewuste schalingsfunctie toegepast op de RoPE-rotatiehoeken.
  • Laagfrequente componenten (geassocieerd met langafstands-positional relaties) worden progressief versterkt met behulp van een op een sigmoid gebaseerd monotone schalingschema.
  • Hoogfrequente componenten worden grotendeels behouden (schalingsfactor $\approx 1$).
  • Deze aanpassing versterkt attention naar verre visuele tokens zonder de relatieve afstandsstructuur die nodig is voor lokale coherentie te verstoren.

Belangrijkste Bijdragen

1. Systematische Analyse: De paper biedt een gedetailleerde empirische analyse die aantoont dat repetitieve generatie in LDVLMs voortkomt uit een "mask prior drift" naar het vocabulaire-gemiddelde, en dat verslechterde visuele grounding wordt veroorzaakt door "positionele attention collapse" als gevolg van de localiteitsbias van RoPE.
2. Trainingsvrije Oplossingen: De auteurs introduceren MPS en MRS, twee plug-and-play inferentie-technieken die geen parameterupdates, hertraining of extra data vereisen.
3. Uitgebreide Evaluatie: De methoden zijn gevalideerd op diverse LDVLM-architecturen (LLaDA-V, LaViDa) en benchmarks die algemene redenering, visuele grounding en langdurige generatie bestrijken.

Resultaten

Experimenten tonen consistente verbeteringen ten opzichte van baseline LDVLMs:

• Visuele Grounding: Significante winst op de RefCOCOg-, Ferret- en GQA-benchmarks. Bijvoorbeeld, op LaViDa verbeterde de RefCOCOg-accuraatheid van 36,9 naar 44,0, en Ferret van 25,9 naar 35,7.
• Langdurige Generatie: Substantiële reducties in token-repetitie en toenames in lexicaal diversiteit (Distinct-n) op LLaVA-Bench, DetailCaps en MIA. De methoden mitigeren effectief de "repetitie-ratio" die baselines teistert, vooral bij minder generatiestappen.
• Reductie van Hallucinaties: De aanpak vermindert object-hallucinaties (gemeten met CHAIR en AMBER-G) terwijl object-recall behouden blijft, wat aangeeft dat de verbeteringen voortkomen uit betere visuele grounding in plaats van conservatieve generatie.
• Efficiëntie: De methoden introduceren een verwaarloosbare overhead aan inferentie-latentie (bijv. <0,1s toename voor 64 stappen) en werken zonder de onderliggende modelgewichten te wijzigen.

Betekenis en Claims

De paper claimt dat de geïdentificeerde faalmodi (mask prior drift en attention collapse) inherent zijn aan het huidige LDVLM-paradigma en effectief kunnen worden aangepakt door middel van lichtgewicht, principiële ingrepen op het niveau van representatie en positie.

• Generaliseerbaarheid: De auteurs tonen aan dat hun aanpak generaliseert over verschillende LDVLM-ruggengraten en geünificeerde vision-language architecturen (bijv. MMaDA, Lumina-DiMOO).
• Orthogonaliteit: De voorgestelde methoden opereren op het niveau van representatie en positie, waardoor ze grotendeels orthogonaal zijn aan structurele ingrepen (bijv. het wijzigen van unmask-schema's) en compatibel met bestaande trainingsframeworks.
• Bescheiden Omvang: De auteurs stellen expliciet dat hun analyse empirisch is en niet claimt dat het vocabulaire-gemiddelde alle niet-lineaire dynamiek van mask-token-instorting volledig karakteriseert. Bovendien zijn de methoden ontworpen voor de standaard full-suffix iteratieve unmask-opzet; hun effectiviteit in alternatieve decoding-paradigma's (bijv. semi-autoregressief of blokgewijze diffusie) vereist verder onderzoek. Het werk benadrukt dat deze technieken stabiliteit en betrouwbaarheid verbeteren, maar geen nieuwe generatieve capaciteiten introduceren die verder gaan dan het potentieel van het vooraf getrainde model.