Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models

Titel

Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models

1. Het Probleem

De auteurs identificeren twee kritieke tekortkomingen in Diffusion Multimodal Large Language Models (dMLLMs) wanneer deze worden gebruikt voor visueel-gebaseerd redeneren (Chain-of-Thought of CoT):

1. Vroegtijdige Antwoordgeneratie (Early Answer Generation):
   In tegenstelling tot autoregressieve (AR) modellen die token voor token genereren, herstellen dMLLMs meerdere tokens parallel. De analyse toont aan dat dMLLMs de definitieve antwoordtoken vaak te vroeg genereren (bijvoorbeeld binnen de eerste 7 stappen van een 32-staps proces), voordat er voldoende redenering heeft plaatsgevonden. Het model genereert het antwoord eerst en bouwt vervolgens de redenering rondom dit alvast vastgestelde antwoord, wat leidt tot inferieure prestaties.

2. Zwakke Visuele Grounding in Vroege Fasen:
   AR-modellen vertonen een hoge afhankelijkheid van visuele input in de vroege generatiefasen. dMLLMs vertonen echter een omgekeerd patroon: ze tonen in de vroege diffusion-stappen minimale afhankelijkheid van visuele prompts. Visuele informatie wordt pas in latere stappen significant opgenomen. Dit betekent dat het model antwoorden genereert zonder de visuele input effectief te hebben verwerkt, wat de nauwkeurigheid van het redeneren ondermijnt.

2. Methodologie

Om deze problemen op te lossen, stellen de auteurs twee trainingsvrije methoden voor die direct tijdens de inferentie kunnen worden toegepast:

A. Position & Step Penalty (PSP)

• Doel: Het uitstellen van de generatie van antwoord-tokens naar latere tijdstappen om progressief redeneren te stimuleren.
• Werking: PSP past een straf toe op de betrouwbaarheidsscores (confidence scores) van tokens die zich aan het einde van de responsreeks bevinden (waar het antwoord meestal staat), specifiek in de vroege diffusion-stappen.
• Formule: De score $\tilde{C}_j^i$ voor token $j$ op stap $i$ wordt verlaagd met een factor die afhangt van de relatieve positie van het token en de voortgang van het diffusion-proces:
  $$\tilde{C}_j^i = C_j^i \cdot [1 - \gamma(1 - \tau_i) \cdot rel(j)]$$
  Waarbij $\gamma$ de strafsterkte is, $\tau_i$ de relatieve voortgang van de diffusion, en $rel(j)$ de genormaliseerde positie van het token. Dit dwingt het model om eerst tussenstappen (rationales) te genereren voordat het het definitieve antwoord toestaat.

B. Visual Reasoning Guidance (VRG)

• Doel: Het versterken van de afhankelijkheid van visuele bewijzen tijdens het redeneringsproces.
• Werking: Geïnspireerd op Classifier-Free Guidance (CFG) uit beeldgeneratie, vergroot VRG het verschil tussen de logit-verdeling conditioned op de visuele input en de unconditional verdeling.
• Formule:
  $$\text{logits}_{vrg} = \text{logits}_{uncond} + (s_{vrg} + 1) \cdot (\text{logits}_{cond} - \text{logits}_{uncond})$$
  Waarbij $s_{vrg}$ de schaal voor visuele leiding is. Dit versterkt de invloed van de visuele prompt op de token-selectie, waardoor het model eerder en consistenter visuele informatie integreert.

3. Belangrijkste Bijdragen

1. Eerste Kwantitatieve Analyse: De auteurs bieden de eerste diepgaande analyse van het redeneringsproces van dMLLMs met CoT-prompting, waarbij ze de fenomenen "Early Answer Generation" en "Weak Visual Grounding" kwantificeren.
2. Nieuwe Inferentie-Strategieën: Introductie van PSP en VRG als effectieve, trainingsvrije methoden om de redeneerprestaties van diffusion-modellen te verbeteren zonder de modelarchitectuur te wijzigen.
3. Superieure Efficiëntie en Kwaliteit: Het bewijs dat deze methoden niet alleen de nauwkeurigheid verhogen, maar ook de inferentie-efficiëntie drastisch verbeteren in vergelijking met het simpelweg verhogen van het aantal diffusion-stappen.

4. Resultaten

De methoden zijn getest op verschillende benchmarks (M3CoT, MMBench, SQA-IMG, V* Bench) met modellen zoals LaViDa en MMaDa.

• Nauwkeurigheid: De combinatie van PSP en VRG leidt tot een tot 7,5% hogere nauwkeurigheid in vergelijking met baselines.
• Efficiëntie: De methode levert een meer dan 3x versnelling op in inferentie-tijd. Bijvoorbeeld, de methode bereikt met 64 tokens en 32 diffusion-stappen een hogere nauwkeurigheid dan de baseline met 256 tokens en 128 diffusion-stappen (vier keer meer stappen).
• Ablatie-studies: Zowel PSP als VRG verbeteren de prestaties individueel, maar de combinatie levert de beste resultaten op. De methode is robuust over verschillende remasking-strategieën (Low-confidence, Entropy, Margin) en modelgroottes.
• Visuele Grounding: Met VRG stijgt de Visual Prompt Dependency Measure (PDM) aanzienlijk in de vroege stappen, wat aantoont dat het model nu effectiever gebruikmaakt van visuele input tijdens het redeneren.

5. Betekenis en Conclusie

Dit paper is significant omdat het een fundamenteel probleem in de opkomst van diffusion-based multimodale modellen aanpakt. Het toont aan dat de parallelle generatiemechanismen van diffusion-modellen, hoewel sneller, specifieke uitdagingen met zich meebrengen voor complexe redeneringstaken die niet opgelost kunnen worden met technieken die voor autoregressieve modellen zijn ontworpen.

Door het gebruik van PSP en VRG sluiten dMLLMs de prestatiekloof met autoregressieve VLMs in redeneringstaken, terwijl ze hun unieke voordeel behouden: snellere inferentie. Dit opent nieuwe wegen voor het gebruik van diffusion-modellen in toepassingen waar zowel snelheid als diep visueel inzicht vereist is, zonder dat er extra training nodig is.