🤖 machine learning

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

Dit artikel introduceert Visual-Redundancy-Controlled Decoding (VRCD), een trainingsvrije inferentiemethode voor op diffusie gebaseerde multimodale grote taalmodellen die de beperkingen van onafhankelijke op vertrouwen gebaseerde tokenselectie mitigeert door visueel complementaire posities te prioriteren om redundantie te verminderen en de nauwkeurigheid op multimodale benchmarks aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Yulin Yuan, Hongshuo Zhao, Xiangming Meng

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yulin Yuan, Hongshuo Zhao, Xiangming Meng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Een Team van Kunstenaars dat Samen een Schilderij Maakt

Stel je voor dat je een team van kunstenaars hebt dat probeert een schilderij van een scène te maken op basis van een beschrijving. Op de oude manier van werken (genaamd "autoregressief") zouden ze één klein penseelstreekje tegelijk schilderen, wachtend tot het vorige droog is voordat ze beginnen met het volgende. Dit is traag.

De nieuwe methode die in dit artikel wordt beschreven (genaamd Diffusion-based Multimodal Large Language Models, of dMLLMs) is als een team van kunstenaars dat parallel werkt. In plaats van één streek te schilderen, kijken ze naar het hele doek, raden ze tegelijkertijd hoe veel verschillende delen van het schilderij eruit zouden moeten zien, en beslissen ze vervolgens welke van die gokken goed genoeg zijn om als definitieve verf te "vergrendelen".

Het Probleem: Iedereen Kijkt naar Dezelfde Plek

Het artikel identificeert een specifiek probleem met hoe deze teams momenteel beslissen welke gokken ze vergrendelen.

Meestal kijkt de teamleider naar de gok van elke kunstenaar en zegt: "Oké, Kunstenaar A is 90% zeker van deze boom, en Kunstenaar B is 90% zeker van die boom. Laten we beide vergrendelen!"

De fout: Het artikel betoogt dat Kunstenaar A en Kunstenaar B misschien allebei naar de exact dezelfde boom in de referentiefoto kijken. Ze zijn allebei zelfverzekerd, maar ze leveren redundante informatie. Ze staren allebei naar hetzelfde visuele detail.

Omdat ze twee gokken over dezelfde boom hebben vergrendeld, heeft het team nu zijn visuele aandacht voor die ene plek "opgebruikt". Ze hebben minder visuele informatie over om hen te helpen de andere delen van het schilderij (zoals de lucht of het gras) in de volgende ronde van schilderen te achterhalen.

De auteurs noemen dit "Visuele Redundantie". Het is als een comité waar iedereen over hetzelfde ding stemt, waardoor niemand over de andere belangrijke kwesties stemt.

De Oplossing: De "Visuele Redundantie Controller" (VRCD)

Om dit op te lossen, hebben de auteurs een nieuwe regel voor de teamleider bedacht genaamd VRCD (Visual-Redundancy-Controlled Decoding).

In plaats van alleen te vragen: "Wie is het meest zelfverzekerd?", vraagt VRCD: "Wie is zelfverzekerd, EN wie kijkt naar een ander deel van het schilderij?"

Zo werkt VRCD, stap voor stap:

De Kandidatenlijst: Eerst verzamelt het de topkunstenaars die het meest zelfverzekerd zijn in hun gokken (precies als voorheen).
De "Blik" Check: Het kijkt naar waar elke kunstenaar naar kijkt in de referentiefoto. Het gebruikt een speciaal hulpmiddel (genaamd "token-to-image attention") om te zien of Kunstenaar A en Kunstenaar B naar hetzelfde blad of dezelfde wolk staren.
De Straf: Als twee kunstenaars naar dezelfde plek staren, geeft VRCD hen een "redundantiestraf". Het zegt: "Jullie hebben allebei gelijk, maar jullie herhalen elkaar."
De Selectie: VRCD kiest vervolgens de groep kunstenaars die zelfverzekerd zijn en naar de meest diverse, aanvullende delen van de afbeelding kijken.

Het Resultaat: Een Betere Teamdynamiek

Door het team te dwingen kunstenaars te kiezen die naar verschillende delen van de afbeelding kijken, vond het artikel dat:

Minder Verwarring: Het team verspillen geen tijd aan het opnieuw onderzoeken van hetzelfde object.
Betere Context: Omdat ze een diverse reeks details hebben vergrendeld (een boom, een wolk en een auto), hebben de overige kunstenaars een veel rijkere "context" om hen te helpen de rest van het schilderij in de volgende ronde te raden.
Snelheid: Het team vertraagt niet veel. Het is een zeer lichtgewicht check, als een snelle blik, in plaats van een volledige herbewerking.

Het Bewijs

De auteurs hebben dit getest op verschillende moeilijke puzzels (benchmarks) die afbeeldingen en tekst betreffen, zoals:

M3CoT: Complexe redeneervragen met meerdere stappen.
MMBench: Algemene visuele en taalbegrip.

Ze ontdekten dat het gebruik van VRCD de modellen aanzienlijk accurater maakte (tot bijna 19% beter op sommige complexe taken) in vergelijking met de standaardmethode. De modellen maakten minder fouten omdat ze niet "dubbel" gebruik maakten van dezelfde visuele aanwijzingen.

Samenvattende Analogie

Stel je voor dat je een puzzel aan het in elkaar zetten bent met een groep vrienden.

De Oude Manier: Je vraagt iedereen: "Welk stukje past hier?" en je pakt de eerste drie stukjes die iemand zegt dat ze passen, zelfs als ze allemaal stukjes voor de lucht zijn. Je eindigt met drie luchtstukjes en geen stukjes voor de grond.
De VRCD Manier: Je vraagt: "Wat past hier?" en je pakt de stukjes die passen, maar je zorgt ervoor dat je niet drie luchtstukjes pakt. Je pakt één luchtstukje, één grondstukje en één boomstukje. Nu, als je probeert de rest van de puzzel in te vullen, heb je een veel beter idee van hoe het hele plaatje eruit ziet.

Dit artikel leert de AI simpelweg hoe ze een betere puzzelbouwer kan zijn door ervoor te zorgen dat ze op elk moment een diverse reeks visuele aanwijzingen kiest.

Technische Samenvatting: Visuele-Redundantie-Gestuurde Parallelle Decoding voor Diffusie-gebaseerde Multimodale Grootte Taalmodellen

1. Probleemstelling

Diffusie-gebaseerde Multimodale Grootte Taalmodellen (dMLLMs) genereren tekst door iteratief meerdere gemaskerde posities parallel te decoderen, geconditioneerd op visuele invoer. In tegenstelling tot autoregressieve modellen die een prefix token-voor-token uitbreiden, moeten dMLLMs bij elke decodestap beslissen welk subset van gemaskerde posities ze "vastleggen" (ontmaskeren) om te dienen als context voor daaropvolgende stappen.

Bestaande decodestrategieën, voornamelijk op vertrouwen gebaseerde decoding, selecteren de top- $K$ posities met de hoogste voorspelde token-kansen. Hoewel dit efficiënt is, behandelt deze aanpak elke positie onafhankelijk. De auteurs identificeren een kritieke beperking in multimodale settings: visuele redundantie. Hoog-vertrouwde tokens die in dezelfde stap worden geselecteerd, kunnen afhankelijk zijn van overlappende visuele gronding (d.w.z. aandacht richten op dezelfde beeldregio's of objecten). Wanneer dergelijke tokens samen worden vastgelegd, bieden ze redundante visuele context in plaats van complementaire aanwijzingen, wat potentieel de capaciteit van het model om de resterende gemaskerde posities op te lossen die diverse visuele informatie vereisen, kan verslechteren. Deze redundantie verschilt van semantische herhaling in de gegenereerde tekst of redundantie binnen de invoer-visuele tokens; het verwijst specifiek naar de overlap in visuele gronding tussen tekstuele tokens die gelijktijdig worden ontmaskerd.

2. Methodologie

2.1 Visuele Redundantie Index (VRI)

Om de mate van overlappende visuele gronding onder vastgelegde tokens te kwantificeren, introduceren de auteurs de Visuele Redundantie Index (VRI).

Definitie: Gegeven een set vastgelegde posities $S_t$ bij stap $t$ , meet VRI de overlap in token-naar-beeld aandacht.
Mechanisme: Voor elke beeldtoken $u$ wordt de totale toegewezen aandachtsgewicht berekend door de vastgelegde tokens. De maximale enkele bijdrage wordt afgetrokken om het "redundante" gewicht te isoleren dat door extra tokens wordt toegewezen.
Formule:
$\text{VRI}(S_t) = \frac{\sum_{u=1}^{N} (\sum_{i \in S_t} v_i(u) - \max_{i \in S_t} v_i(u))}{m - 1}$
waarbij $v_i(u)$ de genormaliseerde aandacht is van teksttoken $i$ naar beeldtoken $u$ , en $m = |S_t|$ . Een lagere VRI duidt op minder visuele redundantie.

2.2 Visuele-Redundantie-Gestuurde Decoding (VRCD)

De auteurs stellen VRCD voor, een trainingsvrije, inferentie-tijd decodermethode ontworpen om visuele redundantie te verminderen zonder de onderliggende modelgewichten te wijzigen. VRCD werkt als een lichtgewicht herordeningmechanisme:

Constructie van Kandidaatvenster: In plaats van alle gemaskerde posities te evalueren, construeert VRCD een kandidaatvenster $U_t$ dat de top- $M_t$ posities bevat op basis van initiële vertrouwensscores, waarbij $M_t$ een functie is van de vastleggingsgrootte $K_t$ en een schalingsfactor $\lambda$ .
Extractie van Visuele Saliëntie: Voor elke kandidaat extrahert de methode genormaliseerde token-naar-beeld aandacht uit de laatste decoderlaag. Om ruis te verminderen, wordt een uniform component ( $1/N$ ) afgetrokken, en worden alleen positieve residu-aandachtsgewichten behouden en genormaliseerd.
Berekening van Paarsgewijze Overlap: De visuele overlap tussen elk paar kandidaten $(i, j)$ wordt berekend met behulp van de intersectie van hun saliëntieverdelingen (bijv. $\sum \sqrt{q_i(u)q_j(u)}$ ).
Berekening van Redundantiescore: Overlappen worden omgezet in percentielrangen binnen het huidige venster. Een token-niveau redundantiescore $r_i$ wordt berekend als een op vertrouwen gewogen som van zijn overlappen met andere waarschijnlijke kandidaten. Dit zorgt ervoor dat tokens die overlappen met hoog-vertrouwde buren zwaarder worden bestraft.
Herverdeling: De oorspronkelijke vertrouwensscore $c_i$ wordt herverdeeld om een redundantie-gestuurde score $s_i$ te vormen:
$s_i = c_i (r_i + 1)^{-\alpha}$
waarbij $\alpha$ de sterkte van de redundantiestraf controleert.
Selectie: De top- $K_t$ posities met de hoogste $s_i$ worden vastgelegd. Dit proces prioriteert hoog-vertrouwde tokens die visueel complementaire gronding bieden.

3. Belangrijkste Bijdragen

Identificatie van Visuele Redundantie: Het artikel identificeert en formaliseert het fenomeen waarbij individueel vertrouwenwekkende tokens in parallelle decodestappen afhankelijk zijn van overlappende visuele gronding, een factor die eerder werd over het hoofd gezien in dMLLM-decodestrategieën.
VRI-metriek: Introductie van de Visuele Redundantie Index (VRI) om systematisch visuele grondingoverlap over decodestappen te kwantificeren en te analyseren.
VRCD-algoritme: Voorstellen van een lichtgewicht, trainingsvrije herordeningmethode die token-naar-beeld aandacht gebruikt om visueel complementaire posities te prioriteren, waardoor redundantie wordt verminderd terwijl de efficiëntie van vertrouwen-gebaseerde decoding behouden blijft.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf multimodale benchmarks: M3CoT (meerdere-staps redenering), MMBench (algemene visueel-taal), SQA-IMG (wetenschap QA), DocVQA en InfoVQA. Het gebruikte backbone-model was LaViDa (gebaseerd op LLaDA-8B).

Prestatiewinsten: VRCD presteerde consequent beter dan vertrouwen-gebaseerde decoding en andere baselines (Margin, Entropy, InfoGain) over verschillende decodelengtes ( $L=192, 384$ $L = 192, 384$ ) en forward ratios (FR).
- Op M3CoT behaalde VRCD relatieve nauwkeurigheidswinsten van tot 18,8% ten opzichte van vertrouwen-gebaseerde decoding.
- Op MMBench bereikten de winsten 6,9%.
- Verbeteringen waren het meest significant bij taken die lang-horizon multimodale redenering vereisen (M3CoT, MMBench, SQA-IMG) in vergelijking met kort-antwoord taken (DocVQA, InfoVQA).
Reductie van Redundantie: VRCD verlaagde de gemiddelde VRI over alle decodestappen significant in vergelijking met baselines, wat bevestigt dat het in staat is tokens met minder overlappende visuele gronding te selecteren.
Voorspellende Zekerheid: De methode verlaagde de entropie van resterende gemaskerde posities, wat wijst op hogere voorspellende zekerheid voor toekomstige stappen.
Efficiëntie: VRCD introduceerde minimale runtime-overhead (ongeveer 1,5% toename in runtime), met behoud van een doorvoer (tokens/s) die dicht bij de baseline ligt, terwijl andere geavanceerde methoden zoals InfoGain aanzienlijk hogere rekenkosten met zich meebrachten.
Ablatiestudies:
- De hyperparameter $\alpha$ (sterkte van redundantiestraf) toonde optimale prestaties bij $\alpha=1.5$ voor M3CoT en $\alpha=2.0$ voor MMBench; een vaste matige instelling werd gebruikt over alle benchmarks.
- Op vertrouwen gewogen aggregatie van redundantiescores presteerde beter dan uniforme middeling.
- Visuele Saliëntie Extractie (VSE) bleek cruciaal voor effectieve overlap-schatting.

5. Betekenis en Claims

Het artikel claimt dat visuele redundantie een kritiek, maar tot nu toe onbehandeld, signaal is voor parallelle decoding in visueel gegronde dMLLMs. Door de decodbeslissing te verschuiven van "welk individuele token het meest vertrouwenwekkend is" naar "welke set tokens complementaire visuele gronding biedt", verbetert VRCD de kwaliteit van de gegenereerde context voor daaropvolgende stappen.

De auteurs benadrukken dat VRCD een plug-in, trainingsvrije methode is die de decodkwaliteit verbetert zonder modelhertraining of aanzienlijke rekenkosten te vereisen. Het werk suggereert dat het beheersen van de diversiteit van visuele gronding tijdens parallelle vastlegging essentieel is voor het maximaliseren van de efficiëntie en nauwkeurigheid van diffusie-gebaseerde multimodale generatie. Voor toekomstig werk wordt voorgesteld adaptieve decodplanningen te verkennen die vastleggingsgroottes dynamisch aanpassen op basis van visuele redundantiesignalen.