🤖 machine learning

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

Dieses Papier stellt Visual-Redundancy-Controlled Decoding (VRCD) vor, eine trainingsfreie Inferenzmethode für diffusionsbasierte multimodale große Sprachmodelle, die die Einschränkungen einer unabhängigen, konfidenzbasierten Tokenauswahl durch die Priorisierung visuell komplementärer Positionen zur Reduzierung von Redundanz und zur signifikanten Verbesserung der Genauigkeit auf multimodalen Benchmarks mildert.

Ursprüngliche Autoren: Yulin Yuan, Hongshuo Zhao, Xiangming Meng

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yulin Yuan, Hongshuo Zhao, Xiangming Meng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Team von Künstlern, das gemeinsam ein Bild malt

Stellen Sie sich vor, Sie haben ein Team von Künstlern, die versuchen, ein Bild einer Szene basierend auf einer Beschreibung zu malen. Auf die alte Art und Weise (genannt „autoregressiv") würden sie einen winzigen Pinselstrich nach dem anderen malen und warten, bis der vorherige getrocknet ist, bevor sie mit dem nächsten beginnen. Das ist langsam.

Die in diesem Paper beschriebene neue Methode (genannt Diffusion-basierte multimodale Large Language Models oder dMLLMs) ist wie ein Team von Künstlern, das parallel arbeitet. Anstatt einen Strich zu malen, betrachten sie die gesamte Leinwand, raten gleichzeitig, wie viele verschiedene Teile des Bildes aussehen sollten, und entscheiden dann, welche dieser Vermutungen gut genug sind, um als endgültige Farbe „festgelegt" zu werden.

Das Problem: Alle schauen auf dieselbe Stelle

Das Paper identifiziert ein spezifisches Problem damit, wie diese Teams derzeit entscheiden, welche Vermutungen festgelegt werden sollen.

Normalerweise betrachtet der Teamleiter die Vermutungen jedes Künstlers und sagt: „Okay, Künstler A ist zu 90 % sicher bei diesem Baum, und Künstler B ist zu 90 % sicher bei jenem Baum. Lassen Sie uns beide festlegen!"

Der Fehler: Das Paper argumentiert, dass Künstler A und Künstler B möglicherweise beide auf denselben exakten Baum im Referenzfoto schauen. Sie sind beide zuversichtlich, liefern aber redundante Informationen. Beide starren auf dasselbe visuelle Detail.

Da sie zwei Vermutungen über denselben Baum festgelegt haben, hat das Team nun seine visuelle Aufmerksamkeit für diesen einen Punkt „verbraucht". Ihnen bleibt weniger visuelle Information übrig, um ihnen zu helfen, die anderen Teile des Bildes (wie den Himmel oder das Gras) in der nächsten Runde des Malens zu verstehen.

Die Autoren nennen dies „Visuelle Redundanz". Es ist wie ein Komitee, in dem alle über dasselbe abstimmen, sodass niemand übrig bleibt, um über die anderen wichtigen Themen abzustimmen.

Die Lösung: Der „Visuelle Redundanz-Kontroller" (VRCD)

Um dies zu beheben, haben die Autoren eine neue Regel für den Teamleiter namens VRCD (Visual-Redundancy-Controlled Decoding) erstellt.

Anstatt nur zu fragen: „Wer ist am zuversichtlichsten?", fragt VRCD: „Wer ist zuversichtlich UND wer schaut auf einen anderen Teil des Bildes?"

So funktioniert VRCD, Schritt für Schritt:

Die Kandidatenliste: Zuerst sammelt es die Top-Künstler, die am zuversichtlichsten bei ihren Vermutungen sind (genau wie zuvor).
Der „Blick"-Check: Es betrachtet, wohin jeder Künstler im Referenzfoto schaut. Es verwendet ein spezielles Werkzeug (genannt „Token-zu-Bild-Aufmerksamkeit"), um zu sehen, ob Künstler A und Künstler B auf dasselbe Blatt oder dieselbe Wolke starren.
Die Strafe: Wenn zwei Künstler auf dieselbe Stelle starren, verhängt VRCD eine „Redundanz-Strafe". Es sagt: „Ihr habt beide recht, aber ihr wiederholt euch."
Die Auswahl: VRCD wählt dann die Gruppe von Künstlern aus, die zuversichtlich sind und auf die vielfältigsten, sich ergänzenden Teile des Bildes schauen.

Das Ergebnis: Eine bessere Teamdynamik

Indem das Team gezwungen wird, Künstler auszuwählen, die auf verschiedene Teile des Bildes schauen, stellte das Paper fest, dass:

Weniger Verwirrung: Das Team keine Zeit damit verschwendet, dasselbe Objekt erneut zu untersuchen.
Besserer Kontext: Da sie eine vielfältige Reihe von Details festgelegt haben (ein Baum, eine Wolke und ein Auto), haben die verbleibenden Künstler einen viel reichhaltigeren „Kontext", um ihnen zu helfen, den Rest des Bildes in der nächsten Runde zu erraten.
Geschwindigkeit: Das Team verlangsamt sich nicht viel. Es ist ein sehr leichter Check, wie ein kurzer Blick, statt einer vollständigen Neubewertung.

Die Beweise

Die Autoren testeten dies an mehreren schwierigen Rätseln (Benchmarks), die Bilder und Text beinhalteten, wie zum Beispiel:

M3CoT: Komplexe Schlussfolgerungsfragen mit mehreren Schritten.
MMBench: Allgemeines Verständnis von Vision und Sprache.

Sie stellten fest, dass die Verwendung von VRCD die Modelle erheblich genauer machte (in einigen komplexen Aufgaben bis zu fast 19 % besser) im Vergleich zur Standardmethode. Die Modelle machten weniger Fehler, weil sie nicht doppelt an denselben visuellen Hinweisen „zogen".

Zusammenfassende Analogie

Stellen Sie sich vor, Sie lösen mit einer Gruppe von Freunden ein Puzzle.

Die alte Art: Sie fragen alle: „Welches Stück passt hier?" und Sie greifen sich die ersten drei Stücke, die jemand als passend bezeichnet, selbst wenn es sich bei allen um Teile für den Himmel handelt. Sie landen mit drei Himmelstücken und keinen Teilen für den Boden.
Die VRCD-Art: Sie fragen: „Was passt hier?" und Sie greifen sich die passenden Stücke, aber Sie stellen sicher, dass Sie nicht drei Himmelstücke nehmen. Sie nehmen ein Himmelstück, ein Bodenstück und ein Baumstück. Jetzt haben Sie, wenn Sie versuchen, den Rest des Puzzles zu füllen, eine viel bessere Vorstellung davon, wie das ganze Bild aussieht.

Dieses Paper lehrt die KI einfach, wie man ein besseres Puzzle-Zusammensetzer wird, indem es sicherstellt, dass sie bei jedem Schritt eine vielfältige Reihe visueller Hinweise auswählt.

Technisches Fazit: Visual-Redundancy-Controlled Parallel Decoding für Diffusionsbasierte Multimodale Large Language Models

1. Problemstellung

Diffusionsbasierte Multimodale Large Language Models (dMLLMs) generieren Text durch iteratives paralleles Decodieren mehrerer maskierter Positionen, konditioniert auf visuelle Eingaben. Im Gegensatz zu autoregressiven Modellen, die ein Präfix tokenweise erweitern, müssen dMLLMs bei jedem Decodierschritt entscheiden, welche Teilmenge maskierter Positionen „festgelegt" (entschleiert) wird, um als Kontext für nachfolgende Schritte zu dienen.

Bestehende Decodierungsstrategien, primär confidence-based decoding (Decodierung basierend auf Konfidenz), wählen die Top- $K$ -Positionen mit den höchsten vorhergesagten Token-Wahrscheinlichkeiten aus. Obwohl effizient, behandelt dieser Ansatz jede Position unabhängig. Die Autoren identifizieren eine kritische Einschränkung in multimodalen Settings: visuelle Redundanz. Hochkonfidente Tokens, die im selben Schritt ausgewählt werden, können sich auf überlappende visuelle Verankerung stützen (d. h. sie achten auf dieselben Bildregionen oder Objekte). Wenn solche Tokens gemeinsam festgelegt werden, liefern sie redundanten visuellen Kontext statt komplementärer Hinweise, was potenziell die Fähigkeit des Modells beeinträchtigt, verbleibende maskierte Positionen zu lösen, die diverse visuelle Informationen erfordern. Diese Redundanz unterscheidet sich von semantischer Wiederholung im generierten Text oder von Redundanz innerhalb der Eingabe-Visueltokens; sie bezieht sich spezifisch auf die Überlappung der visuellen Verankerung unter den Texttokens, die gleichzeitig entschleiert werden.

2. Methodik

2.1 Visual Redundancy Index (VRI)

Um das Ausmaß überlappender visueller Verankerung unter festgelegten Tokens zu quantifizieren, führen die Autoren den Visual Redundancy Index (VRI) ein.

Definition: Gegeben eine Menge festgelegter Positionen $S_t$ zum Zeitpunkt $t$ , misst der VRI die Überlappung der Token-zu-Bild-Aufmerksamkeit.
Mechanismus: Für jeden Bildtoken $u$ wird das gesamte Aufmerksamkeitengewicht berechnet, das von den festgelegten Tokens zugewiesen wird. Der maximale Einzelbeitrag wird subtrahiert, um das „redundante" Gewicht zu isolieren, das von zusätzlichen Tokens zugewiesen wird.
Formel:
$\text{VRI}(S_t) = \frac{\sum_{u=1}^{N} (\sum_{i \in S_t} v_i(u) - \max_{i \in S_t} v_i(u))}{m - 1}$
wobei $v_i(u)$ die normalisierte Aufmerksamkeit des Texttokens $i$ auf den Bildtoken $u$ ist und $m = |S_t|$ . Ein niedrigerer VRI deutet auf weniger visuelle Redundanz hin.

2.2 Visual-Redundancy-Controlled Decoding (VRCD)

Die Autoren schlagen VRCD vor, eine trainingsfreie Decodierungsmethode zur Laufzeit, die entwickelt wurde, um visuelle Redundanz zu mindern, ohne die zugrunde liegenden Modellgewichte zu verändern. VRCD fungiert als leichter Neureihungsmechanismus:

Konstruktion des Kandidatenfensters: Anstatt alle maskierten Positionen zu bewerten, konstruiert VRCD ein Kandidatenfenster $U_t$ , das die Top- $M_t$ -Positionen basierend auf initialen Konfidenzwerten enthält, wobei $M_t$ eine Funktion der Festlegungsgröße $K_t$ und eines Skalierungsfaktors $\lambda$ ist.
Extraktion visueller Salienz: Für jeden Kandidaten extrahiert die Methode normalisierte Token-zu-Bild-Aufmerksamkeit aus der letzten Decodierschicht. Um Rauschen zu reduzieren, wird eine uniforme Komponente ( $1/N$ ) subtrahiert, und nur positive Rest-Aufmerksamkeitsgewichte werden beibehalten und neu normalisiert.
Berechnung paarweiser Überlappung: Die visuelle Überlappung zwischen jedem Paar von Kandidaten $(i, j)$ wird unter Verwendung des Schnitts ihrer Salienzverteilungen berechnet (z. B. $\sum \sqrt{q_i(u)q_j(u)}$ ).
Berechnung des Redundanz-Scores: Überlappungen werden in Prozentrangordnungen innerhalb des aktuellen Fensters umgewandelt. Ein Token-Level-Redundanz-Score $r_i$ wird als konfidenzgewichtete Summe seiner Überlappungen mit anderen wahrscheinlichen Kandidaten berechnet. Dies stellt sicher, dass Tokens, die mit hochkonfidenten Nachbarn überlappen, stärker bestraft werden.
Neugewichtung: Der ursprüngliche Konfidenzwert $c_i$ wird neu gewichtet, um einen redundanzkontrollierten Score $s_i$ zu bilden:
$s_i = c_i (r_i + 1)^{-\alpha}$
wobei $\alpha$ die Stärke der Redundanzstrafe steuert.
Auswahl: Die Top- $K_t$ -Positionen mit dem höchsten $s_i$ werden festgelegt. Dieser Prozess priorisiert hochkonfidente Tokens, die visuell komplementäre Verankerung bieten.

3. Hauptbeiträge

Identifikation visueller Redundanz: Die Arbeit identifiziert und formalisiert das Phänomen, bei dem individuell konfidente Tokens in parallelen Decodierschritten sich auf überlappende visuelle Verankerung stützen, ein Faktor, der bei Decodierungsstrategien für dMLLMs bisher übersehen wurde.
VRI-Metrik: Einführung des Visual Redundancy Index (VRI) zur systematischen Quantifizierung und Analyse der Überlappung visueller Verankerung über Decodierschritte hinweg.
VRCD-Algorithmus: Vorschlag einer leichten, trainingsfreien Neureihungsmethode, die Token-zu-Bild-Aufmerksamkeit nutzt, um visuell komplementäre Positionen zu priorisieren, wodurch Redundanz reduziert wird, während die Effizienz der konfidenzbasierten Decodierung erhalten bleibt.

4. Experimentelle Ergebnisse

Die Methode wurde an fünf multimodalen Benchmarks evaluiert: M3CoT (mehrschrittiges Reasoning), MMBench (allgemeines Vision-Language), SQA-IMG (Wissenschafts-QA), DocVQA und InfoVQA. Das verwendete Backbone-Modell war LaViDa (basierend auf LLaDA-8B).

Leistungssteigerungen: VRCD übertraf konfidenzbasierte Decodierung und andere Baselines (Margin, Entropy, InfoGain) konsistent über verschiedene Decodierlängen ( $L=192, 384$ $L = 192, 384$ ) und Forward-Ratios (FR).
- Auf M3CoT erzielte VRCD relative Genauigkeitsgewinne von bis zu 18,8 % gegenüber konfidenzbasierter Decodierung.
- Auf MMBench erreichten die Gewinne 6,9 %.
- Die Verbesserungen waren bei Aufgaben signifikant am größten, die langfristiges multimodales Reasoning erfordern (M3CoT, MMBench, SQA-IMG), im Vergleich zu Kurzantwort-Aufgaben (DocVQA, InfoVQA).
Reduktion der Redundanz: VRCD senkte den mittleren VRI über alle Decodierschritte hinweg im Vergleich zu Baselines signifikant, was seine Fähigkeit bestätigt, Tokens mit weniger überlappender visueller Verankerung auszuwählen.
Vorhersagesicherheit: Die Methode reduzierte die Entropie verbleibender maskierter Positionen, was auf eine höhere Vorhersagesicherheit für zukünftige Schritte hindeutet.
Effizienz: VRCD führte einen minimalen Laufzeit-Overhead ein (ca. 1,5 % Laufzeitsteigerung) und behielt eine nahezu baseline-gleiche Durchsatzrate (Tokens/s) bei, wohingegen andere fortschrittliche Methoden wie InfoGain deutlich höhere Rechenkosten verursachten.
Ablationsstudien:
- Der Hyperparameter $\alpha$ (Stärke der Redundanzstrafe) zeigte optimale Leistung bei $\alpha=1,5$ für M3CoT und $\alpha=2,0$ für MMBench; eine feste moderate Einstellung wurde über alle Benchmarks hinweg verwendet.
- Die konfidenzgewichtete Aggregation von Redundanz-Scores übertraf die uniforme Durchschnittsbildung.
- Die Visual Saliency Extraction (VSE) erwies sich als entscheidend für eine effektive Überlappungsschätzung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass visuelle Redundanz ein kritischer, bisher jedoch unbehandelter Signalaspekt für paralleles Decodieren in visuell verankerten dMLLMs ist. Durch die Verschiebung der Decodierungsentscheidung von „welcher einzelne Token ist am konfidentesten" zu „welche Menge von Tokens bietet komplementäre visuelle Verankerung" verbessert VRCD die Qualität des generierten Kontexts für nachfolgende Schritte.

Die Autoren betonen, dass VRCD eine Plug-in-Methode ohne Training ist, die die Decodierungsqualität verbessert, ohne ein erneutes Training des Modells oder signifikanten Rechen-Overhead zu erfordern. Die Arbeit legt nahe, dass das Management der Vielfalt der visuellen Verankerung während der parallelen Festlegung entscheidend ist, um die Effizienz und Genauigkeit diffusionsbasierter multimodaler Generierung zu maximieren. Als zukünftige Arbeit wird vorgeschlagen, adaptive Decodierungspläne zu erforschen, die die Festlegungsgrößen dynamisch basierend auf Signalen visueller Redundanz anpassen.