🤖 machine learning

BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation

Die Arbeit stellt BARD vor, ein effizientes Framework, das vortrainierte autoregressive Vision-Language-Modelle durch progressive Block-Merging- und stufenweise Destillationstechniken in leistungsfähige Diffusionsmodelle überführt, die bei gleicher Architektur eine bis zu dreifache Erhöhung der Decodiergeschwindigkeit bei gleichzeitigem State-of-the-Art-Ergebnis erreichen.

Ursprüngliche Autoren: Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Shan Mu, Weihao Yuan, Siyu Zhu

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Shan Mu, Weihao Yuan, Siyu Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

BARD: Der Brückenbauer zwischen zwei Welten

Stell dir vor, du hast zwei verschiedene Arten, ein komplexes Puzzle zu lösen:

Der sorgfältige Einzelkünstler (Autoregressive Modelle): Dieser Typ legt die Puzzleteile eins nach dem anderen ab. Er schaut auf das letzte Teil, denkt nach und legt dann das nächste. Das Ergebnis ist oft sehr präzise und intelligent, aber es dauert ewig, bis das ganze Bild fertig ist.
Der schnelle Gruppenarbeiter (Diffusions-Modelle): Dieser Typ nimmt das ganze Puzzle und versucht, viele Teile gleichzeitig zu korrigieren. Er kann das Bild in einem Rutsch vervollständigen, ist aber oft etwas ungenau und macht mehr Fehler, besonders wenn das Bild kompliziert ist.

Bisher war es wie ein unmögliches Experiment: Wenn man den sorgfältigen Einzelkünstler in einen schnellen Gruppenarbeiter verwandeln wollte, verlor er sofort seine Intelligenz. Das Ergebnis war ein schneller, aber dummer Mitarbeiter.

Die Lösung von BARD:
Die Forscher haben eine neue Methode namens BARD entwickelt. Sie ist wie ein cleverer Bauplan, der den Einzelkünstler Schritt für Schritt in einen effizienten Gruppenarbeiter verwandelt, ohne dass er seine Intelligenz verliert.

Hier ist, wie sie das machen, mit ein paar einfachen Bildern:

1. Der sanfte Übergang (Progressive Block Merging)

Stell dir vor, du willst jemanden lehren, mit dem Auto zu fahren. Wenn du ihn sofort auf die Autobahn schickst (große Blöcke), wird er panisch und macht Fehler.

Die alte Methode: Einfach von „eins nach dem anderen" auf „alles gleichzeitig" umschalten. Das scheitert meistens.
Die BARD-Methode: Sie fangen klein an. Zuerst lernt das Modell, nur 4 Teile gleichzeitig zu bearbeiten. Wenn das sitzt, erhöhen sie es auf 8, dann 16, und schließlich 32.
Das Bild: Es ist wie ein Treppensteigen. Man geht nicht von der ersten zur zehnten Stufe, sondern man geht jede einzelne Stufe hinauf. So bleibt das Modell stabil und lernt, die neue Geschwindigkeit zu meistern, ohne den Verstand zu verlieren.

2. Der weise Mentor (Stage-Wise Distillation)

Selbst wenn man langsam hochsteigt, wird es auf den oberen Stufen (bei 32 Teilen gleichzeitig) immer noch schwieriger. Das Modell wird etwas unsicherer.

Hier kommt der Mentor ins Spiel. Das Team behält eine kleine, sehr stabile Version des Modells (das „Anker-Modell") bei, das nur mit kleinen Blöcken arbeitet.
Während das große Modell lernt, mit vielen Teilen gleichzeitig umzugehen, schaut es ständig auf den Mentor und lernt von ihm: „Hey, wie würdest du dieses Teil jetzt korrigieren?"
Das Bild: Stell dir einen Schüler vor, der lernt, mit einem schweren Gewicht zu heben. Er hat einen Trainer (den Mentor), der ihm hilft, die Form zu behalten, damit er nicht den Rücken verletzt. Ohne diesen Trainer würde er die Last nicht richtig stemmen können.

3. Der „Fehler-Korrektur"-Trainer (Mixed Noise)

Normalerweise lernen diese Modelle nur, fehlende Teile (wie schwarze Flecken auf einem Bild) zu erraten. Aber was, wenn das Bild schon Teile hat, die aber falsch sind?

BARD trainiert das Modell extra darauf, sichtbare Fehler zu erkennen und zu korrigieren.
Das Bild: Ein Lehrer, der nicht nur sagt: „Hier fehlt ein Wort", sondern auch sagt: „Hier hast du das falsche Wort geschrieben, korrigiere es!" Das macht das Modell viel robuster und fähiger, seine eigenen Fehler zu überdenken.

Das Ergebnis: Schnell UND klug

Am Ende haben die Forscher Modelle (BARD-VL) geschaffen, die das Beste aus beiden Welten vereinen:

Sie sind so klug wie die besten, sorgfältigen Einzelkünstler (die ursprünglichen Modelle).
Sie sind aber bis zu 3-mal schneller, weil sie viele Teile gleichzeitig bearbeiten können.

Warum ist das wichtig?
Stell dir vor, du willst einen langen, komplizierten Bericht über ein Dokument schreiben.

Der alte Weg (eins nach dem anderen) dauert lange.
Der neue Weg (BARD) liefert das gleiche Ergebnis in einem Bruchteil der Zeit.

Die Forscher haben gezeigt, dass man mit dieser Methode sogar Modelle bauen kann, die in Tests besser abschneiden als viele andere aktuelle KI-Modelle, aber deutlich effizienter sind. Es ist wie ein Turbo für künstliche Intelligenz, der sie nicht schneller, sondern auch schlauer macht.

1. Problemstellung

Autoregressive Vision-Language-Modelle (VLMs) haben sich als dominierende Architektur für multimodales Verständnis etabliert. Sie zeichnen sich durch starke Fähigkeiten aus, leiden jedoch unter einem fundamentalen Engpass: Die Inferenz erfolgt tokenweise und ist daher inhärent sequenziell. Dies limitiert die Geschwindigkeit und Skalierbarkeit bei der praktischen Anwendung.

Diffusionsbasierte VLMs (dVLMs) bieten eine Alternative durch paralleles Decodieren, bei dem Blöcke von Tokens gleichzeitig verfeinert werden. Bisherige Ansätze zur Umwandlung starker, vortrainierter autoregressiver Modelle in große Diffusionsmodelle scheiterten jedoch oft an erheblichen Qualitätsverlusten. Direkte Konvertierungen führen zu einer Diskrepanz zwischen dem Trainingsziel (autoregressiv) und dem Inferenzmodus (Diffusion), was die multimodalen Fähigkeiten drastisch verschlechtert. Zudem fehlt es oft an effizienten Methoden, um die Parallelität zu erhöhen, ohne die Genauigkeit zu opfern.

2. Methodik: Das BARD-Framework

Das Paper stellt BARD vor, ein einfaches und effektives Framework, um ein vortrainiertes autoregressives VLM in ein effizientes, gleicharchitektonisches Diffusions-VLM (dVLM) zu überführen. Der Kernansatz besteht darin, den Übergang von sequenziellem zu parallelem Decodieren zu glätten und die Leistung durch gezielte Distillation wiederherzustellen.

Das Framework kombiniert drei Hauptkomponenten:

A. Progressives Supervised Block Merging (Progressives Block-Merging)

Anstatt direkt von einem autoregressiven Modell zu einem großen Diffusionsblock (z. B. 32 Tokens) zu springen, wird der Blockgröße schrittweise erhöht.

Startpunkt: Das vortrainierte autoregressive Modell wird zunächst in ein stabiles Diffusions-Ankermodell mit kleiner Blockgröße ( $B_1 = 4$ ) umgewandelt.
Schrittweise Vergrößerung: Die Blockgröße wird in Stufen verdoppelt ( $4 \to 8 \to 16 \to 32$ ). In jeder Phase wird das Modell des vorherigen Schritts als Startpunkt genutzt, um die neuen, größeren Blöcke zu lernen. Dies verhindert abrupte Änderungen im Optimierungsverhalten.

B. Stufenweise dVLM-Distillation (Stage-Wise Distillation)

Ein zentrales Ergebnis der Arbeit ist die Erkenntnis, dass eine direkte Distillation von einem autoregressiven Lehrer (Teacher) zu einem Diffusions-Schüler (Student) ineffektiv ist, da die Logits nicht übereinstimmen (autoregressiv: nächster Token unter sauberen Bedingungen vs. Diffusion: gleicher Token unter verrauschten Bedingungen).

Fixierter Anker-Lehrer: Statt des ursprünglichen autoregressiven Modells wird das kleine Block-Ankermodell ( $\theta^{(1)}$ ) als Lehrer für alle weiteren Stufen verwendet.
Mechanismus: Nach jeder Phase des Block-Mergings wird das neue Modell (Student) durch Knowledge Distillation vom fixierten kleinen Ankermodell (Teacher) trainiert. Dies stellt sicher, dass der Schüler die Diffusionsfähigkeiten des Ankers behält, während er sich an die größeren Blöcke anpasst.

C. Gemischter Rausch-Planer (Mixed Noise Scheduler) & Speicherfreundliches Training

Mixed Noise: Um die Fähigkeit des Modells zur Korrektur von Fehlern (Revision) zu verbessern, wird nicht nur Maskierung (Masking) verwendet, sondern auch sichtbare Token-Korruption (zufällige Ersetzung von sichtbaren Tokens). Das Modell lernt so, sowohl fehlende als auch falsch sichtbare Tokens zu korrigieren.
Packed Training Layout: Um den hohen Speicherverbrauch bei multimodalen Sequenzen zu reduzieren, werden der Kontext ( $Q$ ), die saubere Antwort ( $x_1$ ) und die verrauschte Antwort ( $x_t$ ) in einer einzigen Sequenz gepackt. Der Kontext wird nicht dupliziert, was den effektiven Kontextfenster vergrößert und den Speicherbedarf senkt.

3. Wichtige Beiträge

Überbrückung der Leistungslücke: BARD schließt die Kluft zwischen Diffusions- und Autoregressionsmodellen. Die resultierenden Modelle (BARD-VL) erreichen bei 4B und 8B Parametern State-of-the-Art-Ergebnisse unter offenen Diffusions-VLMs und übertreffen oft die zugrundeliegenden autoregressiven Basismodelle (Qwen3-VL).
Effizienzsteigerung: Durch das parallele Decodieren von Token-Blöcken erreicht BARD-VL eine bis zu 3-fache Steigerung des Durchsatzes (Decoding Throughput) im Vergleich zum Quellmodell, bei gleichzeitigem Erhalt oder sogar Verbesserung der Genauigkeit.
Neue Erkenntnisse zur Distillation: Das Paper widerlegt die Annahme, dass autoregressive Modelle direkt als Lehrer für Diffusionsmodelle dienen können. Es zeigt, dass eine Diffusion-zu-Diffusion-Distillation (innerhalb des Diffusionsregimes) notwendig ist, um die Leistung bei großen Blockgrößen zu erhalten.
Daten-Effizienz: Das Framework ist sehr dateneffizient und benötigt weniger als 4,4 Millionen Trainingsbeispiele, um starke Fähigkeiten von einem Frontier-Modell (Qwen3-VL) auf ein Diffusionsmodell zu übertragen.

4. Ergebnisse

Die Evaluation erfolgte auf sieben multimodalen Benchmarks (u.a. MMMU, MME, RealWorldQA, ChartQA):

Leistung: BARD-VL (4B und 8B) erzielt konsistent bessere oder vergleichbare Ergebnisse im Vergleich zu bestehenden offenen Diffusions-VLMs (wie LLaDA-V, Dimple-VL, Dream-VL).
Vergleich mit Autoregression: Bei der Umwandlung von Qwen3-VL verbessert BARD-VL die Leistung in 5 von 7 Benchmarks (bei 4B) bzw. 6 von 7 Benchmarks (bei 8B) im Vergleich zum ursprünglichen autoregressiven Modell.
Ablationsstudien:
- Block-Größe: Direktes Training auf großen Blöcken führt zu starken Einbußen. Das progressive Merging ist entscheidend für die Stabilität.
- Distillation: Die Distillation vom kleinen Diffusions-Anker ist deutlich effektiver als Distillation vom autoregressiven Modell oder gar keine Distillation, insbesondere bei großen Blockgrößen ( $B=32$ ).
- Datenmenge: Das Modell skaliert gut mit mehr Daten, ist aber bereits mit 110.000 Beispielen konkurrenzfähig.

5. Bedeutung und Fazit

BARD demonstriert, dass die Vorteile von Diffusionsmodellen (hohe Parallelität, schnelle Inferenz) nicht auf Kosten der multimodalen Intelligenz gehen müssen. Durch die Kombination aus progressivem Block-Merging und stufenweiser Distillation innerhalb des Diffusionsregimes wird ein stabiler Weg aufgezeigt, um starke autoregressive Modelle in effiziente Diffusionsmodelle zu überführen.

Dies ist ein wichtiger Schritt hin zu praktischen, hochparallelen multimodalen Agenten, die komplexe Aufgaben (wie Dokumentenverständnis oder strukturierte Extraktion) nicht nur genau, sondern auch deutlich schneller lösen können als herkömmliche autoregressive Modelle. Die Arbeit legt nahe, dass die „Revision-Awareness" (Fähigkeit zur Korrektur) durch gemischtes Rauschen ein Schlüsselfaktor für den Erfolg von Diffusions-VLMs ist.