💻 computer science

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1 ist ein einheitliches multimodales Diffusions-Sprachmodell, das die Fähigkeiten zur Argumentation durch die Integration von überwachtem Fine-Tuning und Multi-Task-Reinforcement-Learning innerhalb eines neuartigen Post-Training-Frameworks vorantreibt und eine starke Leistung über vielfältige Aufgaben des visuellen Verständnisses und der Generierung hinweg demonstriert.

Ursprüngliche Autoren: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler, der sowohl Bilder malen als auch Geschichten schreiben kann. Dieser Künstler, genannt LaViDa-O, ist gut darin, Anweisungen zu befolgen, aber wenn er gebeten wird, ein kniffliges Rätsel zu lösen oder zu erklären, warum er eine bestimmte Entscheidung getroffen hat, rät er manchmal nur oder eilt zur Antwort.

Dieses Paper stellt eine neue Trainingsmethode namens LaViDa-R1 vor. Betrachten Sie dies nicht als das Beibringen neuer Fakten an den Künstler, sondern als das Lehren des Künstlers, wie man denkt. Es ist, als würde man dem Künstler eine „Denkkappe“ geben, die ihn zwingt, innezuhalten, seine Argumentation zu skizzieren, seine Arbeit zu überprüfen und erst dann sein endgültiges Meisterwerk zu enthüllen.

So haben sie es gemacht, unter Verwendung einiger einfacher Analogien:

1. Das „Vereinte Fitnessstudio“ (Unified Post-Training)

Normalerweise, wenn man eine KI darauf trainieren möchte, besser in Mathematik zu werden, zeigt man ihr nur Matheaufgaben. Wenn man möchte, dass sie besser im Bearbeiten von Fotos ist, zeigt man ihr nur Aufgaben zur Fotobearbeitung. Dies ist wie ein Schüler, der morgens am Vormittag einen Matheunterricht besucht und am Nachmittag einen Fotografieunterkurs, aber niemals die beiden Fähigkeiten miteinander kombiniert.

LaViDa-R1 bringt alles in ein einziges, riesiges „Fitnessstudio“. Es trainiert das Modell gleichzeitig auf Mathematik, Fotobearbeitung, Objekterkennung in Bildern und das Beantworten von Fragen. Das Paper behauptet, dass dieser „vereinheitlichte“ Ansatz das Modell flächendeckend intelligenter macht, anstatt es nur auf einen Bereich zu spezialisieren.

2. Der „Antwort-Erzwingungs“-Trick (Wenn der Schüler feststeckt)

Stellen Sie sich vor, der Künstler versucht, eine Matheaufgabe zu lösen. Er versucht es dreimal, aber alle drei Antworten sind falsch. In einer normalen Trainingssitzung würde der Lehrer einfach sagen: „Versuch es noch einmal“, und der Künstler wäre vielleicht frustriert oder lernt nichts, weil er nicht weiß, wie er gescheitert ist.

LaViDa-R1 verwendet einen Trick namens Answer-Forcing (Antwort-Erzwingung).

Das Szenario: Das Modell scheitert beim Lösen der Aufgabe.
Der Trick: Der Lehrer schreibt die richtige Antwort ganz am Ende des Blattes geheim auf.
Die Magie: Da dieses Modell wie ein „Diffusionsmodell“ aufgebaut ist (das dadurch funktioniert, dass es Lücken füllt), kann es die richtige Antwort am Ende betrachten und rückwärts arbeiten, um die fehlenden Gedankenschritte in der Mitte aufzufüllen.
Das Ergebnis: Das Modell lernt: „Oh, wenn ich diese Antwort erhalten will, muss ich so denken.“ Es erschafft einen perfekten „Gedankengang“ aus dem Nichts, um sich selbst etwas beizubringen.

3. Die „Baumsuche“ (Den Wald erkunden)

Manchmal gibt es keine einzelne „richtige Antwort“, an der man prüfen könnte (wie etwa beim Bearbeiten eines Fotos, damit es „tropischer aussieht“). Das Modell muss einfach nur raten, was gut aussieht.

Wenn das Modell 10 Mal versucht es und alle 10 Versuche sehen schlecht aus, erhält es kein nützliches Feedback.
LaViDa-R1 nutzt die Tree Search (Baumsuche).

Stellen Sie sich vor, das Modell beginnt eine Reise und schlägt 10 verschiedene Wege ein.
Es prüft, welcher Weg am besten aussieht.
Anstatt ganz von vorne zu beginnen, nimmt es diesen besten Pfad, geht ein Stück zurück und zweigt dann aus diesem spezifischen Punkt heraus ab, um 10 neue Variationen auszuprobieren.
Dies ist wie ein Wanderer, der feststellt: „Dieser Pfad war großartig“, also geht er zu diesem Punkt zurück und probiert von dort aus 10 neue Richtungen aus, anstatt ganz unten am Berg neu zu starten. Dies hilft ihm, die beste Lösung schneller zu finden.

4. Das „Ausgewogene Scorecard“ (Bessere Bewertung)

Beim Training dieser Modelle muss der Computer berechnen, wie „gut“ eine Vermutung war. Normalerweise ist diese Berechnung unordentlich und ungleichmäßig – wie ein Lehrer, der einen Test bewertet, bei dem einige Fragen zufällig 10 Punkte zählen und andere nur 1 Punkt.

Das Paper führt einen Complementary Likelihood Estimator ein.

Dies kann als ein Bewertungssystem betrachtet werden, das sicherstellt, dass jedes einzelne Wort in der Antwort des Modells eine faire Note erhält.
Es nutzt zwei verschiedene „Ansichten“ der Antwort, um sicherzustellen, dass kein Teil der Argumentation ignoriert wird. Dies verhindert, dass das Modell durch ungleichmäßiges Feedback verwirrt wird.

Die Ergebnisse: Was haben sie erreicht?

Das Paper behauptet, dass LaViDa-R1 durch den Einsatz dieser Tricks signifikant besser geworden ist in:

Visueller Mathematik: Das Lösen von mathematischen Problemen, die Bilder und Diagramme beinhalten.
Object Grounding: Das Finden spezifischer Objekte in einem Bild basierend auf komplexen Beschreibungen (z. B. „Finde die Person, die wahrscheinlich kein Spieler ist“).
Bildbearbeitung: Das Ändern von Fotos basierend auf Anweisungen (z. B. „Verwandle diese Waldhütte in ein Strandhaus“), indem zuerst darüber nachgedacht wird, was geändert werden muss.

Kurz gesagt: Das Paper präsentiert einen neuen Weg, ein multimodales KI-Modell (das sieht und liest) zu trainieren, damit es „denkt, bevor es spricht“. Durch das Mischen verschiedener Arten von Aufgaben, das Erzwingen des Lernens aus eigenen Fehlern mithilfe korrekter Antworten als Leitfaden und die Nutzung intelligenter Suchstrategien haben sie ein Modell geschaffen, das wesentlich besser im Schlussfolgern ist als vorherige Versionen.

Technisches Resümee: LaViDa-R1

Problemstellung

Diffusion Language Models (dLLMs) haben sich als vielversprechende Alternative zu autoregressiven (AR) Modellen herausgestellt, da sie Vorteile wie bidirektionalen Kontext, parallele Dekodierung und vereinheitlichte Generierungsparadigmen für Text und Bilder bieten. Die Erweiterung der Denkfähigkeiten von dLLMs auf ein universelles, multimodales Setting stellt jedoch mehrere kritische Herausforderungen dar, die bestehende Methoden bisher nicht vollständig adressieren konnten:

Aufgabenspezifität: Aktuelle Reasoning-dLLMs konzentrieren sich oft auf enge Domänen (z. B. mathematisches Denken) und erfordern aufgabenspezifisches Fine-Tuning, wodurch ihnen ein einheitlicher Rahmen für diverse multimodale Aufgaben wie Bildbearbeitung oder Object Grounding fehlt.
Instabilität des Trainings: Die Anwendung von Reinforcement Learning (RL) auf dLLMs ist anfällig für Modellkollaps. Zudem behindert die Einbeziehung von KL-Divergenz-Regularisatoren, die eigentlich den Kollaps verhindern sollen, oft die Exploration und verschlechtert die Aufgabenleistung.
Verschwindende Trainingssignale: Bei komplexen Aufgaben versäumen es Modelle möglicherweise, qualitativ hochwertige Stichproben während des Trainings zu generieren, was zu niedrigen oder gar keinen Belohnungssignalen führt. Dies ist besonders problematisch in On-Policy-RL-Settings, in denen die gruppenbasierte Vorteilsberechnung (Advantage Computation) Null-Vorteile liefert, wenn alle Stichproben in einer Gruppe nur niedrige Belohnungen erhalten.
Intraktable Likelihood-Schätzung: Im Gegensatz zu AR-Modellen können dLLMs die Sequenz-Likelihood nicht exakt berechnen. Bestehende Schätzmethoden (z. B. Monte Carlo) leiden oft unter fehlenden Signalen für unmaskierte Token oder imbalancierten Token-Gradienten, was zu Trainingsinstabilität führt.

Methodik

Das Paper schlägt LaVi-Da-R1 vor, ein multimodales, universelles Reasoning-dLLM, das auf einem neuartigen einheitlichen Post-Training-Framework basiert. Die Methodik integriert drei Kernkomponenten:

1. Einheitliches Post-Training-Ziel

LaViDa-R1 führt ein einheitliches Policy-Gradient-Ziel ein, das Supervised Fine-Tuning (SFT), Online Reinforcement Learning (RL) und Selbst-Destillation nahtlos kombiniert.

Formulierung: Die Autoren beobachten, dass Ziele wie Online GRPO, SFT und Best-of-N-Destillation in einer einheitlichen Form ausgedrückt werden können: $J_{Unified}(\theta) = \frac{1}{N} \sum A_i \log \pi_\theta(y_i|x_i)$ .
SFT als Regularisierung: Anstatt einen KL-Divergenz-Term zu verwenden (der ein Referenzmodell erfordert und die Exploration behindert), ersetzt das Framework diesen durch einen SFT-Regularisierungsterm. Dies ermöglicht es dem Modell, den Aktionsraum jenseits der vortrainierten Verteilung zu explorieren, während gleichzeitig der Kollaps verhindert wird, was die Rechenkosten erheblich senkt, da kein Referenzmodell benötigt wird.
Gewichtete Aggregation: Das Framework aggregiert Vorteile aus verschiedenen Zielen (z. B. GRPO und Selbst-Destillation) mittels eines gewichteten Durchschnitts, was eine gleichzeitige Optimierung ohne erneutes Sampling ermöglicht.

2. Guided Rollout Generation

Um das Problem verschwindender Trainingssignale zu lösen, wenn Modelle keine hochwertigen Ausgaben generieren, nutzt LaViDa-R1 zwei Guided-Generation-Mechanismen:

Answer Forcing: Für Aufgaben mit verifizierbaren Grundwahrheits-Antworten (z. B. mathematisches Denken, Object Grounding) injiziert das System – falls das Modell innerhalb einer Gruppe keine korrekte Antwort generiert – das Token der Grundwahrheit in eine vollständig maskierte Sequenz. Es nutzt dann die bidirektionale Inpainting-Fähigkeit des dLLM, um einen synthetischen Reasoning-Trace zu generieren, der auf der korrekten Antwort konditioniert ist. Dies stellt sicher, dass selbst bei schlechter initialer Generierung ein hochwertiges Trainingssignal vorhanden ist.
Tree Search: Für Aufgaben ohne Grundwahrheits-Antworten (z. B. Bildbearbeitung) nutzt das Framework einen Tree-Search-Algorithmus. Es generiert eine initiale Gruppe von Stichproben, wählt die Trajektorie mit der höchsten Belohnung aus und verzweigt von einem intermediären Diffusionszustand dieser besten Stichprobe, um neue Stichproben zu generieren. Diese iterative Expansion erhöht die effektive Gruppengröße und die Wahrscheinlichkeit, hochbelohnte Trajektorien zu finden.

3. Komplementäre Maskierungs-Likelihood-Schätzer

Um die Herausforderungen bei der Schätzung der Sequenz-Likelihood in dLLMs zu lösen, schlagen die Autoren einen neuartigen Schätzer vor:

Mechanismus: Anstatt des Standard-Monte-Carlo-Samplings verwendet die Methode zwei Stichproben mit komplementärer Maskierung. Wenn eine Stichprobe eine Menge von Token maskiert, maskiert die zweite Stichprobe die komplementäre Menge (entmaskiert, was die erste maskiert hat, und umgekehrt).
Gewichtung: Im Gegensatz zu bisherigen Arbeiten, die eine Gewichtungsfunktion $w(t) = 1/t$ verwenden, nutzt LaViDa-R1 eine uniforme Gewichtung $w(t) = 1$ .
Vorteile: Dieser Ansatz stellt sicher, dass jedes Token in der Sequenz über die zwei Stichproben hinweg genau einmal berücksichtigt wird, wodurch verhindert wird, dass wichtige Token ignoriert werden. Er vermeidet zudem die imbalancierten Token-Gradienten, die durch die $1/t$ -Gewichtung verursacht werden, welche Token, die in frühen Diffusionsschritten maskiert wurden, überproportional bevorzugt.

Zentrale Beiträge

Einheitlicher multimodaler Reasoning-Framework: LaViDa-R1 ist die erste Arbeit, die Reasoning-Fähigkeiten via RL auf ein breites Spektrum multimodaler Aufgaben ausweitet, einschließlich visueller mathematischer Argumentation, Visual Question Answering, reasoning-intensiver Objektlokalisierung und Bildbearbeitung, innerhalb eines einzigen einheitlichen Modells.
Stabiles einheitliches Post-Training: Das Paper führt ein praktisches Post-Training-Paradigma ein, das KL-Regularisierung durch SFT ersetzt, was eine stabile Exploration ermöglicht und Modellkollaps ohne den Rechenaufwand von Referenzmodellen verhindert.
Guided Generation Algorithmen: Die Entwicklung der "Answer Forcing"- und "Tree Search"-Mechanismen mildert effektiv das Problem der verschwindenden Trainingssignale ab, das in der Online-RL für komplexe Aufgaben inhärent ist.
Verbesserte Likelihood-Schätzung: Der vorgeschlagene Komplementär-Maskierungs-Schätzer mit uniformer Gewichtung liefert ein stabileres und genaueres Gradientensignal für das dLLM-Training im Vergleich zu bestehenden MC-basierten Methoden.

Experimentelle Ergebnisse

Umfangreiche Experimente zeigen, dass LaViDa-R1 über diverse Benchmarks hinweg eine starke Leistung erzielt und das Basismodell (LaViDa-O) sowie SFT-Baselines übertrifft:

Visuelle mathematische Argumentation: Signifikante Verbesserungen bei MathVista (+3.10) und MathVerse.
Visual Question Answering: Gewinne bei ChartQA (+1.70) und MMMU-Pro.
Reasoning-intensive Lokalisierung: Ein substanzieller Anstieg beim Lisa-Grounding Datensatz mit einer Steigerung von +37.50 Punkten bei P@0.5 im Vergleich zum Basismodell.
Bildbearbeitung: Verbesserte Leistung beim ImgEdit Benchmark (+0.10 Gesamtwert), was die Fähigkeit demonstriert, über supervidierte Modi hinaus zu explorieren.
Sprachbasierte Aufgaben: Bemerkenswerte Gewinne bei GSM8K und Math500, was darauf hindeutet, dass das einheitliche Reasoning-Training auch die reinen Sprachfähigkeiten zugutekommt.

Bedeutung und Ansprüche

Das Paper behauptet, dass LaViDa-R1 einen bedeutenden Schritt zur Vereinigung von multimodalem Verständnis und Generierung mit Reasoning darstellt. Durch die erfolgreiche Integration diverser Aufgaben in ein einziges reasoning-fähiges dLLM adressiert die Arbeit die Fragmentierung aktueller multimodaler Modelle. Die Autoren betonen, dass ihre einheitliche Post-Training-Strategie, die SFT und RL ohne KL-Divergenz kombiniert, einen stabileren und recheneffizienteren Weg zur Verbesserung des Reasonings in Diffusionsmodellen bietet.

Die Arbeit hebt hervor, dass Reasoning-dLLMs die globale Sichtbarkeit nutzen können, um Reasoning-Traces und finale Ausgaben gemeinsam zu modellieren, was eine ganzheitliche Verfeinerung ermöglicht, die für autoregressive Modelle schwierig ist. Während das Paper Einschränkungen einräumt – wie die aktuelle Lücke zwischen dLLMs und State-of-the-Art AR MLLMs in der Reasoning-Leistung sowie das Fehlen effizienter Inferenz-Frameworks für dLLMs – postuliert es, dass das vorgeschlagene Rezept eine robuste Grundlage für zukünftiges Scaling und die Exploration komplexerer multimodaler Reasoning-Aufgaben bildet.