💻 computer science

Representation Forcing for Bottleneck-Free Unified Multimodal Models

Dieses Paper führt Representation Forcing (RF) ein, eine Technik, die es flaschenhalsfreien, vereinheitlichten multimodalen Modellen ermöglicht, visuelle Repräsentationen nativ als Zwischen-Token zur Steuerung der Pixel-Diffusion vorherzusagen, wodurch die Notwendigkeit externer VAEs eliminiert wird, während gleichzeitig eine Spitzenleistung sowohl in der Bildgenerierung als auch im Bildverständnis erzielt wird.

Ursprüngliche Autoren: Yuqing Wang, Zhijie Lin, Ceyuan Yang, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Zihan Ding, Fuyun Wang, Shuai Wang, Youliang Zhang, Haoqi Fan, Xihui Liu

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuqing Wang, Zhijie Lin, Ceyuan Yang, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Zihan Ding, Fuyun Wang, Shuai Wang, Youliang Zhang, Haoqi Fan, Xihui Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, zwei Dinge gleichzeitig zu tun: ein Bild anzusehen und es zu beschreiben (Verständnis) und einer Beschreibung zuzuhören und ein Bild zu zeichnen (Generierung).

Lange Zeit hatten die besten Roboter, die dies taten, einen wesentlichen Fehler. Sie verwendeten ein „Übersetzer“-Gerät (einen sogenannten VAE), um ihnen beim Zeichnen zu helfen.

Wie es funktionierte: Wenn der Roboter zeichnen wollte, komprimierte er die Idee zuerst in eine winzige, abstrakte Zusammenfassung (wie eine ZIP-Datei), zeichnete basierend auf dieser Zusammenfassung und nutzte dann einen separaten Decoder, um sie wieder in ein echtes Bild zu „entpacken“.
Das Problem: Dieser „Übersetzer“ wurde separat trainiert und blieb starr an seinem Platz. Es war, als würde man versuchen, einen Roman mit einem Wörterbuch zu schreiben, das von jemand anderem geschrieben wurde und nicht geändert werden konnte. Dies schuf einen Flaschenhals, der die Qualität der Zeichnungen des Roboters einschränkte, da der Roboter nicht den gesamten Prozess von Grund auf lernen konnte.

Einige Forscher versuchten, diesen Übersetzer zu entfernen und dem Roboter zu erlauben, direkt aus Rohpixeln (den tatsächlichen Punkten des Bildes) zu zeichnen. Aber das scheiterte. Ohne den Übersetzer war der Roboter verwirrt. Er konnte das große Ganze (wie „eine Katze, die auf einer Matte sitzt“) nicht erfassen, während er gleichzeitig versuchte, die winzigen Details (wie die Textur des Fells) zu bestimmen. Die Zeichnungen sahen unordentlich aus und ließen Struktur vermissen.

Die Lösung: „Representation Forcing“

Dieses Paper führt einen cleveren Trick namens Representation Forcing (RF) ein. Denken Sie daran, dem Roboter beizubringen, nachzudenken, bevor er spricht.

Hier ist die Analogie:
Stellen Sie sich einen Architekten (den Roboten) vor, der ein Haus basierend auf der Beschreibung eines Kunden bauen muss.

Der alte Weg (VAE): Der Architekt musste ein vorgefertigtes, starres Blueprint-System verwenden, das er nicht ändern konnte. Wenn das System nicht zu der seltsamen Anfrage des Kunden passte, sah das Haus falsch aus.
Der gescheiterte Weg (Naive Pixel): Der Architekt versuchte, das Haus zu bauen, indem er sofort Stein für Stein legte, ohne einen Plan zu haben. Die Wände fielen ständig um, weil er keine strukturelle Orientierung hatte.
Der neue Weg (Representation Forcing): Der Architekt wird nun gezwungen, zuerst eine grobe Skizze zu zeichnen.
- Zuerst betrachtet der Architekt die Worte des Kunden und zeichnet eine einfache Strichmännchen-Skizze des Hauses (dies ist die „Repräsentation“). Diese Skizze erfasst die Struktur: wo die Wände verlaufen, wo die Fenster sind.
- Entscheidend ist, dass diese Skizze vom selben Gehirn gezeichnet wird, das auch die Worte des Kunden versteht.
- Dann nutzt der Architekt diese Skizze als Leitfaden, um die eigentlichen Steine (die Pixel) zu legen. Die Skizze bleibt direkt in dem Bewusstsein des Architekten (dem „Kontext“), um sicherzustellen, dass das fertige Haus genau dem Plan entspricht.

Wie es im Paper funktioniert

Die Forscher bauten ein einziges Modell, das drei Dinge nacheinander erledigt:

Versteht: Es sieht sich ein Bild an und extrahiert eine „hochgradige Struktur“ (wie Objektformen und Layout).
Prognostiziert: Wenn es aufgefordert wird zu zeichnen, prognostiziert es zuerst dieselbe „hochgradige Struktur“ als eine Serie von Tokens (wie einen Geheimcode), genau wie es das nächste Wort in einem Satz vorhersagt.
Generiert: Es nutzt diese prognostizierte Struktur als Leitfaden, um die tatsächlichen Pixel des Bildes auszufüllen.

Da das Modell lernt, die Struktur selbst zu prognostizieren (anstatt sich auf ein externes Werkzeug zu verlassen), werden der Teil des „Verstehens“ und der Teil des „Zeichnens“ zu besten Freunden. Sie teilen dieselbe Sprache.

Die Ergebnisse

Das Paper behauptet, dass diese einfache Änderung die Probleme löst:

Besseres Zeichnen: Der Roboter kann nun direkt aus Rohpixeln zeichnen (ohne den externen Übersetzer) und produziert Bilder, die genauso gut sind wie die, die die alte Methode mit dem Übersetzer verwenden.
Besseres Verständnis: Da der Roboter lernt, seine eigenen strukturellen Pläne zu generieren, wird er auch besser darin, Bilder zu verstehen. Es ist so, als würde das Üben eines Aufsatzes einem helfen, einen zu lesen.
Keine Flaschenhälse mehr: Der Roboter ist nun ein echtes „End-to-End“-System. Er benötigt keine vortrainierten, starren Werkzeuge, um beim Zeichnen zu helfen. Er lernt alles von Grund auf innerhalb seines eigenen Gehirns.

Kurz gesagt: Representation Forcing zwingt die KI, vor dem Malen ihren eigenen internen „Bauplan“ zu erstellen, was sicherstellt, dass das fertige Bild eine solide Struktur hat, während die KI gleichzeitig besser darin wird, das zu verstehen, was sie sieht.

Technisches Resümee: Representation Forcing für flaschenhalsfreie vereinheitlichte multimodale Modelle

1. Problemstellung

Vereinheitlichte multimodale Modelle (Unified Multimodal Models, UMMs) zielen darauf ab, Wahrnehmung (Textausgabe) und Generierung (Pixelausgabe) innerhalb eines einzigen Transformer-Backbones zu integrieren. Aktuelle State-of-the-Art-UMMs verlassen sich jedoch auf einen strukturellen Flaschenhals: Sie nutzen ein separat vortrainiertes, eingefrorenes Variational Autoencoder (VAE) für die Bildgenerierung. In diesem Paradigma werden Bilder vor der Diffusion in einen latenten Raum komprimiert und über einen festen Decoder wiederhergestellt.

Diese Abhängigkeit führt zu zwei primären Problemen:

Optimierungs-Mismatch: Der latente Raum ist auf Rekonstruktion optimiert, nicht auf die spezifischen Ziele des vereinheitlichten Modells.
Qualitäts-Deckel (Quality Ceiling): Die verlustbehaftete Kompression des VAE setzt eine harte Obergrenze für die Generierungsqualität, die durch weiteres Training des UMM nicht überwunden werden kann.

Eine naive Alternative ist die direkte Generierung im Pixelraum. Während dies für eigenständige Modelle machbar ist, führt die Anwendung auf UMMs zu einer signifikanten Qualitätslücke. Ohne die strukturelle Führung eines latenten Raums hat das Modell Schwierigkeiten, gleichzeitig hochgradige semantische Strukturen (Objektidentität, Layout) und niedriggradige Details (Texturen) aus Rohpixeln zu lernen.

2. Methodik: Representation Forcing (RF)

Das Paper schlägt Representation Forcing (RF) vor, eine Technik, die die Notwendigkeit externer VAEs eliminiert, indem sie die Vorhersage von Repräsentationen zu einer nativen Fähigkeit des Modells macht. Die Kernphilosophie besteht darin, hochgradige visuelle Repräsentationen direkt im Decoder zu verankern, indem diese als intermediäre Token verwendet werden, um die Pixelgenerierung zu leiten.

2.1 Kernmechanismus

RF operiert, indem es den Decoder dazu zwingt, visuelle Repräsentationen autoregressiv vorherzusagen, bevor Pixel generiert werden. Diese Repräsentationen fungieren als explizites strukturelles Gerüst zwischen Text-Prompts und Pixelausgaben.

Quelle der Repräsentationen: Anstatt eines externen latenten Raums nutzt RF die Merkmale des eigenen Understanding Encoders (der gemeinsam trainiert wird). Diese Merkmale erfassen hochgradige Strukturen wie Objektidentität und räumliches Layout.
Diskretisierung: Um diese Merkmale unter einem Next-Token-Prediction-Ziel (kompatibel mit Sprachmodellierung) vorhersagbar zu machen, werden die kontinuierlichen Merkmale des Encoders mittels Online-Vektorquantisierung in eine Sequenz von visuellen Repräsentations-Token überführt.
- Eine Kopie des Encoders mittels Exponential Moving Average (EMA) liefert stabile Zielwerte.
- Die Merkmale werden gegen ein lernbares Codebuch von Prototypen quantisiert.
- Dieser Prozess liefert pro Spatial-Patch einen Token und bewahrt so das Layout des Bildes.

2.2 Architektur und Training

Das Modell folgt einer Mixture-of-Transformers (MoT) Architektur (basierend auf BAGEL), bei der alle Token Self-Attention-Layer teilen, aber an modalitätsspezifische Feed-Forward-Experten geroutet werden.

Vereinheitlichte Sequenz: Das Modell verarbeitet eine vereinheitlichte Sequenz: [Text Tokens] → [Representation Tokens] → [Pixel Patches].
Attention-Muster:
- Text- und Representation-Tokens folgen einer kausalen (autoregressiven) Attention.
- Pixel-Patches folgen einer bidirektionalen Attention untereinander, achten aber kausal auf vorangehende Text- und Representation-Tokens.
Trainingsziel: Das Modell wird end-to-end mit einem kombinierten Loss trainiert:
$\mathcal{L} = \mathcal{L}_{LM} + \mathcal{L}_{Rep} + \mathcal{L}_{FM}$
- $\mathcal{L}_{LM}$ : Cross-Entropy für die Text-Next-Token-Prediction.
- $\mathcal{L}_{Rep}$ : Cross-Entropy für die Representation-Token-Prediction (Vorhersage der diskretisierten Encoder-Merkmale).
- $\mathcal{L}_{FM}$ : Flow-Matching-Loss für die Pixelgenerierung (unter Verwendung von $x$ -Prediction mit Velocity-Loss).
Inferenz: Der Prozess ist zweistufig. Zuerst sagt der Decoder autoregressiv die vollständige Sequenz der Representation-Tokens aus dem Text-Prompt voraus. Zweitens führt der Decoder, konditioniert auf den Text und die vorhergesagten Representation-Tokens, ein iteratives Denoising durch, um das Bild direkt im Pixelraum zu synthetisieren.

3. Zentrale Beiträge

Vorschlag von Representation Forcing (RF): Eine Methode, welche die Qualitätslücke in Pixelraum-basierten UMMs schließt, indem sie den Decoder darauf trainiert, visuelle Repräsentationen als intermediäre Token vorherzusagen. Dies eliminiert die Notwendigkeit jeglicher vortrainierter VAEs.
Doppelter Nutzen: RF verbessert sowohl die Bildgenerierung als auch das Verständnis. Es ermöglicht Pixelraum-Modellen, die Generierungsqualität von VAE-basierten Modellen zu erreichen und diese in Aufgaben des Verständnisses sogar zu übertreffen.
End-to-End-Vereinheitlichung: Die Arbeit plädiert für UMMs, in denen Wahrnehmung und Generierung einen einzigen, end-to-end gelernten Repräsentationsraum teilen, anstatt separate vortrainierte Komponenten zu koordinieren.

4. Experimentelle Ergebnisse

Die Autoren führten kontrollierte Experimente durch, die vier Varianten verglichen: Pixel-Raum (ohne RF), Pixel-Raum (mit RF), VAE-basiert (ohne RF) und VAE-basiert (mit RF).

4.1 Bildgenerierung

Leistung: Das Pixelraum-Modell mit RF (RF-Pixel) erreicht einen GenEval-Gesamtwert von 0,84 (0,88 mit LLM-Rewriter), was den State-of-the-Art VAE-basierten vereinheitlichten Modellen wie BAGEL und Show-o2 entspricht.
Schließung der Qualitätslücke: Ohne RF erzielt das Pixelraum-Modell lediglich 0,25 auf GenEval und produziert Bilder mit verzerrten Objekten und inkohärenten Kompositionen. Mit RF steigt der Wert auf 0,76, was zeigt, dass RF die notwendige strukturelle Führung bietet.
Vergleich: RF-Pixel erreicht die VAE-basierte Baseline über Standard-Benchmarks (GenEval, DPG-Bench) hinweg, während es reichhaltigere Texturen bewahrt.

4.2 Bildverständnis

Leistung: Pixelraum-Modelle mit RF (Pixel+RF) übertreffen im Allgemeinen ihre VAE-basierten Gegenstücke (VAE+RF).
Details: Pixel+RF verbessert die Leistung in 6 von 8 Verständnis-Benchmarks (einschließlich MMMU, MME und BLINK), während VAE+RF in 5 verbessert. Bemerkenswert ist, dass Pixel+RF erhebliche Gewinne bei allgemeinen visuellen Verständnisaufgaben zeigt (z. B. +4,3 auf MMMU), was darauf hindeutet, dass das Entfernen des VAE-Flaschenhalses eine engere Integration von Wahrnehmung und Generierung ermöglicht.

4.3 Ablationsstudien

Prediction vs. Alignment: RF (Decoder-Vorhersage) schneidet signifikant besser ab als REPA (Hilfs-Feature-Alignment), mit 0,76 gegenüber 0,43 auf GenEval. Direkte Konditionierung via Self-Attention ist effektiver als implizites Feature-Alignment.
Diskret vs. Kontinuierlich: Die Diskretisierung der Token-Vorhersage (0,76) übertrifft die kontinuierliche Regression (0,26 bei weitem). Die Diskretisierung verhindert die Akkumulation von Fehlern bei der autoregressiven Vorhersage und erzwingt die Trennung von hochgradiger Struktur und niedriggradigen Details.
Encoder-Wahl: Die Verwendung von DINOv3 (selbstüberwacht) als Understanding-Encoder liefert bessere Ergebnisse als SigLIP2, da die Merkmale von DINOv3 wahrscheinlich reichere räumliche und strukturelle Informationen enthalten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Representation Forcing einen effektiven Schritt in Richtung vollständig end-to-end, flaschenhalsfreier vereinlichter multimodaler Modelle darstellt.

Native Fähigkeit: Indem es Repräsentationen von Wahrnehmungsausgaben in Generierungsziele verwandelt, verankert RF das Verständnis und die Generierung in einem einzigen Repräsentationsraum, ohne auf externe latente Räume angewiesen zu sein.
Machbarkeit von Pixelraum-UMMs: Die Ergebnisse zeigen, dass die Generierung im Pixelraum nicht nur machbar, sondern potenziell überlegen gegenüber der VAE-basierten Generierung für vereinheitlichte Modellierung ist, sofern strukturelle Führung durch Representation Forcing bereitgestellt wird.
Zukünftige Ausrichtung: Die Autoren betrachten dies als einen Schritt hin zu Modellen, bei denen alle multimodalen Fähigkeiten direkt aus den Rohdaten innerhalb eines einzigen Modells erworben werden, anstatt von unabhängig trainierten Komponenten zu erben.

Hinweis: Die Autoren räumen Einschränkungen ein, einschließlich der Verwendung eines vortrainierten LLM-Backbones anstelle eines Trainings von Grund auf sowie des aktuellen Fokus auf Standbilder statt Video oder zeitliche Modalitäten.