Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

1. Problemstellung

Aktuelle Unified Multimodal Models (UMMs) verlassen sich typischerweise auf vorab trainierte Vision-Encoder (z. B. CLIP für das Verständnis, VQ-VAE für die Generierung), um Rohbilder in latente Repräsentationen umzuwandeln. Dieser modulare Ansatz führt zu mehreren kritischen Einschränkungen:

• Fehlende Ausrichtung der Repräsentationen: Separate Encoder für Verständnis und Generierung schaffen eine Diskrepanz zwischen den beiden Aufgaben, was eine vollständige End-to-End-Optimierung verhindert.
• Induktive Verzerrungen: Vorab trainierte Encoder erzwingen feste Eingabeauflösungen und schränken den Zugriff auf feingranulare, niedrigstufige visuelle Details ein, was die Leistung bei Aufgaben beeinträchtigt, die eine präzise Wahrnehmung erfordern.
• Architekturkomplexität: Die Abhängigkeit von mehreren modularen Komponenten (Encoder, Konnektoren, Decoder) verkompliziert die Trainingspipeline und verhindert, dass das Modell eine wirklich vereinheitlichte Repräsentation direkt aus Rohpixeln lernt.

Die Autoren fragen: Können wir ein vereinheitlichtes multimodales Modell entwickeln, das sowohl Verständnis als auch Generierung direkt aus Rohpixeln durchführt und dabei vollständig auf vorab trainierte Vision-Encoder verzichtet?

2. Methodik

Das Paper stellt Tuna-2 vor, ein natives vereinheitlichtes multimodales Modell, das vollständig im Pixelraum operiert. Die Methodik wird durch eine progressive Vereinfachung bestehender Architekturen entwickelt:

A. Architekturevolution

Die Autoren schlagen eine dreistufige Evolution vor, um zum finalen encoderfreien Design zu gelangen:

1. Tuna (Basis): Verwendet ein Standard-modulares Design mit einem VAE-Encoder für die Generierung und einem Repräsentations-Encoder (z. B. SigLIP) für das Verständnis.
2. Tuna-R (Zwischenstufe): Entfernt den VAE, behält jedoch einen vorab trainierten Repräsentations-Encoder (SigLIP 2) bei. Er nutzt eine Patch-Embedding-Schicht, um Bilder in Tokens für den LLM-Decoder umzuwandeln, und führt die Generierung im Pixelraum mittels Flow Matching durch.
3. Tuna-2 (Final): Entfernt den vorab trainierten Repräsentations-Encoder vollständig. Er ersetzt komplexe Encoder durch einfache Patch-Embedding-Schichten, die Rohbildpixel direkt tokenisieren. Das gesamte System ist ein einzelner, monolithischer Transformer-Decoder, der Text- und visuelle Tokens gemeinsam verarbeitet.

B. Generierung im Pixelraum

Anstelle von latenter Diffusion setzt Tuna-2 rectified flow matching direkt im Pixelraum ein:

• Ziel: Das Modell sagt das saubere Bild $x_1$ aus einer verrauschten Stichprobe $x_t$ voraus, die über einen linearen Zeitplan konstruiert wird: $x_t = tx_1 + (1-t)x_0$.
• Verlustfunktion: Es minimiert den Fehler bei der Vorhersage der Geschwindigkeit ($v_\theta$), wobei $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• Inferenz: Verwendet einen Euler-Löser, um Bilder schrittweise zu entrümpeln.

C. Maskierungsbasiertes Feature-Lernen

Um die Schwierigkeit zu bewältigen, robuste Repräsentationen im hochdimensionalen Pixelraum zu lernen (was anfällig für oberflächliche Abkürzungen ist), führen die Autoren ein Maskierungsschema ein:

• Mechanismus: Während des Trainings werden zufällige Bildpatches maskiert und durch einen lernbaren Mask-Token ersetzt.
• Doppelte Rolle:
  • Für die Generierung: Zwingt das Modell, saubere Patches aus teilweise beobachteten verrauschten Eingaben zu rekonstruieren, was eine schwierigere Denoising-Aufgabe schafft.
  • Für das Verständnis: Wirkt als Regularisierer, indem es das Modell zwingt, unter teilweiser visueller Beobachtung zu reasoning, und verhindert eine übermäßige Abhängigkeit von spezifischen visuellen Hinweisen.

D. Trainingspipeline

Das Modell wird vollständig End-to-End in zwei Stufen trainiert:

1. Stufe 1 (Pretraining): Gemeinsames Training auf Bildunterschriften und Text-zu-Bild-Generierung (70 % Verständnis, 30 % Generierungsdaten) unter Verwendung eines 7B-Parameter-Backbones (Qwen2.5-7B-Instruct).
2. Stufe 2 (SFT): Überwachtes Feinabstimmen auf Datensätzen für Bild-Instruktionsbefolgung, Bearbeitung und hochwertige Generierung.

3. Hauptbeiträge

1. Tuna-2-Architektur: Das erste native UMM, das State-of-the-Art (SOTA)-Leistungen sowohl im Verständnis als auch in der Generierung erreicht, indem es vollständig auf vorab trainierte Vision-Encoder verzichtet und sich ausschließlich auf Pixel-Embeddings verlässt.
2. Empirische Validierung des encoderfreien Designs: Zeigt, dass vorab trainierte Encoder zwar die frühe Konvergenz unterstützen, eine encoderfreie monolithische Architektur sie jedoch im multimodalen Verständnis, insbesondere bei feingranularen Aufgaben, nach ausreichendem Pretraining übertrifft.
3. Skalierbarkeit im Pixelraum: Beweist, dass Flow Matching im Pixelraum auf große vereinheitlichte Modelle skaliert werden kann und mit latentraum-basierten Ansätzen für die Generierung und Bearbeitung hochfiderer Bilder konkurrieren kann.
4. Maskierungsstrategie: Führt ein maskierungsbasiertes Lernschema ein, das das Training im hochdimensionalen Pixelraum stabilisiert und die Robustheit der Repräsentation verbessert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten Tuna-2 gegen verschiedene Baselines (einschließlich Tuna, Tuna-R, Show-o2, BAGEL und generierungs-only-Modelle wie FLUX.1).

• Multimodales Verständnis (Tabelle 1):
  • Tuna-2 erzielt SOTA-Leistungen unter 7B-skalierten nativen UMMs über allgemeine Benchmarks (GQA, MMVet, MMMU) und pixelzentrische Benchmarks (V*, CountBench, VisuLogic).
  • Es übertrifft Tuna-R bei feingranularen Wahrnehmungsaufgaben signifikant, was darauf hindeutet, dass die Entfernung der induktiven Verzerrung des Encoders ein besseres Lernen niedrigstufiger visueller Details ermöglicht.
• Bildgenerierung (Tabelle 2 & 3):
  • Tuna-2 ist mit SOTA-vereinheitlichten Modellen bei GenEval und DPG-Bench konkurrenzfähig.
  • Während Tuna-R (mit Encoder) bei den Generierungsmetriken zunächst leicht führt, holt Tuna-2 nach dem SFT auf.
  • Vielfalt: Tuna-2 erzeugt signifikant vielfältigere Bilder als Tuna-R und Tuna, wie von LLMs (GPT-5.4, Claude Opus) beurteilt.
• Bildbearbeitung & Rekonstruktion (Tabelle 4 & 5):
  • Tuna-2 schneidet bei der Bildbearbeitung (ImgEdit) stark ab und übertrifft viele vereinheitlichte Baselines.
  • Bei Bildrekonstruktionsaufgaben erreicht Tuna-2 eine Rekonstruktionsqualität (PSNR/SSIM), die mit spezialisierten VAEs wie FLUX.1 vergleichbar ist, und beweist, dass Pixelraum-Repräsentationen visuelle Informationen treu kodieren können.
• Aufmerksamkeitsanalyse (Abbildung 7):
  • Visualisierungen zeigen, dass Tuna-2 genauere und stabilere Aufmerksamkeitskarten hat, die sich korrekt auf relevante visuelle Regionen konzentrieren, selbst wenn linguistische Priors irreführend sind (z. B. die Identifizierung einer Glas-Tasse im Kontext von Fußball), während encoderbasierte Modelle oft auf Text-Priors oder auffällige Ablenkungen angewiesen sind.

5. Bedeutung und Fazit

Das Paper stellt das vorherrschende Paradigma fundamental in Frage, dass vorab trainierte Vision-Encoder für leistungsstarkes multimodales KI notwendig sind.

• Paradigmenwechsel: Es zeigt, dass "End-to-End-Lernen im Pixelraum" ein gangbarer und überlegener Weg zur Entwicklung stärkerer visueller Repräsentationen ist, insbesondere für Aufgaben, die eine feingranulare Wahrnehmung erfordern.
• Einfachheit: Durch das Streichen komplexer modularer Encoder vereinfacht Tuna-2 die Architektur zu einem einzigen Transformer, reduziert den Engineering-Aufwand und ermöglicht eine echte gemeinsame Optimierung.
• Zukünftige Richtung: Die Ergebnisse deuten darauf hin, dass zukünftige native UMMs die direkte Pixelmodellierung gegenüber der Kompression im latenten Raum priorisieren sollten, da Letztere Informationsengpässe einführen kann, die die Fähigkeit des Modells einschränken, hochfidele visuelle Details zu wahrzunehmen und zu generieren.

Zusammenfassend beweist Tuna-2, dass eine einfache, encoderfreie Architektur, die direkt auf Rohpixeln trainiert wird, komplexe, encoderbasierte Systeme im Verständnis übertreffen kann, während sie gleichzeitig konkurrenzfähige Generierungsfähigkeiten beibehält, und bietet damit einen skalierbaren Bauplan für die nächste Generation multimodaler Modelle.