Technische Zusammenfassung: Slot-MLLM: Objektzentrische Visual-Tokenisierung für multimodale LLM

1. Problemstellung

Kürzlich entwickelte generative Multimodale Large Language Models (MLLMs) haben diskrete visuelle Token übernommen, um eine autoregressive Modellierung von Bildern neben Text zu ermöglichen. Obwohl dieses Paradigma das Verstehen und Erzeugen innerhalb eines einzigen Next-Token-Vorhersagerahmens vereinheitlicht, stoßen bestehende visuelle Tokenizer auf erhebliche Einschränkungen:

• Fehlende Objektstruktur: Die meisten Tokenizer basieren auf Patches oder verlassen sich auf globale semantische Überwachung. Sie haben Schwierigkeiten, strukturelle Kompositionalität zu bewahren, was für das Schlussfolgern auf Objektebene und eine kontrollierbare Generierung entscheidend ist.
• Ineffizienz und Starrheit: Ansätze wie UniTok und TokenFlow verlassen sich oft auf feste Gitterdarstellungen, was zu übermäßig langen visuellen Sequenzen führt. Andere beruhen auf heuristischem Clustering oder dem Zusammenführen von Patch-Features anstatt auf einer prinzipiellen, unüberwachten Entdeckungsfindung von Entitäten.
• Integrationsherausforderungen: Während Slot Attention einen prinzipiellen induktiven Bias für eine objektzentrierte Darstellung bietet, indem es Szenen in eine feste Menge von Token zerlegt, bleibt die praktische Anwendbarkeit für generative MLLMs eine offene Herausforderung. Es muss gleichzeitig eine hochwertige Bildgenerierung, eine starke Ausrichtung mit Sprachsemantik und Stabilität beim Training auf großen Datensätzen gewährleisten.

2. Methodik

Die Autoren schlagen SlotTok, einen objektzentrischen visuellen Tokenizer, und Slot-MLLM, ein einheitliches Modell, das SlotTok mit einem LLM integriert, vor.

A. SlotTok: Objektzentrischer Visueller Tokenizer

SlotTok kodiert Bilder in eine kompakte Menge diskreter, objektzentrierter Token mittels eines zweistufigen Trainingsprozesses:

1. Architektur:

   • Slot-Encoder: Basierend auf einem abfragebasierten Transformer nimmt er visuelle Merkmale (von einem Vision-Encoder wie DINOv2) entgegen und verwendet Slot Attention, um Informationen in $N$ kohärente Slots zu aggregieren. Jeder Slot soll ein distinctes Objekt oder eine Region repräsentieren. Um mit autoregressiven MLLMs kompatibel zu sein, enthält er eine kausale Self-Attention-Schicht.
   • Vektor-Quantizer: Kontinuierliche Slot-Embeddings werden mittels eines Residual Vector Quantizer (RVQ) mit einem leichten Transformer-Block diskretisiert, um Embeddings aus diskreten Codes wiederherzustellen und dabei eine hohe Rekonstruktionsqualität unter einem kompakten Token-Budget sicherzustellen.
   • Visueller Decoder: Ein diffusionsbasierter Decoder (unCLIP-SD), der Bilder aus Slot-Token rekonstruiert. Er nutzt drei Konditionierungspfade: einen globalen Vektor für semantische Führung, eine Slot-Kontext-Embedding für eingefrorene UNet-Cross-Attention und eine trainierbare Adapter-Cross-Attention-Schicht, die vollständige Slot-Embeddings empfängt.

2. Trainingsstrategie:

   • Stufe 1 (Kontinuierliches Lernen): Der Slot-Encoder, der Transformer-Block und die Adapter-Schichten werden trainiert, während die ursprünglichen Cross-Attention-Schichten des UNet eingefroren bleiben. Das Ziel kombiniert fünf Verluste:
     • Bild-Rekonstruktionsverlust (Diffusion): Minimierung des Vorhersagefehlers für Rauschen.
     • CLIP-Ausrichtungsverlust: Ausrichtung globaler Slot-Embeddings mit CLIP-Bild-Embeddings.
     • Bild-Text-Kontrastiver Verlust: Ausrichtung von Slot-Embeddings mit Text-Embeddings, um semantische Kompatibilität sicherzustellen.
     • Bild-verankerter Textgenerierungsverlust: Vorhersage von Text-Token, konditioniert auf Slots.
     • Attention-Guidance-Verlust: Ein neuartiger Verlust, der die Adapter-Cross-Attention-Karten im UNet mit den Slot-Attention-Karten des Encoders ausrichtet. Dies stellt sicher, dass der Diffusionsdecoder Slots auf eine objekteausgerichtete Weise konsumiert, ohne externe Überwachung.
   • Stufe 2 (Diskretisierung): Der Slot-Encoder und der Visuelle Decoder werden eingefroren. Nur der RVQ und ein Rekonstruktions-Transformer werden trainiert, um diskrete Codes zu lernen, die die kontinuierlichen Embeddings approximieren und die erlernte Objekt-Ausrichtung bewahren.

B. Slot-MLLM: Einheitliche Multimodale Modellierung

Slot-MLLM integriert SlotTok in ein einziges autoregressives Framework:

• Token-Repräsentation: Bilder werden in $N \times K$ diskrete Indizes umgewandelt (wobei $K$ die Anzahl der RVQ-Codebücher ist). Diese werden flachgelegt und als „zweite Sprache" zum Wortschatz des LLM hinzugefügt, begrenzt durch <boi>- und <eoi>-Token.
• Hybrider Visueller Input: Für Verstehens-Aufgaben verwendet das Modell vorquantisierte kontinuierliche Slot-Embeddings, die über einen MLP in den versteckten Raum des LLM projiziert werden, um feingranulare visuelle Informationen zu bewahren und Quantisierungsfehler zu vermeiden. Für Generierungs-Aufgaben verwendet das Modell die diskreten Slot-Token, um eine autoregressive Next-Token-Vorhersage zu ermöglichen.
• Training: Das Modell durchläuft ein multimodales Pre-Training auf Bild-Text-Paaren und durchmischten Daten, gefolgt von einem Supervised Fine-Tuning (SFT) auf Instruktionsfolgedatensätzen für Verstehen, Generierung und Bearbeitung.

3. Hauptbeiträge

1. SlotTok: Ein neuartiger objektzentrischer visueller Tokenizer, der Slot Attention verwendet, um Bilder in eine kleine Menge semantisch bedeutsamer Token zu komprimieren und dabei strukturelle Fidelity zu bewahren.
2. Praktische Trainingsstrategie: Ein zweistufiger Trainingsansatz, der objektzentrierte Darstellungen und diskrete Tokenisierung lernt, ohne vortrainierte Diffusionspriors zu verschlechtern, und dabei Attention-Guidance nutzt, um die Slot-Objekt-Ausrichtung zu stabilisieren.
3. Slot-MLLM: Die erste groß angelegte empirische Validierung, dass Slot Attention effektiv in LLMs für diverse reale Bilder integriert werden kann. Es zeigt, dass objektzentrierte Tokenisierung eine vereinheitlichte autoregressive Modellierung sowohl für Verstehen als auch für Generierung ermöglicht.

4. Experimentelle Ergebnisse

Bildrekonstruktion und Tokenqualität

• Rekonstruktion: SlotTok erreicht eine konkurrenzfähige Rekonstruktionsqualität (PSNR, SSIM, CLIP-T) im Vergleich zu diffusionsbasierten Tokenizern wie LaViT und SEED, trotz der Verwendung deutlich weniger Token (32 Slots vs. 256+ Patches).
• Objektzentriertheit: Qualitative Analysen und Experimente mit zufälliger Ersetzung zeigen, dass SlotTok-Token nicht redundant und distinct sind. Das Ersetzen von 50 % der Token führt zu einem signifikanten Leistungsabfall, was bestätigt, dass jeder Slot spezifische visuelle Details kodiert.
• Attention-Karten: Slot-Attention-Karten konzentrieren sich klar auf einzelne Objekte, wohingegen Baselines wie LaViT eine verstreute Attention oder verschobene Objektpositionen zeigen.

Multimodales Verstehen und Generieren

• Verstehen: Slot-MLLM übertrifft vereinheitlichte Baselines (LaViT, SEED-LLaMA) auf Zero-Shot-Benchmarks (GQA, MME, POPE, NaturalBench), insbesondere bei Aufgaben, die Objekterkennung und Attributbindung erfordern.
• Generierung & Bearbeitung: Slot-MLLM übertrifft Baselines konsistent bei der Text-zu-Bild-Generierung (GenEval, T2I-CompBench) und der lokalisierten Bildbearbeitung (MagicBrush, GIE-Bench). Es zeigt eine überlegene Fähigkeit, die Hintergrundkonsistenz zu bewahren und spezifische Objekte basierend auf Text-Prompts zu manipulieren.
• Skalierung: Die Leistung verbessert sich konsistent bei der Skalierung des Backbone-LLM (von 7B auf 14B), was die Kompatibilität der Architektur mit stärkeren Modellen indiziert.

Ablationsstudien

• Slot Attention: Das Entfernen von Slot Attention (Ersetzung durch Standard-Cross-Attention) führt zu einem signifikanten Abfall bei Metriken auf Objektebene (ARI, mIoU) und der Leistung bei Downstream-Aufgaben, was die Notwendigkeit des induktiven Bias bestätigt.
• Guidance-Loss: Das Entfernen des Attention-Guidance-Loss verbessert die Pixel-level-Rekonstruktion (PSNR), verschlechtert jedoch die Objekt-Ausrichtung und die Leistung bei nachgelagerten Generierungs-/Bearbeitungsaufgaben, was den Trade-off zwischen roher Fidelity und semantischer Struktur hervorhebt.
• Slot-Anzahl: Eine Erhöhung der Slots über 32 hinaus (z. B. auf 64) verbessert die Rekonstruktionsmetriken, verschlechtert jedoch die objektzentrierten Metriken (ARI, mIoU), was darauf hindeutet, dass übermäßige Slots kohärente Objekte überpartitionieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die erste groß angelegte empirische Validierung zu liefern, dass objektzentrierte Slot Attention effektiv in generative MLLMs für reale Bilder integriert werden kann.

Die Autoren argumentieren, dass:

• Eine hohe Rekonstruktionsfidelity allein für MLLMs unzureichend ist; visuelle Token müssen eine objektbewusste Darstellung bieten, die mit linguistischen Konzepten übereinstimmt.
• Objektzentrierte Tokenisierung nicht lediglich eine repräsentationale Wahl ist, sondern ein Schlüsselmechanismus für eine effiziente und kontrollierbare multimodale Generierung.
• Die vorgeschlagene Methode eine überlegene Balance zwischen generativer Qualität, Recheneffizienz (durch Token-Kompression) und feingranularer struktureller Kontrolle im Vergleich zu bestehenden patchbasierten oder global überwachten Tokenizern erreicht.

Die Arbeit etabliert, dass die Anpassung von Slot Attention zur Ausrichtung mit Sprachüberwachung und die Stärkung objektzentrierter Darstellungen für nächste Generationen vereinheitlichter MLLM notwendig ist.