SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation

Die Arbeit stellt SemHiTok vor, einen einheitlichen Bild-Tokenisierer, der durch einen semantisch geführten hierarchischen Codebook-Ansatz die Herausforderung eines optimalen Kompromisses zwischen multimodalem Verständnis und Bildgenerierung löst, indem er semantische und pixelbasierte Merkmale strukturell entkoppelt.

Das Wesentliche

SemHiTok: Der „Zweisprachige Dolmetscher" für Bilder

Stell dir vor, du möchtest einem Computer beibringen, Bilder nicht nur zu sehen und zu verstehen (wie ein Kunstkritiker), sondern sie auch neu zu malen (wie ein Künstler). Das ist das große Ziel der Forscher: Ein einziges Gehirn, das beides kann.

Das Problem bisher war, dass Computer zwei völlig unterschiedliche „Sprachen" für diese Aufgaben sprechen:

1. Für das Verstehen: Sie brauchen die „Hauptidee". Was ist auf dem Bild? Ein Hund? Ein Baum? (Das ist wie eine grobe Skizze oder ein Stichwort).
2. Für das Malen: Sie brauchen jedes einzelne Pixel, jede Farbe und jeden Schatten. (Das ist wie ein fotorealistisches Foto).

Bisher mussten Forscher zwei verschiedene Werkzeuge bauen oder versuchen, sie gewaltsam zu verbinden, was oft zu schlechten Ergebnissen führte (wie wenn man versucht, ein Foto mit einem Bleistift nachzuzeichnen – entweder sieht es unscharf aus oder man versteht die Bedeutung nicht mehr).

SemHiTok ist die Lösung dafür. Es ist wie ein genialer Dolmetscher, der eine neue Art von „Bild-Wörtern" (Tokens) erfindet, die beides gleichzeitig können.

Die große Idee: Das „Hierarchische Wörterbuch"

Stell dir ein riesiges Wörterbuch vor, das Bilder in kleine Puzzleteile zerlegt.

• Der alte Weg (Das Problem): Früher hatte man entweder ein Wörterbuch nur für die Bedeutung (z. B. „Hund") oder eines nur für die Details (z. B. „braunes Fell, nasse Nase"). Wenn man beides zusammenwarf, wurde das Wörterbuch riesig und unübersichtlich, oder die Details gingen verloren.
• Der neue Weg (SemHiTok): Die Forscher haben ein zweistufiges Wörterbuch erfunden, das sie „SemHiTok" nennen.

Die Analogie: Das Hotel-System

Stell dir ein riesiges Hotel vor:

1. Etage 1 (Die Semantik / Die Bedeutung):
   Zuerst schaut sich das System das Bild an und sagt: „Aha, das ist ein Huhn."
   Das ist wie der Etage-Code im Hotel. Es gibt nur wenige Etagen (z. B. Huhn, Auto, Baum). Das System weiß sofort: „Wir sind im Huhn-Bereich." Das ist super für das Verstehen.

2. Etage 2 (Die Pixel / Die Details):
   Aber ein Huhn sieht nicht immer gleich aus. Es kann rot sein, weiß sein, nass sein oder trockenes Gefieder haben.
   Hier kommt der Clou von SemHiTok: Sobald das System weiß, dass wir im „Huhn-Bereich" sind, öffnet es ein spezielles, kleines Wörterbuch nur für Hühner.
   In diesem kleinen Wörterbuch stehen dann alle feinen Details: „Rotes Kamm", „Weißes Gefieder", „Schwarze Füße".

Warum ist das so clever?

• Effizienz: Das System muss nicht jedes Detail für jedes Objekt neu lernen. Es nutzt das Wissen über das „Huhn", um die Details zu finden.
• Kein Chaos: Früher mussten Computer versuchen, alles auf einmal zu lernen (Huhn + rotes Kamm + weißes Gefieder + blaue Wolke im Hintergrund). Das führte zu Verwirrung. SemHiTok trennt die Aufgaben: Zuerst das „Was" (Semantik), dann das „Wie genau" (Pixel).

Wie funktioniert das Training? (Das „Schritt-für-Schritt"-Lernen)

Stell dir vor, du lernst Malen:

1. Schritt 1: Du lernst erst, die groben Formen zu erkennen (ein Kreis ist ein Kopf, ein Strich ist ein Arm). Du ignorierst dabei die Farben.
2. Schritt 2: Erst wenn du die Formen sicher kannst, fängst du an, die Farben und Texturen hinzuzufügen.

Frühere Methoden versuchten, beides gleichzeitig zu lernen (Formen und Farben in einem Rutsch), was oft zu einem „mittelmäßigen" Ergebnis führte. SemHiTok macht es nacheinander (phasenweise):

• Zuerst wird das „Haupt-Wörterbuch" (für die Bedeutung) perfekt trainiert.
• Dann werden die „kleinen Wörterbücher" (für die Details) hinzugefügt und trainiert, ohne das Haupt-Wörterbuch zu stören.

Das Ergebnis: Ein Alleskönner

Dank dieser Erfindung (dem „Semantisch-Geführten Hierarchischen Wörterbuch") erreicht der Computer:

• Besseres Verstehen: Er erkennt, was auf dem Bild ist, fast so gut wie ein Mensch, weil die „groben Formen" klar bleiben.
• Besseres Malen: Er kann Bilder neu erstellen, die scharf und detailreich sind, weil die „feinen Details" in den kleinen Wörterbüchern gespeichert sind.
• Einheitlichkeit: Es braucht nur ein Modell, nicht zwei. Das spart Rechenleistung und macht die KI schlanker.

Zusammenfassung in einem Satz:
SemHiTok ist wie ein genialer Architekt, der ein Haus nicht aus einem einzigen riesigen Stein baut, sondern erst das Fundament (die Bedeutung) legt und dann auf jedem Stockwerk (den Details) genau das passende Material hinzufügt – so wird das Haus sowohl stabil als auch wunderschön.

Die Forscher haben damit gezeigt, dass man KI-Modelle nicht mehr in „Versteh-Experten" und „Mal-Experten" teilen muss, sondern dass ein einziges, gut organisiertes System beides perfekt kann.

Technische Zusammenfassung

1. Problemstellung

In den letzten Jahren haben autoregressive Modelle große Erfolge im Bereich der multimodalen Verstehens- und Generierungsaufgaben erzielt. Ein zentrales Hindernis für die Entwicklung eines einheitlichen Multimodal Large Language Model (MLLM) ist jedoch die Entwicklung eines geeigneten Image Tokenizers.

• Der Konflikt: Aufgaben des multimodalen Verstehens (z. B. Bildbeschreibung, Visual Question Answering) benötigen hochlevelige semantische Merkmale, die oft von Text-ausgerichteten Encodern (wie CLIP oder SigLIP) extrahiert werden. Diese verlieren jedoch häufig pixelgenaue Details (Texturen, Farben). Umgekehrt benötigen Generierungsaufgaben (Text-zu-Bild) detaillierte pixelbasierte Informationen, die von Modellen wie VQGAN gut erfasst werden, aber oft an semantischer Kohärenz mangeln.
• Die Herausforderung: Bisherige Ansätze versuchen, diese beiden Ziele durch eine gemeinsame Optimierung (Joint Training) von semantischen und pixelbasierten Verlustfunktionen zu vereinen (z. B. VILA-U). Dies führt jedoch oft zu suboptimalen Lösungen, da die unterschiedlichen Anforderungen der beiden Aufgaben (hohe Semantik vs. hohe Pixelgenauigkeit) in einem einzigen Training kollidieren.
• Alternative Ansätze: Andere Methoden trennen die Encoder (Dual-Encoder), was jedoch die Token-Sequenzlänge verdoppelt oder den Vokabularumfang massiv erhöht, was die Integration in MLLMs erschwert und die Rechenkosten in die Höhe treibt.

2. Methodik: SemHiTok

Die Autoren schlagen SemHiTok vor, einen einheitlichen Image-Tokenizer, der auf einem neuartigen Semantic-Guided Hierarchical Codebook (SGHC) basiert. Das Ziel ist es, diskrete Repräsentationen zu schaffen, die sowohl für das Verstehen als auch für die Generierung geeignet sind, ohne die Kompromisse der bisherigen Methoden einzugehen.

Kernarchitektur: Semantic-Guided Hierarchical Codebook (SGHC)

Das SGHC besteht aus zwei Ebenen:

1. Semantischer Codebook (Hauptebene): Ein vortrainierter semantischer Codebook (basierend auf einem Text-ausgerichteten Encoder wie SigLIP), der das Bild in diskrete semantische Tokens quantisiert. Dies gewährleistet die Fähigkeit zum multimodalen Verstehen.
2. Pixel-Sub-Codebooks (Unterebene): Für jeden semantischen Code wird ein eigenes, zugehöriges Pixel-Sub-Codebook erstellt.
   • Prinzip: Die Autoren beobachten, dass Bildpatches, die denselben semantischen Code teilen, tendenziell ähnliche pixelbasierte Merkmale (Farben, Texturen, Formen) aufweisen.
   • Prozess: Nach der Quantisierung des semantischen Codes wird basierend auf diesem Index das entsprechende Pixel-Sub-Codebook ausgewählt, um die feinen pixelbasierten Details des Bildpatches zu quantisieren.
   • Fusion: Die quantisierten semantischen und pixelbasierten Merkmale werden entlang der Kanaldimension konkateniert und als Eingabe für den Decoder verwendet.

Trainingsstrategie: Phasenweise Optimierung (Phased Training)

Ein entscheidender Unterschied zu vorherigen Arbeiten ist die Trennung von Struktur und Trainingsstrategie:

• Phase 1 (Semantische Kodierung): Zuerst wird der semantische Codebook allein trainiert, um hochwertige semantische Repräsentationen zu lernen (unter Verwendung von Distillationsverlusten).
• Phase 2 (Pixel-Rekonstruktion / PRE): Anschließend wird das Pixel-Sub-Codebook trainiert, um die fehlenden Texturen und Details hinzuzufügen, während der semantische Codebook eingefroren bleibt.
• Vorteil: Diese Entkopplung verhindert, dass das Modell in ein suboptimales Minimum gerät, das durch den Konflikt zwischen semantischen und pixelbasierten Verlusten bei der gemeinsamen Optimierung entsteht.

Integration in MLLM

Der Tokenizer kann nahtlos in bestehende MLLMs integriert werden:

• Durch eine einfache „Flattening"-Operation werden die hierarchischen Codes in einen linearen Token-Index umgewandelt.
• Das Vokabular wird erweitert, um visuelle Tokens aufzunehmen, ohne die Token-Sequenzlänge zu verdoppeln (im Gegensatz zu Dual-Encoder-Ansätzen).
• Ein spezieller Dual-MLP Adapter projiziert semantische und pixelbasierte Features separat, bevor sie in den LLM-Backbone eingespeist werden, um die Verarbeitung der zwei Ebenen zu optimieren.

3. Hauptbeiträge

1. Neuartiger einheitlicher Tokenizer: SemHiTok erreicht einen optimalen Kompromiss zwischen semantischer Tiefe und Rekonstruktionsgenauigkeit durch das SGHC-Design.
2. Überlegene Leistung: Das Modell erzielt State-of-the-Art (SOTA) Ergebnisse sowohl bei Bildrekonstruktion als auch bei multimodalen Verstehensaufgaben unter dem LLaVA-v1.5-Setting.
3. Einheitliches MLLM: Die Autoren entwickeln ein vollständiges MLLM, das sowohl Verstehen als auch Generierung unterstützt und dabei die Effizienz und Skalierbarkeit diskreter Tokenisierung beibehält.
4. Effizienz: Das Design vermeidet die Inflation der Tokenanzahl und die übermäßige Vergrößerung des Vokabulars, die bei naiven Kombinationen von Encodern auftreten.

4. Ergebnisse

Die Experimente wurden auf mehreren Benchmarks durchgeführt:

• Bildrekonstruktion (ImageNet-50k):
  • SemHiTok erreicht ein rFID von 1,16 bei 256x256 Auflösung (und 0,66 bei 384x384).
  • Dies übertrifft andere einheitliche Tokenizer wie VILA-U (1,80) und SDE (2,26) deutlich und liegt nahe an spezialisierten Rekonstruktionsmodellen, obwohl es auch für Verstehen optimiert ist.
• Multimodales Verstehen (LLaVA-v1.5 Setting):
  • SemHiTok erreicht SOTA-Ergebnisse unter diskreten Tokenizern und konkurriert mit kontinuierlichen Modellen (wie SigLIP).
  • Auf Benchmarks wie POPE, MME-P, SEED und GQA übertrifft es Modelle wie VILA-U, TokenFlow und TokLIP.
  • Beispiel: Auf dem MME-P Benchmark erreicht SemHiTok-384 einen Score von 1465,6 (verglichen mit 1416,4 bei TokenFlow-384).
• Text-zu-Bild Generierung:
  • Auf dem GenAI-Bench und MJHQ-30K (gFID) zeigt das Modell starke Leistung.
  • Bei MJHQ-30K erreicht SemHiTok-256 einen gFID von 5,40, was einen neuen SOTA für autoregressive Bildgenerierung darstellt und spezialisierte Diffusionsmodelle (wie SDXL) in bestimmten Metriken schlägt.

5. Bedeutung und Fazit

SemHiTok adressiert das fundamentale Problem der Diskrepanz zwischen semantischen und pixelbasierten Anforderungen in multimodalen Modellen. Durch die Einführung der Semantic-Guided Hierarchical Codebook-Architektur und der phasenweisen Trainingsstrategie gelingt es den Autoren, die Vorteile von VQGAN (hohe Detailtreue) und CLIP/SigLIP (hohe Semantik) zu vereinen, ohne die Nachteile der gemeinsamen Optimierung oder der Token-Inflation in Kauf nehmen zu müssen.

Die Arbeit zeigt, dass ein einheitlicher diskreter Tokenizer nicht nur für die Generierung, sondern auch für das tiefe semantische Verständnis geeignet ist. Dies ebnet den Weg für effizientere, skalierbare und leistungsfähigere Multimodal Large Language Models, die sowohl „sehen" als auch „erzeugen" können, ohne dass separate Architekturen für verschiedene Aufgaben benötigt werden. Die Ergebnisse belegen, dass eine sorgfältige Strukturierung des Tokenisierungsraums (hierarchisch und entkoppelt im Training) effektiver ist als reine Kapazitätserweiterung oder naive Kombinationen.