💻 computer science

WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens

WinTok ist ein hybrider visueller Tokenizer, der das Verstehen und die Generierung entkoppelt, indem er lernbare semantische Token, die aus vortrainierten Fundamentmodellen destilliert wurden, mit Pixeltoken kombiniert, um in beiden Aufgaben eine überlegene Leistung mit deutlich weniger Trainingsdaten als bestehende einheitliche Ansätze zu erzielen.

Ursprüngliche Autoren: Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, zwei völlig unterschiedliche Aufgaben gleichzeitig zu erledigen: ein Bild in Worten zu beschreiben (Verstehen) und dieses Bild von Grund auf neu zu zeichnen (Generierung).

Das Problem besteht darin, dass diese Aufgaben unterschiedliche „Sprachen" erfordern.

Um ein Bild zu beschreiben, benötigt der Roboter hochlevelige, abstrakte Konzepte (wie „ein trauriger Hund" oder „ein sonniger Strand"). Er muss nicht die exakte Farbe jedes einzelnen Pixels kennen.
Um ein Bild neu zu zeichnen, benötigt der Roboter niedriglevelige, präzise Details (wie den exakten Blauton des Himmels oder die Textur des Fells). Ihn kümmert nicht die „Traurigkeit" des Hundes, sondern nur die Pixel.

Der alte Weg: Der „Allrounder, der in nichts Meister ist"-Ansatz
Frühere Versuche versuchten, den Roboter zu zwingen, einen einzigen Satz von „Tokens" (digitale Bausteine) für beide Aufgaben zu verwenden. Das war, als würde man einen Koch bitten, dasselbe Messer sowohl zum Hacken von Gemüse als auch für eine delicate Operation zu verwenden. Das Ergebnis war ein Kompromiss: Der Roboter wurde beim Beschreiben okay, beim Zeichnen okay, aber in beidem nie großartig.

Die neue Lösung: WinTok (Der „Spezialisiertes Team"-Ansatz)
Die Arbeit stellt WinTok vor, ein neues System, das dieses Problem löst, indem es dem Roboter zwei verschiedene Werkzeugsets gibt, die zusammenarbeiten, aber getrennt bleiben. Stellen Sie sich eine Baufirma mit zwei spezialisierten Teams vor:

Das Pixel-Team (Die Künstler): Dieses Team kümmert sich um die „Pixel-Tokens". Sie sind wie ein Team von Malern, das sich ausschließlich auf feine Details, Texturen und Farben konzentriert. Ihre einzige Aufgabe ist es, sicherzustellen, dass das endgültige Bild exakt wie das Original aussieht. Sie sind hervorragend in der Generierung.
Das Semantische Team (Die Philosophen): Dieses Team kümmert sich um „Lernbare Tokens". Sie sind wie ein Team von Kunstkritikern, die das gesamte Bild betrachten und die Hauptidee zusammenfassen („Es ist ein Hund", „Es ist glücklich"). Sie machen sich keine Sorgen um die Pinselstriche; sie erfassen einfach die Bedeutung. Sie sind hervorragend im Verstehen.

Wie sie zusammenarbeiten: Die „Asymmetrische Destillation"
Hier kommt der clevere Teil: Wie bringt man die „Philosophen" (das Semantische Team) dazu, so klug zu sein, ohne sie über Jahre hinweg von Grund auf neu zu trainieren?

Die Autoren verwenden eine Technik namens Asymmetrische Token-Destillation. Stellen Sie sich einen berühmten, weltklasse Kunstkritiker (ein vortrainiertes „Foundation Model") vor, der ein Bild betrachtet und dem Semantischen Team des Roboters die „Essenz" des Bildes zuflüstert. Das Team des Roboters hört zu, lernt und versucht, das Verständnis dieses Experten nachzuahmen.

Der Twist: Der Experte bringt den „Künstlern" (Pixel-Team) nichts Neues bei; sie tun einfach weiter das, was sie gut können (Details malen).
Das Ergebnis: Das Semantische Team wird zum Meister der Bedeutung, weil es von einem Experten gelernt hat, während das Pixel-Team zum Meister der Details bleibt. Sie arbeiten Seite an Seite, ohne sich gegenseitig im Weg zu stehen.

Das Ergebnis: Ein Gewinn für beide Seiten
Da die beiden Teams klare, getrennte Rollen haben, muss der Roboter keine Kompromisse eingehen.

Für das Verstehen: Es nutzt die Zusammenfassung des Semantischen Teams, um Fragen wie „Wer ist auf diesem Foto?" oder „Wie ist die Stimmung?" zu beantworten. Es wurde bei der Klassifizierung 11,2 % besser als das bisher beste System.
Für die Generierung: Es nutzt die Details des Pixel-Teams, um das Bild neu zu zeichnen. Es erreichte eine Rekonstruktionsqualität, die genauso gut war wie die der besten Systeme, aber es benötigte dafür viel weniger Trainingsdaten (50 Millionen Bilder statt 1 Milliarde).

Auf den Punkt gebracht
WinTok ist wie ein Restaurant, das aufgehört hat, zu versuchen, dass ein Koch alles erledigt. Stattdessen hat es einen Sous-Chef eingestellt, der beim Schneiden und Anrichten hervorragend ist (Generierung), und einen Food-Kritiker, der beim Beschreiben von Aromen und Zutaten hervorragend ist (Verstehen). Indem man ihnen erlaubt, das zu tun, worin sie am besten sind, serviert das Restaurant bessere Speisen (Bilder) und schreibt bessere Kritiken (Beschreibungen) als je zuvor, und das alles mit weniger Zutaten (Daten).

Technischer Überblick zu WinTok

Problemstellung
Unified multimodale Modelle zielen darauf ab, visuelles Verständnis und Generierung innerhalb eines einzigen autoregressiven Rahmens zu vereinen. Diese Aufgaben stellen jedoch widersprüchliche Anforderungen an die visuelle Tokenisierung. Visuelles Verständnis erfordert hochlevelige, kontinuierliche semantische Abstraktionen, um abstrakte Konzepte zu erfassen, wohingegen die visuelle Generierung auf niedriglevelige, diskrete Token angewiesen ist, um eine präzise Pixelrekonstruktion und hochfidele Synthese zu gewährleisten. Bestehende Ansätze stehen vor einem Dilemma:

Duale Encoder: Die Verwendung separater Tokenizer für jede Aufgabe vermeidet Konflikte, führt jedoch zu erheblicher Modellkomplexität und scheitert an einer echten Vereinheitlichung.
Unified Encoder: Das Erzwingen eines einzigen Satzes von Token für sowohl semantische Abstraktion als auch Pixelrekonstruktion führt zu Optimierungskonflikten, was zu Kompromissen in der Leistung führt, bei denen keine der beiden Aufgaben optimale Ergebnisse erzielt.

Methodik: WinTok
Die Autoren schlagen WinTok vor, einen kompakten hybriden Tokenizer, der visuelle Verständnis- und Generierungsziele entkoppelt, während eine vereinheitlichte Architektur beibehalten wird. Die Kerninnovation liegt in der expliziten Zerlegung der Aufgaben unter Verwendung von zwei unterschiedlichen Token-Typen innerhalb eines einzigen unified Encoders:

Hybride Tokenisierungsarchitektur:
- Unified Encoder: Ein Vision Transformer (ViT) empfängt das Eingabebild.
- Pixel-Token: Der Encoder generiert Pixel-Token aus den Eingabebild-Patches. Diese Token behalten reiche lokale Details bei und sind für die visuelle Generierung optimiert.
- Lernbare semantische Token: Ein Satz lernbarer Token wird als zusätzliche Eingabe in den unified Encoder eingeführt. Diese Token sind darauf optimiert, hochlevelige globale Semantik für das visuelle Verständnis zu erfassen.
- Fusion: Die Pixel-Token und lernbaren Token werden konkateniert und vom unified Encoder verarbeitet, was eine adaptive Integration komplementärer kontextueller Informationen ermöglicht.
Asymmetrische Token-Distillation:
Um die zufällig initialisierten lernbaren Token mit starker diskriminativer Kraft auszustatten, führen die Autoren einen asymmetrischen Token-Distillationsmechanismus ein:
- Ein vortrainiertes visuelles Basis-Modell (z. B. SigLIP2) fungiert als „semantischer Lehrer".
- Der Lehrer extrahiert semantische Token aus dem Eingabebild.
- Auf die Token des Lehrers und die lernbaren Token des Modells wird eine globale Pooling angewendet, um globale Vektoren zu erhalten.
- Ein Cosine-Similarity-Verlust leitet die Optimierung der lernbaren Token an, das semantische Wissen des Lehrers zu erben, wodurch repräsentationale Fähigkeiten effektiv übertragen werden, ohne dass der Lehrer Teil der Generierungspipeline sein muss.
Trainingsziele:
- Semantischer Verlust: Minimiert den Abstand zwischen den gepoolten lernbaren Token und den semantischen Token des Lehrers.
- Pixel-Verlust: Die Pixel-Token werden über ein Multi-codebook-Quantisierungsmodul (MCQ) quantisiert und mittels eines Decoders rekonstruiert. Die Optimierung umfasst Pixelrekonstruktionsverlust, Codebook-Lernverlust, perceptuellen Verlust und adversarialen Verlust.

Hauptbeiträge

Entkoppelung durch übertragbare Token: WinTok löst den inhärenten Konflikt zwischen Verständnis und Generierung, indem es lernbare Token für semantische Abstraktion und Pixel-Token für Rekonstruktion verwendet, wodurch die Komplexität dualer Encoder vermieden wird.
Asymmetrische Distillation: Die Methode ermöglicht es lernbaren Token, starke semantische Repräsentationen von Basis-Modellen zu erben, was die Verständnisfähigkeiten verbessert, ohne die Generierungsqualität zu beeinträchtigen.
Effizienz: Der Ansatz erzielt hohe Leistung mit deutlich weniger Trainingsdaten (50 Millionen Bilder) und einer reduzierten Codebook-Größe im Vergleich zu starken Baselines.

Experimentelle Ergebnisse
Über 10 Benchmarks hinweg zeigt WinTok konsistente Verbesserungen bei Rekonstruktion, Verständnis und Generierung:

Rekonstruktion & Klassifizierung: Auf dem ImageNet-1K-Validierungsdatensatz erreicht WinTok eine Top-1-Klassifizierungsgenauigkeit von 82,0 % und übertrifft die starke Baseline UniTok um 11,2 %. Es behält eine wettbewerbsfähige Rekonstruktionsqualität mit einem rFID von 0,41 bei, die mit UniTok vergleichbar ist, obwohl deutlich weniger Trainingsdaten (50 Millionen vs. 1 Milliarde) und eine kleinere Codebook-Kapazität ( $2^{48}$ vs. $2^{96}$ ) verwendet werden.
Multimodales Verständnis: Integriert mit einem LLM (Qwen3-8B) übertrifft WinTok UniTok auf dem POPE-Benchmark um 3,3 % und erzielt wettbewerbsfähige Ergebnisse auf GQA, TextVQA und MMBench.
Visuelle Generierung: Bei Text-zu-Bild-Generierungsaufgaben (GenEval und DPG-Bench) übertrifft WinTok UniTok (0,76 vs. 0,59 auf GenEval) und zeigt wettbewerbsfähige Leistung gegenüber großskaligen Diffusionsmodellen und anderen autoregressiven Systemen.
Ablationsstudien: Experimente bestätigen, dass eine Erhöhung der Anzahl der lernbaren Token beide Aufgaben verbessert. Darüber hinaus führt das Umkehren der Rollen (Verwendung lernbarer Token für die Rekonstruktion) zu einer starken Verschlechterung der Leistung, was die spezifische Designentscheidung zur Trennung semantischer und pixelbezogener Verantwortlichkeiten validiert.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass WinTok eine vielversprechende Richtung für die unified multimodale Modellierung bietet, indem es die divergierenden Bedürfnisse von visuellem Verständnis und Generierung effektiv ausbalanciert. Durch die Zerlegung dieser Ziele mittels übertragbarer Token erreicht WinTok eine „Win-Win"-Leistung, bei der beide Aufgaben profitieren, ohne den Overhead dualer Architekturen. Die Autoren weisen darauf hin, dass die aktuelle Implementierung zwar durch einen Datensatz mit 50 Millionen Stichproben und spezifische Architekturentscheidungen eingeschränkt ist, die hybride Codierungsstrategie jedoch eine flexible Grundlage für zukünftige Forschung bietet, insbesondere beim Skalieren von Trainingskorpora und beim Co-Design vereinheitlichter Architekturen.

Technischer Überblick zu WinTok

Mehr davon