💻 computer science

Unified Pix Token And Word Token Generative Language Model

Dieser Artikel stellt ein neuartiges generatives Sprachmodell vor, das Pixel- und Wort-Token durch spezifische architektonische Innovationen wie Farbfaltung und globale bedingte Aufmerksamkeit vereint, um die Grenzen aktueller ViT-basierter Vision-Encoder bei der Erkennung feiner visueller Details zu überwinden, und zeigt selbst bei kleinen Modellen und begrenzten Daten eine starke Leistung.

Ursprüngliche Autoren: Haun Leung, ZiNan Wang

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haun Leung, ZiNan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, gleichzeitig zu „sehen" und zu „sprechen". Derzeit verwenden die besten Computer eine Methode namens ViT (Vision Transformer), um Bilder zu betrachten. Die Autoren dieses Papers argumentieren, dass diese aktuelle Methode wie der Versuch ist, ein komplexes Gemälde zu beschreiben, indem man nur einen unscharfen, zusammengefassten Entwurf betrachtet. Dabei gehen winzige Details verloren, wie etwa die Kfz-Kennzeichennummer auf einem Auto oder kleiner Text auf einem Schild.

Hier ist eine einfache Aufschlüsselung ihrer neuen Idee, des Unified Pix Token and Word Token Model, unter Verwendung alltäglicher Analogien.

1. Das Problem: Der „unscharfe Entwurf" versus die „pixelgenaue" Realität

Aktuelle Methode (ViT/CLIP):
Stellen Sie sich vor, Sie haben ein riesiges Mosaik aus einer Million winziger Fliesen. Die aktuelle KI betrachtet nicht jede einzelne Fliese. Stattdessen gruppiert sie sie in große Blöcke (Patches) und fragt: „Wie sieht dieser gesamte Block aus?" Sie verwandelt diesen Block in ein einziges „Wort" oder eine Zusammenfassung.

Der Fehler: Wenn Sie nur eine winzige Fliese ändern (zum Beispiel eine Kfz-Kennzeichennummer von 1 auf 6), ändert sich die Zusammenfassung des gesamten Blocks komplett. Es ist so, als ob Sie einen Buchstaben in einem Satz ändern würden und die KI denken würde, der gesamte Absatz habe eine völlig andere Bedeutung. Dies macht sie schlecht darin, kleine Details zu erkennen.

Die neue Methode (Pix Token):
Die Autoren sagen: „Lassen Sie uns aufhören zu zusammenfassen. Geben wir jedem einzelnen Pixel (dem winzigsten Farbpunkt in einem Bild) sein eigenes einzigartiges Namensschild und seinen eigenen Eintrag im Wörterbuch."

Die Analogie: Anstatt Fliesen in Blöcke zu gruppieren, geben wir jeder einzelnen Fliese im Mosaik ihre eigene einzigartige Ausweisnummer. Wenn Sie eine Fliese ändern, ändert sich nur diese eine Ausweisnummer. Der Rest des Bildes bleibt genau gleich. Dies macht die KI viel empfindlicher für winzige Details.

2. Die Herausforderung: Zu viele Namen zum Merken

Das Problem:
Wenn Sie jedem Pixel einen eigenen Namen geben und ein Pixel eine von 16,7 Millionen Farben sein kann, landen Sie bei einem Wörterbuch, das unmöglich riesig ist. Es würde zu viel Rechenleistung benötigen, um jede einzelne Farbe nachzuschlagen.

Die Lösung: „Farbfaltung" (Color Folding)
Die Autoren schlagen einen cleveren Trick namens Color Folding vor.

Die Analogie: Stellen Sie sich eine Kiste mit 16,7 Millionen verschiedenen Blautönen vor. Für das menschliche Auge ist der Unterschied zwischen „Himmelblau" und „Himmelblau + ein winziger weißer Fleck" unsichtbar.
Die Korrektur: Das Modell gruppiert diese winzigen, nicht unterscheidbaren Töne zusammen. Es sagt: „Wir brauchen keine 16 Millionen Namen; lassen Sie uns einfach 4.000 Namen verwenden, die alle Farben abdecken, die Menschen tatsächlich sehen können."
Ergebnis: Dies verkleinert die Wörterbuchgröße massiv (wie das Falten einer riesigen Landkarte auf Taschengröße), ohne dass das Bild für das menschliche Auge unscharf aussieht. Es spart enorme Mengen an Rechenleistung.

3. Der Zaubertrick: „Global zu Lokal"-Aufmerksamkeit

Das Problem:
Selbst mit einem kleineren Wörterbuch ist es immer noch viel Arbeit, ein ganzes Bild pixelweise zu betrachten. Wenn Sie versuchen, jeden Pixel gleichzeitig mit jedem anderen Pixel zu vergleichen (Globale Aufmerksamkeit), wird der Computer überfordert, wie wenn man versuchen würde, 10.000 Personen gleichzeitig sprechen zu hören.

Die Lösung: „Fenster-Aufmerksamkeit" (Windowed Attention)
Das Modell teilt das Bild in kleine Fenster auf (wie durch einen kleinen quadratischen Rahmen zu schauen).

Schritt 1: Es betrachtet ein kleines Fenster von Pixeln und ermittelt, wie sie zueinander in Beziehung stehen.
Schritt 2: Es nimmt die „Zusammenfassung" dieses Fensters und geht zum nächsten über.
Schritt 3: Es kombiniert diese Fensterzusammenfassungen, um das gesamte Bild zu verstehen.

Die Analogie: Anstatt zu versuchen, die ganze Menge auf einem Konzert auf einmal zu verstehen, hören Sie kleinen Gruppen von Freunden zu, die sich unterhalten, dann der nächsten Gruppe, und setzen schließlich zusammen, was die ganze Menge sagt. Die Autoren behaupten, dies sei eine „kluge Annäherung", die fast genauso gut funktioniert wie das Zuhören bei allen auf einmal, aber viel schneller ist.

4. Das große Ziel: Vereinigung von Wörtern und Bildern

Derzeit behandeln KI-Modelle Text und Bilder als zwei verschiedene Dinge. Sie lesen Text mit einem Gehirn und betrachten Bilder mit einem separaten „Übersetzer" (dem ViT-Encoder).

Das neue Modell:
Dieses Modell behandelt Pixel exakt so, wie es Wörter behandelt.

Die Analogie: Stellen Sie sich eine Sprache vor, in der „Apfel" ein Wort ist und eine bestimmte Rottönung ebenfalls ein Wort ist. Die KI kann einen Satz wie „Das [Rote Pixel] ist auf dem [Grünen Pixel]" genauso leicht lesen wie „Der Apfel ist auf dem Tisch."
Der Vorteil: Da es Pixel wie Wörter behandelt, kann es aus unüberwachten Daten lernen. Das bedeutet, es kann lernen, indem es einfach Millionen rohe Bilder im Internet betrachtet, ohne dass Menschen Etiketten wie „Das ist eine Katze" schreiben müssen. Es ist wie ein Kind, das zu sehen lernt, indem es einfach die Welt betrachtet, anstatt mit Lernkarten unterrichtet zu werden.

5. Was haben sie tatsächlich getan?

Die Autoren bauten eine kleine Version dieses Modells (120 Millionen Parameter) und trainierten es nur mit Bildern (noch ohne Text).

Das Ergebnis: Das Modell lernte erfolgreich. Der „Verlust" (ein Maß dafür, wie verwirrt die KI war) ging zurück, was bedeutet, dass es begann, die Muster der Pixel zu verstehen.
Die Behauptung: Sie glauben, dass dieses Modell, wenn man ihm mehr Rechenleistung und mehr Daten gibt, noch besser wird und demselben „Skalierungsgesetz" folgt, das textbasierte KI (wie GPT-3) so erfolgreich gemacht hat.

Zusammenfassung

Das Paper schlägt eine neue Art vor, wie Computer sehen können:

Aufhören mit der Zusammenfassung von Bildern; geben Sie jedem Pixel seine eigene einzigartige Identität.
Vereinfachen Sie die Farben (Farbfaltung), damit der Computer nicht überfordert wird.
Schauen Sie in Fenstern statt auf einmal, um Energie zu sparen.
Behandeln Sie Pixel wie Wörter, was es der KI ermöglicht, aus rohen Bildern zu lernen, ohne menschliche Lehrer zu benötigen.

Die Autoren glauben, dass dies eine bessere Grundlage für die Zukunft der KI-Vision ist als die aktuellen Methoden, obwohl sie zugeben, dass sie mehr Rechenleistung benötigen, um dies im großen Maßstab zu beweisen.

Technische Zusammenfassung: Generatives Sprachmodell mit vereinigten Pix-Token und Wort-Token

1. Problemstellung

Die Autoren identifizieren kritische Einschränkungen in aktuellen state-of-the-art Open-Source-Multimodalmodellen (z. B. LLaVA, Kimi-2.5, Qwen-2.5-VL), die auf Vision Transformern (ViT) basieren, die als Vision-Encoder durch kontrastive Methoden wie CLIP oder SigLIP vortrainiert wurden. Die Arbeit argumentiert, dass diese Architektur unter vier Hauptproblemen leidet:

Verlust von Details: ViT kodiert Bilder in Merkmalsvektoren ähnlich wie Text, was möglicherweise feingranulare Details wie kleinen Text oder Zahlen innerhalb eines Bildes nicht adäquat darstellen kann.
Instabilität (Die „Kettenreaktion"): Geringfügige Änderungen in einem Bild (z. B. eine Änderung der Kennzeichennummer von 1 auf 6) bewirken, dass sich alle Gleitkommazahlen in den kodierten Merkmalen ändern, was zu instabilen Repräsentationen führt.
„Falsche" Token-Einbettungen: ViT generiert Token-Einbettungen durch Patching von Pixeln. Diese Einbettungen verfügen nicht über wirklich anpassbare Parameter, was ihre Ausdruckskraft im Vergleich zu Wort-Token in Large Language Models (LLMs) einschränkt.
Einschränkungen des überwachten Trainings: CLIP und SigLIP beruhen auf überwachten Trainings mit begrenzten Datensätzen, was zu potenziellen Defiziten in Szenarien außerhalb der Trainingsverteilung führen kann.

2. Methodik

Die Arbeit schlägt ein Generatives Sprachmodell mit vereinigten Pix-Token und Wort-Token vor, das Bildpixel als gleichrangige Token behandelt, ähnlich wie Wörter, und damit die Notwendigkeit eines separaten ViT-Encoders eliminiert. Die Methodik besteht aus drei Kernkomponenten:

2.1 Pix-Token-Einbettung

Anstatt zu patchen, weist das Modell jedem einzelnen Pixel eine eindeutige, lernbare Token-Einbettung zu.

Token-Berechnung: Ein Pixel mit RGB-Werten $(r, g, b)$ wird mittels der Formel $TokenValue = r + g \times L + b \times L^2$ auf einen eindeutigen Token-Wert abgebildet, wobei $L$ die Länge des Farbkanals ist (Standardwert 256).
Einbettungsraum: Dies erzeugt einen Wortschatz von $256^3$ (ca. 16,7 Millionen) Token. Jeder Token verfügt über seinen eigenen unabhängigen, trainierbaren Einbettungsvektor der Dimension $d$ , was anpassbare Parameter ähnlich wie bei Wort-Token ermöglicht.
Verlustfreie Vorverarbeitung: Im Gegensatz zu traditionellen Methoden, die RGB-Werte in Gleitkommazahlen normalisieren (was Abschneidefehler einführt), verwendet diese Methode eine ganzzahlige Tokenisierung und gewährleistet so eine verlustfreie Datenvorverarbeitung.

2.2 Farbfaltung

Um die rechnerische Undurchführbarkeit eines Wortschatzes von 16,7 Millionen zu adressieren, führen die Autoren die Farbfaltung ein.

Konzept: Ein „Faltungsfaktor" ( $f$ ) reduziert die Länge des Farbkanals von $L$ auf $L/f$ . Der neue Farbwert wird zu $(R//f, G//f, B//f)$ .
Begründung: Die Autoren argumentieren, dass menschliche Augen minimale Farbunterschiede nicht unterscheiden können (z. B. Änderungen von 8 Einheiten in einem 8-Bit-Kanal). Die Reduzierung des Farbraums (z. B. durch einen Faltungsfaktor von 16) verringert die Größe des Token-Wortschatzes drastisch (auf 4.096 für $f=16$ ) und die Rechenlast, während die visuelle Wiedergabetreue erhalten bleibt.

2.3 Vereinigte Modellarchitektur

Das Modell integriert Wort-Token und Pix-Token in eine einzige generative Sequenz.

Global-zu-Lokal-Fensterapproximation: Um die $O(N^2)$ -Komplexität der globalen Selbstattention bei langen Pixelsequenzen zu vermeiden, wandelt das Modell die globale Pixelsequenz in einen Batch lokaler Fenster um.
Lokale Fenster-Attention: Innerhalb jedes Fensters wird eine maskierte Multi-Head-Selbstattention durchgeführt.
Globale bedingte Attention-Approximation: Das Modell extrahiert den letzten Token-Einbettungsvektor aus jedem lokalen Fenster. Diese Einbettungen werden dann mit Wort-Token-Einbettungen kombiniert und durch nachfolgende Transformer-Decoder geleitet. Die Autoren behaupten, dies approximiere eine globale bedingte Attention, da die Wahrscheinlichkeit der Ausgabe $Y$ gegeben den Input durch die Wahrscheinlichkeit gegeben die aggregierten lokalen Fensterrepräsentationen approximiert wird.
Vorhersagestrategie: Das Modell sagt den nächsten Token voraus, der entweder ein Wort-Token oder der erste Pix-Token des nächsten lokalen Fensters sein kann.

3. Hauptbeiträge

Echte Pixelweise Tokenisierung: Der Vorschlag von „Pix-Token-Einbettungen", bei denen jeder Pixel eine unabhängige, trainierbare Einbettung besitzt, im Gegensatz zu den „falschen" patch-basierten Einbettungen von ViT.
Farbfaltung: Eine neuartige Technik zur Reduzierung der rechnerischen Komplexität der Pixel-Tokenisierung durch Quantisierung des Farbraums basierend auf den Grenzen der menschlichen visuellen Wahrnehmung, was ein unüberwachtes pixelweises Training praktikabel macht.
Vereinigte Architektur: Ein generatives Modell, das Text- und Bild-Token in eine einzige Sequenz vereint und es dem Modell ermöglicht, Selbstattention und Token-Vorhersage für beide Modalitäten gleichzeitig durchzuführen.
Unüberwachtes Bild-Vortraining: Ein Rahmenwerk, das es Modellen ermöglicht, Muster direkt aus massiven Bilddaten ohne überwachende Labels zu lernen, analog zum Erfolg des Text-Vortrainings von GPT-3.

4. Experimentelle Ergebnisse

Die Autoren führten Experimente mit Fokus auf unüberwachtes Bild-Vortraining durch, bedingt durch begrenzte Rechenressourcen.

Aufbau: Ein kleines Modell (120 Millionen Parameter) wurde auf 100.000 Mustern aus dem Datensatz llava-cc3m-pretrain-595k (ca. 5 Milliarden Pix-Token) trainiert. Die Bildgröße betrug 224x224 mit einem Farbfaltungsfaktor von 16.
Erkenntnisse:
- Die Trainings- und Validierungsverlustkurven konvergierten ähnlich wie beim Text-Vortraining von GPT-3, jedoch mit einer schnelleren Konvergenz relativ zur Anzahl der verarbeiteten Pix-Token.
- Das Modell zeigte die Fähigkeit, Muster von Pix-Token-Sequenzen auch bei geringer Parameterzahl und begrenzten Daten zu erlernen.
Einschränkungen: Die Autoren geben ausdrücklich an, dass sie aufgrund von Ressourcenbeschränkungen keine großskaligen Modelle oder gemischte Text-Bild-Vortrainings testen konnten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass diese Architektur einen fundamentalen Wandel im multimodalen Lernen darstellt:

Skalierbarkeit: Die Autoren sind der Überzeugung, dass das Modell dem Skalierungsgesetz folgt; mit zunehmender Anzahl an Modellparametern und Trainingsdaten wird sich die Leistung weiter verbessern und könnte derzeitige ViT-basierte Ansätze übertreffen.
Robustheit: Durch die Isolierung von Pixeländerungen auf spezifische Token-Einbettungen anstatt der Veränderung eines gesamten Merkmalsvektors ist das Modell robuster gegenüber geringfügigen Bildstörungen.
Zukunftspotenzial: Die Autoren gehen davon aus, dass diese Methode die CLIP/SigLIP-Pipeline in der Produktion ersetzen könnte und einen detaillierteren, stabileren und skalierbaren Ansatz für das visuelle Verständnis bietet. Sie äußern die Hoffnung, dass das Potenzial des Modells bei ausreichenden Rechenressourcen der Menschheit im Allgemeinen zugutekommen könnte.

Die Arbeit schließt mit der Feststellung, dass das vorgeschlagene Modell Pix-Token und Wort-Token erfolgreich vereint, eine verlustfreie Vorverarbeitung und unüberwachtes Vortraining ermöglicht und damit die inhärenten Einschränkungen aktueller kontrastivlernbasierter Vision-Encoder adressiert.