🤖 AI

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

Dieses Paper führt einen neuartigen variablen-Längen-Tokenizer für Diffusion Transformer ein, der durch den Einsatz von lernbarem globalem Merging eine überlegene Qualitäts-Rechenaufwand-Abwägung erreicht, um eine datenunabhängige, länderübergreifende Repräsentationsausrichtung zu ermöglichen und die semantischen Fehlausrichtungsprobleme herkömmlicher, auf Trunkierung basierender Methoden zu überwinden.

Ursprüngliche Autoren: Dong Hoon Lee, Seunghoon Hong

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dong Hoon Lee, Seunghoon Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen hochauflösenden Film an einen Freund zu senden. Wenn Sie das gesamte Werk unkomprimiert senden, dauert der Download ewig und verbraucht eine gewaltige Menge an Daten. Wenn Sie es zu stark komprimieren, wird das Bild unscharf und verpixelt.

Lange Zeit standen KI-Bildgeneratoren (wie jene, die Bilder aus Text erstellen) vor genau diesem Problem. Sie verwenden einen „Tokenizer“ – einen Übersetzer, der ein Bild in kleine Stücke, sogenannte Tokens, zerlegt.

Hohe Kompression (wenige Tokens) = Schnell und günstig, aber das Bild sieht schlecht aus.
Niedrige Kompression (viele Tokens) = Tolle Qualität, aber langsam und teuer.

Früher mussten Sie, wenn Sie eine andere Balance zwischen Geschwindigkeit und Qualität wollten, ein völlig anderes KI-Modell für jede Einstellung trainen. Es war, als bräuchte man einen anderen Automotor, nur um 10 km/h langsamer zu fahren.

Das Problem mit dem „Abschneiden“

Einige Forscher versuchten, dieses Problem zu lösen, indem sie „variabel lange“ Tokenizer entwickelten. Ihre Idee war simpel: „Lass uns einfach das Ende der Token-Liste abschneiden, wenn wir Platz sparen wollen.“

Denken Sie an ein Buch, in dem die wichtigsten Handlungspunkte auf Seite 1 stehen und die winzigen Details auf Seite 100. Wenn Sie eine kürzere Version wollen, reißen Sie einfach die letzten 50 Seiten ab.

Der Haken: Das verändert die Geschichte. Die „kurze“ Version konzentriert sich nur auf das große Ganze, während die „lange“ Version die winzigen Details enthält. Da der Inhalt so unterschiedlich ist, wird die KI verwirrt. Es ist, als würde man versuchen, einem Schüler sowohl eine Kurzgeschichte als auch einen langen Roman mit demselben Lehrbuch beizubringen, aber die Kapitel sind völlig unterschiedlich. Die KI hat Schwierigkeiten, beides gleichzeitig zu lernen, was zu unscharfen oder seltsamen Bildern führt.

Die Lösung: „Merging“ statt Abschneiden

Die Autoren dieser Arbeit schlagen einen klügeren Weg vor: Merging (Zusammenführen) statt Abschneiden.

Stellen Sie sich eine Gruppe von 100 Menschen (Tokens) vor, die in einer Schlange stehen.

Der alte Weg (Abschneiden): Wenn Sie weniger Leute brauchen, schicken Sie einfach die letzten 50 nach Hause. Die verbleibenden 50 stehen immer noch an genau denselben Stellen.
Der neue Weg (Merging): Wenn Sie weniger Leute brauchen, bitten Sie ähnlich aussehende Menschen, sich zusammenzutun und eine einzige „Super-Person“ zu bilden. Wenn zwei Personen das gleiche rote Hemd tragen, verschmelzen sie zu einem Repräsentanten dieser Gruppe.

Warum ist das besser?

Konsistenz: Egal, ob Sie 100 Menschen oder 10 „Super-Menschen“ haben, die Gruppen repräsentieren dieselbe zugrunde liegende Struktur. Die „Gruppe mit den roten Hemden“ ist immer noch da, nur verdichtet. Dies hält die „Geschichte“ konsistent für die KI, egal wie viele Tokens Sie verwenden.
Ausrichtung: Da die Gruppen basierend auf Ähnlichkeit gebildet werden (und nicht nach Position), kann die KI ein einziges Modell lernen, das sowohl für kurze als auch für lange Listen perfekt funktioniert.

Das Geheimrezept: „Learnable Global Merging“

Es gab eine große Hürde. Normalerweise entscheidet man, wer mit wem verschmilzt, indem man sich das spezifische Bild ansieht (z. B. „Diese zwei Pixel sehen aus wie ein Katzenohr, also verschmelzen sie“). Aber wenn eine KI ein neues Bild von Grund auf erstellt, hat sie das Bild noch gar nicht! Sie kann nicht auf das Bild schauen, um zu entscheiden, wie sie die Verschmelzung vornimmt.

Die Autoren lösten dies mit Learnable Global Merging (lernbarem globalem Zusammenführen).
Denken Sie an dies als ein vordefiniertes Regelwerk oder einen „Masterplan“, den die KI während des Trainings lernt. Anstatt auf das Bild zu schauen, um zu entscheiden, wer verschmilzt, verwendet die KI ein festes, gelerntes Muster (wie eine universelle Bedienungsanleitung), das besagt: „Token 1 verschmilzt immer mit Token 2, Token 3 verschmilzt immer mit Token 4“, unabhängig davon, wie das endgültige Bild aussieht.

Obwohl dieses Regelwerk feststeht (es ändert sich nicht basierend auf dem Bild), trainiert die KI es so gut, dass es natürlich ähnliche Dinge zusammenführt. Dies ermöglicht es der KI, genau zu wissen, wie sie mit den „verschmolzenen“ Tokens umzugehen hat, noch bevor sie das Bild generiert.

Die Ergebnisse

Die Forscher testeten dies an ImageNet (einer riesigen Datenbank von Bildern). Sie fanden heraus:

Ihre Methode ermöglicht es einem einzigen KI-Modell, Bilder mit unterschiedlichen Geschwindigkeiten und Qualitäten zu generieren, ohne dass es für jede Einstellung neu trainiert werden muss.
Die Bilder sehen besser aus und die Mathematik funktioniert effizienter als bei früheren Methoden, die einfach nur die Tokens „abgeschnitten“ haben.
Sie fügten sogar einen winzigen „Feinabstimmungs“-Schritt hinzu (unter Verwendung einer Technik namens LoRA), der die KI bei spezifischen Token-Anzahlen noch besser macht, bei fast keinen zusätzlichen Kosten.

Kurz gesagt: Sie haben herausgefunden, wie man KI-Bildgeneratoren flexibel macht. Anstatt die KI zu zwingen, zwischen einem „schnellen“ Modell und einem „guten“ Modell zu wählen, haben sie einen einzigen, smarten Übersetzer gebaut, der die Bilddaten durch intelligentes Gruppieren ähnlicher Teile schrumpfen oder erweitern kann, wodurch die Qualität hoch und die Kosten niedrig bleiben.

Technisches Resümee: Variabel-längen-Tokenisierung mittels lernbarer globaler Verschmelzung für Diffusion Transformer

1. Problemstellung

Latente Diffusionsmodelle (LDMs) verlassen sich auf Tokenizer, um Bilder in latente Räume zu komprimieren, was einen Kompromiss zwischen Generierungsqualität und Rechenaufwand darstellt. Herkömmliche Tokenizer verwenden ein festes Kompressionsverhältnis, was mehrere Modellvarianten erforderlich macht, um unterschiedliche Budgets für Rechenleistung oder Qualitätsanforderungen abzudecken.

Variabel-Längen-Tokenizer (VLTs) wurden vorgeschlagen, um dies zu adressieren, indem sie die Anzahl der Token basierend auf spezifischen Bedingungen (z. B. dem Rechenbudget) adaptiv anpassen. Die gängige Methode, Nested Dropout, trainiert Modelle darauf, die End-Token einer geordneten Sequenz zu verwerfen, wobei hochgradige Semantik in den frühen Token und niedriggradige Details in den späteren Token platziert werden.

Die Autoren identifizieren jedoch einen kritischen Fehler bei Nested Dropout, wenn es auf Diffusion Transformer (DiTs) angewendet wird:

Cross-Length Shift (Längenänderungs-Verschiebung): Das Abschneiden einer geordneten Sequenz verändert die paarweise Ähnlichkeitsstruktur (repräsentative Ausrichtung) des latenten Raums. Kürzere Sequenzen konzentrieren sich auf den Kern der Semantik, während längere Sequenzen zusätzliche Details enthalten.
Distributionale Diskrepanz: Diese Verschiebung führt dazu, dass die latente Verteilung und die entsprechende Score-Funktion über verschiedene Token-Längen hinweg signifikant variieren. Infolgedessen versagt ein einzelnes Diffusionsmodell, das gemeinsam über verschiedene Längen trainiert wurde, oft effektiv, da es schlechter abschneidet als Modelle, die für spezifische Längen trainiert wurden.
Limitierung bestehender Lösungen: Standardmäßige Verluste zur Repräsentationsausrichtung erfordern übereinstimmende Token-Dimensionen (N = M), was in Variabel-Längen-Szenarien, in denen die Kardinalität unterschiedlich ist, unmöglich ist.

2. Methodik

Das Paper schlägt einen neuartigen merging-basierten Variabel-Längen-Tokenizer vor, der die Länge durch das Kombinieren von Token statt durch deren Abschneiden moduliert. Die zentrale Innovation ist das Learnable Global Merging (LGM), das darauf ausgelegt ist, die repräsentative Ausrichtung über verschiedene Token-Anzahlen hinweg sicherzustellen und gleichzeitig mit generativen Modellen kompatibel zu bleiben.

A. Merging-basierte Längenmodulation
Anstatt Token zu verwerfen, moduliert die Methode die Länge durch das Verschmelzen (Merging) von Token basierend auf einer Zuweisungsmatrix $\Gamma$ .

Proportionale Aufmerksamkeit: Um die verschmolzenen Token zu handhaben, nutzen der Decoder und der Diffusion Transformer proportionale Aufmerksamkeit, wobei der Attention-Score durch die effektive Clustergröße ( $m_j$ ) jedes verschmolzenen Tokens angepasst wird.
Äquivalente Repräsentation der vollen Länge: Die Autoren zeigen, dass die Verarbeitung modulierter Latente mit proportionaler Aufmerksamkeit mathematisch äquivalent zur Verarbeitung projektierter Full-Length-Latente ($Wz$) mit Standard-Aufmerksamkeit ist. Diese Äquivalenz ermöglicht die direkte Messung und Minimierung der Differenz zwischen den ursprünglichen Latenten ( $z$ ) und den verschmolzenen Latenten ($Wz$), wodurch die Repräsentationsverschiebung minimiert wird, indem die Verschmelzung ähnlicher Token gefördert wird.

B. Learnable Global Merging (LGM)
Eine Herausforderung ergibt sich daraus, dass Standard-Merging (z. B. agglomeratives Clustering) datenabhängig ist und die Verschmelzungsmuster aus dem Eingabebild ableitet. Dies ist mit der Diffusion-Generierung inkompatibel, bei der das Zielbild nicht verfügbar ist.

Datenunabhängigkeit: Die Autoren führen Learnable Global Embeddings ( $e$ ) ein, die unabhängig von den Eingangsdaten sind. Diese Embeddings bestimmen das Verschmelzungsmuster für eine gegebte Zielreduktion.
Optimierung: Das Verschmelzungsmuster wird mittels agglomerativem Clustering auf den lernbaren Embeddings abgeleitet. Da Clustering diskrete Operationen beinhaltet, wird ein Straight-Through Trick angewendet, um die gradientenbasierte Optimierung der Embeddings zu ermöglichen.
Alignment Loss: Ein Alignment Loss ( $L_{align}$ ) wird eingeführt, um sicherzustellen, dass die Ähnlichkeitsstruktur der lernbaren globalen Embeddings ( $e$ ) mit der Ähnlichkeitsstruktur der tatsächlichen latenten Token ( $z$ ) übereinstimmt. Dies leitet das globale Verschmelzungsmuster dazu an, ähnliche Token zu gruppieren und somit die durch das Merging-Ziel definierte Repräsentationsverschiebung zu minimieren.

C. Integration in den Diffusion Transformer

Positionale Embeddings: Die Methode verwendet verschmolzene Positionale Embeddings, die auf die gleiche Weise wie die Latente berechnet werden, um die Positionsinformation der aggregierten Token zu handhaben.
Post-Training: Ein leichtgewichtiger LoRA (Low-Rank Adaptation) Post-Training-Schritt wird eingeführt. Nach dem gemeinsamen Training über verschiedene Längen hinweg werden einige Epochen lang längenspezifische LoRA-Parameter trainiert, um das Modell weiter an spezifische Token-Anzahlen anzupassen, bei vernachlässigbarem Overhead.

3. Zentrale Beiträge

Merging-basierte Tokenisierung: Eine neue VLT-Architektur, die die Länge durch Token-Merging moduliert und eine direkte repräsentative Ausrichtung über verschiedene Token-Anzahlen hinweg ermöglicht, indem die Verschiebung zwischen ursprünglichen und verschmolzenen Latenten minimiert wird.
Learnable Global Merging: Ein datenunabhängiger Verschmelzungsmechanismus, der die Inkompatibilität zwischen datenabhängigem Merging und Diffusion-Generierung löst und sicherstellt, dass das Verschmelzungsmuster während der Inferenz zugänglich ist.
Verbesserter Qualitäts-Rechenaufwand-Trade-off: Die Integration dieses Tokenizers mit einem Diffusion Transformer erzielt eine überlegene Leistung beim Ausgleich von Generierungsqualität (gFID) und Rechenaufwand im Vergleich zu bestehenden VLT-Methoden.

4. Experimentelle Ergebnisse

Die Experimente wurden auf der ImageNet 256×256 klassenbedingten Generierung durchgeführt.

Repräsentative Ausrichtung: Die vorgeschlagene Methode erreicht signifikant höhere Centered Kernel Nearest-Neighbor Alignment (CKNNA) Scores über verschiedene Token-Längen hinweg im Vergleich zu Nested Dropout. Bemerkenswerterweise ist das Alignment oft höher als das von unabhängig trainierten, fest-längen-basierten Tokenizern.
Leistung des gemeinsamen Trainings:
- Nested Dropout: Zeigt eine große Leistungslücke (0,8–1,7 gFID) zwischen Modellen, die gemeinsam über Längen hinweg trainiert wurden, und solchen, die separat trainiert wurden.
- Vorgeschlagene Methode: Reduziert diese Lücke auf weniger als 0,3 gFID. Mit LoRA-Post-Training erreicht das gemeinsame Modell eine Leistung innerhalb von 0,05 gFID der separat trainierten Modelle.
Systemischer Vergleich:
- Die Methode übertrifft bestehende VLTs (Semanticist, FlexTok) und fest-längen-basierte Baselines (SoftVQ, MAETok) im Hinblick auf den gFID–Rechenaufwand-Trade-off.
- Sie erreicht eine konkurrenzfähige Generierungsqualität bei hohen Kompressionsraten (z. B. 32 Token), ohne einen Diffusion-basierten Tokenizer-Decoder zu benötigen, anders als einige Baselines.
Rekonstruktionsqualität: Der Tokenizer behält starke Rekonstruktionsmetriken (rFID, PSNR, SSIM) über variierende Token-Längen hinweg bei, insbesondere bei höheren Kompressionsraten.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die primäre Barriere für effektive Variabel-Längen-Diffusionsmodelle die Cross-Length-Verschiebung in der latenten Verteilung ist, die durch konventionelle Truncation-Methoden verursacht wird. Durch den Wechsel zu einem merging-basierten Ansatz mit datenunabhängigen, lernbaren Mustern gelingt es den Autoren erfolgreich, die repräsentative Ausrichtung aufrechtzuerhalten.

Die Bedeutung liegt darin, ein einziges Diffusionsmodell zu ermöglichen, das effektiv über diverse Token-Anzahlen hinweg operieren kann, was eine flexible Kontrolle über Qualität und Rechenaufwand ohne die Notwendigkeit mehrerer Modellvarianten erlaubt. Die Autoren positionieren dies als einen Schritt zur effizienteren Bereitstellung von generativen Modellen in Szenarien mit variierenden Rechenbeschränkungen und merken an, dass trotz einer verbleibenden Lücke zwischen 1D- und 2D-Tokenizern ihr Ansatz eine vielversprechende Richtung für hybride Architekturen bietet. Die Arbeit wird als Effizienzverbesserung und nicht als neue generative Fähigkeit gerahmt, wobei keine ethischen Bedenken geltend gemacht werden.