🤖 machine learning

JLT: Clean-Latent Prediction in Latent Diffusion Transformers

Dieser Beitrag stellt JLT vor, einen latenten Diffusions-Transformer, der zeigt, dass die Vorhersage im sauberen Latentraum die Geschwindigkeitsvorhersage in latenten Räumen übertrifft, indem er besser mit Richtungen niedriger Varianz umgeht und eine überlegene Bildgenerierungsqualität für ImageNet 256x256 (FID 2,50) erzielt, was darauf hindeutet, dass Vorhersageziele representationsabhängige geometrische Entscheidungen und keine austauschbaren algebraischen Parametrisierungen sind.

Ursprüngliche Autoren: Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Funing Fu, Tenghui Wang, Junyong Cen, Qichao Zhu, Guanyu Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein perfektes Bild einer Katze zu zeichnen. Sie zeigen ihm nicht das fertige Foto; stattdessen zeigen Sie ihm eine unscharfe, verrauschte Version der Katze und fragen: „Wie sieht die saubere Katze unter all diesem Rauschen aus?"

Seit langem debattieren KI-Forscher, wie man diese Frage stellt. Sollte der Roboter das „Rauschen" erraten, das entfernt werden muss? Sollte er die „Geschwindigkeit" erraten, mit der sich das Bild verändert? Oder sollte er einfach versuchen, das endgültige, saubere Bild direkt zu erraten?

Diese Arbeit mit dem Titel JLT argumentiert, dass das direkte Erraten des endgültigen sauberen Bildes der beste Weg ist, selbst wenn der Roboter mit einer komprimierten, vereinfachten Version des Bildes arbeitet (dem sogenannten „latenten Raum").

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Das Setup: Das „komprimierte" Skizzenbuch

Normalerweise arbeiten KI-Modelle mit rohen Pixeln (Millionen winziger farbiger Punkte). Das ist wie der Versuch, ein Meisterwerk auf einer riesigen, hochauflösenden Leinwand zu zeichnen. Es ist langsam und unübersichtlich.

Um die Dinge zu beschleunigen, verwenden Forscher einen „Kompressor" (ein VAE), der das Bild in einen kleineren, vereinfachten Code verwandelt – ein „Skizzenbuch". Die KI lernt, auf diesem Skizzenbuch zu zeichnen, und ein Decoder verwandelt die Skizze dann zurück in ein vollständiges Foto.

Die große Frage, die die Autoren stellten, war: Macht es, sobald wir auf diesem vereinfachten Skizzenbuch arbeiten, noch einen Unterschied, was wir die KI vorhersagen lassen?

2. Die Kandidaten: Das Rauschen versus das saubere Bild

Die Autoren veranstalteten ein faires Rennen zwischen zwei Arten von KI-Modellen. Sie verwendeten exakt dasselbe „Skizzenbuch", exakt dieselbe Gehirngröße (Transformer-Architektur) und exakt dieselbe Trainingszeit. Der einzige Unterschied war das Ziel, das ihnen vorgegeben wurde:

Der „Geschwindigkeits"-Läufer (DiT): Dieses Modell wurde angewiesen: „Machen Sie sich keine Sorgen um das endgültige Bild. Sagen Sie mir einfach die Richtung und Geschwindigkeit, in die sich das Bild bewegt, um dorthin zu gelangen." Das ist wie die Frage an einen Fahrer: „Wie stark beschleunigen Sie?"
Der „Sauber"-Läufer (JLT): Dieses Modell wurde angewiesen: „Ignorieren Sie die Geschwindigkeit. Sagen Sie mir einfach, wie das endgültige, saubere Bild gerade jetzt aussieht." Das ist wie die Frage an den Fahrer: „Was ist das Ziel?"

3. Die Rennergebnisse

Die Ergebnisse waren klar: Der „Sauber"-Läufer (JLT) gewann mit großer Überlegenheit.

Als das „Sauber"-Modell versuchte, eine Katze zu zeichnen, war das Ergebnis scharf und realistisch (ein Score von 2,50).
Als das „Geschwindigkeits"-Modell es versuchte, war das Ergebnis unschärfer und weniger präzise (ein Score von 6,56).

Dies geschah, obwohl man mathematisch die Antwort der „Geschwindigkeit" in die Antwort des „sauberen Bildes" umwandeln kann. Die Autoren stellten fest, dass die Art und Weise, wie die KI lernt, die Frage zu beantworten, die Qualität der endgültigen Zeichnung verändert.

4. Warum gewann der „Sauber"-Läufer? (Die Analogie)

Die Arbeit verwendet eine clevere mathematische Erklärung, die „Rauschen" und „Signal" einbezieht.

Stellen Sie sich vor, das „Skizzenbuch" hat einige Richtungen, die sehr wichtig sind (wie die Form der Katzenohren), und einige Richtungen, die nur zufälliges Rauschen sind (wie ein winziger Staubfleck).

Der „Geschwindigkeits"-Ansatz behandelt jede Richtung gleich. Er fügt überall ein konstantes „Bodenniveau" an Rauschen hinzu. Er verstärkt versehentlich die winzigen, zufälligen Staubflekchen, macht sie laut und ablenkend. Das ist wie ein Mikrofon, das die Lautstärke für alles erhöht, einschließlich des Hintergrundrauschens.
Der „Sauber"-Ansatz ist schlauer. Er erkennt, dass einige Richtungen (die zufälligen Fleckchen) in den realen Daten nicht viel „Signal" haben. Daher drosselt er die Lautstärke für diese schwachen Richtungen natürlich. Er konzentriert seine Energie auf die wichtigen Teile (die Ohren, die Augen) und ignoriert das Rauschen.

Kurz gesagt: Das „Sauber"-Modell lernt, das Rauschen zu ignorieren, während das „Geschwindigkeits"-Modell das Rauschen versehentlich lauter macht.

5. Das Fazit

Die Autoren kommen zu dem Schluss, dass in der Welt der KI-Bildgenerierung die Art, wie man die Frage formuliert, genauso wichtig ist wie das Gehirn, das man verwendet, um sie zu beantworten.

Selbst wenn Sie mit einer komprimierten, vereinfachten Version eines Bildes arbeiten, ist es geometrisch überlegen, die KI zu bitten, das „saubere Ergebnis" vorherzusagen, anstatt sie zu bitten, die „Geschwindigkeit der Veränderung" vorherzusagen. Es ist nicht nur eine andere Art, dieselbe Mathematik zu schreiben; es ist eine grundlegend andere Art des Lernens, die zu viel besseren Bildern führt.

Zusammenfassung: Wenn Sie die beste KI-Kunst wollen, machen Sie die KI nicht nur intelligenter; stellen Sie sicher, dass Sie sie bitten, das endgültige Bild zu erraten, nicht den Prozess, dorthin zu gelangen.

Technische Zusammenfassung: JLT: Clean-Latent Prediction in Latent Diffusion Transformers

Problemstellung

Denoising-Diffusionsmodelle kehren traditionell einen Korruptionsprozess um, doch das spezifische Ziel, das das neuronale Netz trainiert wird, vorherzusagen, variiert je nach Architektur. Übliche Ziele sind das Rauschen ( $\epsilon$ ), die Geschwindigkeit ( $v = x - \epsilon$ ) oder die sauberen Daten ( $x$ ). Obwohl diese Ziele für eine feste Korruptionszeit algebraisch ineinander umwandelbar sind, deuten neuere Forschungen (z. B. JiT) darauf hin, dass unter endlicher Netzwerkkapazität und endlichen Daten die Wahl des Vorhersageziels die Schwierigkeit des Regressionsproblems erheblich verändert. Insbesondere ermöglicht die Vorhersage sauberer Daten einem Modell, sich auf strukturierte, niedrigdimensionale Mannigfaltigkeitsvariationen zu konzentrieren, anstatt umgebendes, außerhalb der Mannigfaltigkeit liegendes Rauschen zu rekonstruieren.

Die zentrale Frage, die dieser Arbeit nachgeht, ist, ob dieser Vorteil der „sauberen Vorhersage" bestehen bleibt, wenn das Modell in einem komprimierten latenten Raum und nicht im Rohpixelraum operiert. Bei latenter Diffusion hat ein Variational Autoencoder (VAE) bereits einen Großteil der Rohpixelvariabilität entfernt. Die Autoren untersuchen, ob die geometrischen Eigenschaften des Vorhersageziels ( $x$ vs. $v$ ) auch dann ein kritischer Faktor bleiben, wenn der Repräsentationsraum festgelegt und komprimiert ist.

Methodik

Die Autoren stellen JLT (Joint Latent Transformer) vor, ein kontrolliertes experimentelles Framework, das entwickelt wurde, um den Effekt des Vorhersageziels innerhalb eines festen latenten Raums zu isolieren.

Architektur und Setup:
- Backbone: Ein Base-scale Transformer (130M Parameter) mit 12 Blöcken, einer versteckten Dimension von 768 und 12 Attention-Köpfen, der die Konfiguration von JiT-B/16 widerspiegelt.
- Repräsentation: Das Modell operiert auf eingefrorenen FLUX.2 VAE-latenten Codes. Dies stellt sicher, dass der Repräsentationsraum über alle verglichenen Varianten hinweg identisch ist.
- Training: Die Modelle werden für 250K Schritte (200 Epochen) auf ImageNet 256 $\times$ 256 trainiert.
- Kontrollierte Variablen: Die Studie hält die Repräsentation (FLUX.2 VAE), die Architektur-Skala, die Optimierer-Einstellungen, die Batch-Größe und die Sampling-Protokolle strikt konstant.
Experimenteller Vergleich:
Die Autoren vergleichen zwei Hauptvarianten unter denselben Einstellungen:
- JLT (Clean-Latent Prediction): Das Netz wird direkt überwacht, um den sauberen latenten Vektor $x$ vorherzusagen.
- DiT (Velocity Prediction): Eine angepasste Baseline, bei der das Netz überwacht wird, um den Geschwindigkeitsvektor $v = x - \epsilon$ vorherzusagen.
- Varianten: Experimente werden bei zwei VAE-Grid-Patch-Größen durchgeführt, bezeichnet als /1 und /2 (z. B. JLT-B/1 vs. DiT-B/1).
Theoretische Analyse:
Die Arbeit liefert eine lokale Gauß-Analyse, um die empirische Lücke zu erklären. Unter der Annahme einer lokalen linearen-Gauß-Approximation der latenten Datenverteilung ( $x \sim \mathcal{N}(0, \Sigma)$ ) und unabhängigen Rauschens ( $\epsilon \sim \mathcal{N}(0, I)$ ):
- Kovarianzstruktur: Die Kovarianz des Geschwindigkeitsziels beträgt $Cov(y_v) = \Sigma + I$ , wohingegen die Kovarianz des sauberen Ziels $Cov(y_x) = \Sigma$ beträgt. Dies impliziert, dass die Geschwindigkeitsvorhersage einen isotropen Einheitsboden in jede Richtung hinzufügt. In Richtungen, in denen die sauberen Daten eine geringe Varianz aufweisen (schwach durch die Mannigfaltigkeit unterstützt), zwingt die Geschwindigkeitsvorhersage das Modell, ein Ziel mit Einheitsvarianz zu lernen, was das Rauschen in diesen Richtungen effektiv verstärkt.
- Bedingte Mehrdeutigkeit: Die Analyse zeigt, dass die Bayes-Restvarianz für die Geschwindigkeitsvorhersage im Verhältnis zur sauberen Vorhersage um einen Faktor von $1/(1-t)^2$ skaliert ist. Wenn der Eigenwert $\lambda_i$ der Datenkovarianz gegen Null geht, tendiert der Koeffizient für die saubere Vorhersage gegen 0 (dämpft die Richtung), während der Geschwindigkeitskoeffizient gegen $-1/(1-t)$ tendiert (verstärkt die Richtung).

Hauptergebnisse

Die Experimente auf ImageNet 256 $\times$ 256 zeigen eine konsistente und signifikante Leistungslücke zugunsten der Clean-Latent-Vorhersage:

Quantitative Leistung:
- JLT-B/1 (Clean) erreicht einen FID-50K von 2,50 (mit classifier-free guidance), verglichen mit 6,56 für die angepasste DiT-B/1 (Velocity).
- JLT-B/2 (Clean) erreicht einen FID-50K von 14,81, verglichen mit 28,71 für DiT-B/2.
- Der Inception Score (IS) zeigt ebenfalls eine erhebliche Verbesserung (z. B. 232,51 vs. 132,12 für die /1-Varianten).
Trainingsdynamik: Trainingskurven zeigen, dass Clean-Latent-Modelle früher in den Niedrig-FID-Bereich eintreten (bei ca. 100K Schritten) und während des gesamten Trainings einen deutlichen Vorsprung vor Geschwindigkeitsmodellen beibehalten.
Robustheit: Der Vorteil gilt über verschiedene Tokenisierungs-Granularitäten (/1 und /2) hinweg, was darauf hindeutet, dass der Nutzen kein Artefakt einer bestimmten Patch-Größe ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Wahl des Vorhersageziels in der latenten Diffusion eine geometrische Modellierungsentscheidung und nicht bloß eine algebraische Parametrisierung ist.

Zielgeometrie vor Kompression: Die Ergebnisse widerlegen die Annahme, dass allein die latente Kompression die Effizienz der latenten Diffusion erklärt. Die Leistungslücke existiert innerhalb desselben festen latenten Raums und beweist, dass die „Zielgeometrie" (die Verteilung des überwachten Signals) ein von der „Repräsentationsgeometrie" (dem VAE-Tokeniser) unterschiedlicher Faktor ist.
Mechanismus der Verbesserung: Die Autoren argumentieren, dass die saubere Vorhersage überlegen ist, weil sie niedrigvarianzige latente Richtungen dämpft (die oft Rauschen oder schwach unterstützte Mannigfaltigkeitsmerkmale sind), wohingegen die Geschwindigkeitsvorhersage diese Richtungen durch Vererbung eines isotropen Kovarianzbodens verstärkt.
Umfang der Behauptungen: Die Autoren sind bescheiden bezüglich ihrer theoretischen Ansprüche. Sie behaupten nicht, dass die saubere Vorhersage global optimal für alle Tokeniser, Rauschpläne oder Sampler ist. Stattdessen liefern sie einen lokalen Gauß-Mechanismus, der mit der gemessenen empirischen Lücke konsistent ist. Die Studie wird als kontrollierte Ablation präsentiert, um den Ziel-Effekt zu isolieren, und nicht als Vorschlag für eine neue Backbone-Architektur oder einen universellen Ersatz für alle Diffusionsziele.

Zusammenfassend stellt die Arbeit fest, dass selbst in komprimierten latenten Räumen die direkte Vorhersage des sauberen latenten Zustands einen geometrischen Vorteil gegenüber der Geschwindigkeitsvorhersage bietet, was zu einer signifikant höheren Generierungsqualität auf ImageNet führt.