Technische Zusammenfassung: Effiziente Bildsynthese mit Sphere Latent Encoder

Problemstellung

Die Few-Step-Bildgenerierung hat durch konsistenz- und meanflow-basierte Methoden erhebliche Fortschritte gemacht, doch leiden diese Ansätze häufig unter Trainingsinstabilität, Empfindlichkeit gegenüber Hyperparametern und inhärenten Konflikten in den Optimierungszielen. Eine Alternative, der Sphere Encoder [40], erreicht eine hochwertige Generierung in wenigen Schritten, indem latente Darstellungen auf eine Hypersphäre projiziert werden. Das Framework des Sphere Encoders stößt jedoch auf zwei kritische Einschränkungen:

1. Rechnerische Ineffizienz: Der Generierungsprozess erfordert für jeden Sampling-Schritt wiederholte Übergänge zwischen Pixelfeld und latentem Raum (Decodierung zu einem Bild, gefolgt von einer erneuten Kodierung). Dies führt sowohl während des Trainings als auch beim Inferenzvorgang zu erheblichem Rechenaufwand.
2. Zielkonflikt: Das Framework optimiert Rekonstruktion und Generierung gemeinsam innerhalb einer einzigen Encoder-Decoder-Architektur. Vorherige Forschungsergebnisse deuten darauf hin, dass diese Aufgaben unterschiedliche Darstellungen bevorzugen; beispielsweise verbessern niedrigere Rauschniveaus die Rekonstruktion, verschlechtern jedoch die generative Leistung, indem sie die Abdeckung der Hypersphäre reduzieren. Diese Spannung zwingt zur Verwendung größerer Architekturen, um die Probenqualität aufrechtzuerhalten.

Methodik

Die Autoren schlagen den Sphere Latent Encoder vor, ein Framework, das die Rekonstruktion von der Generierung entkoppelt, um iterative Operationen im Pixelfeld zu eliminieren. Die Kerninnovation besteht darin, den gesamten Generierungsprozess innerhalb eines festen sphärischen latenten Raums durchzuführen.

Architektur

Die Methode besteht aus drei Hauptkomponenten:

1. Fester Bild-Tokenisierer: Ein vortrainierter Repräsentations-Autoencoder (RAE) [43] wird als fester Encoder ($E$) und Decoder ($D$) verwendet. Der Encoder, der auf DINOv2 basiert, bildet Bilder auf latente Darstellungen ab, während der Decoder Bilder rekonstruiert. Diese Komponente wird während des Trainings eingefroren.
2. Latentes Denoising-Modell: Ein separates, transformer-basiertes Denoising-Netzwerk ($G$, das die SiT-Architektur [25] nutzt) arbeitet ausschließlich im latenten Raum. Es nimmt ein verrauschtes sphärisches latentes Signal als Eingabe und sagt das saubere latente Signal voraus.
3. Sphärische Projektion: Latente Darstellungen werden mithilfe einer auf RMSNorm basierenden Sphärisierungs-Funktion ($F$) auf eine Hypersphäre projiziert, was eine einheitliche latente Struktur gewährleistet.

Trainingsziel

Im Gegensatz zum Sphere Encoder, der Verluste im Pixelfeld berechnet, verlagert der Sphere Latent Encoder alle Überwachungsdaten in den latenten Raum, um die Effizienz zu steigern. Das Training beinhaltet zwei verrauschte sphärische latente Signale, $v_{NOISY}$ und $v_{noisy}$, die durch Hinzufügen von Gaußschem Rauschen in unterschiedlichen Skalen erzeugt werden.

• Rekonstruktionsverlust ($L_{recon}$): Kombiniert einen $\ell_1$-Verlust und einen Kosinus-Ähnlichkeitsverlust zwischen dem vorhergesagten sauberen latenten Signal $G(v_{noisy})$ und dem sauberen Ground-Truth-latenten Signal $z$. Dies richtet das entrauschte latente Signal an der sauberen Darstellung aus.
• Konsistenzverlust ($L_{cons}$): Erzwingt Konsistenz zwischen Vorhersagen aus unterschiedlichen Rauschniveaus ($v_{NOISY}$ und $v_{noisy}$). Die Vorhersage aus dem latenten Signal mit geringerem Rauschen wird als fester Zielwert behandelt (via Stop-Gradient), um lokale Glätte auf der Hypersphäre zu fördern.
• Entfernung des latenten Konsistenzverlusts: Die Autoren entfernen explizit den im Sphere Encoder verwendeten latenten Konsistenzverlust (der decodierte Bilder erneut kodiert), da festgestellt wurde, dass er in ihrem entkoppelten Setup Rechenaufwand hinzufügt, ohne die Leistung zu verbessern.

Sampling-Prozedur

Das Sampling erfolgt vollständig im latenten Raum (Algorithmus 1):

1. Ein latentes Signal wird aus einer Gaußschen Verteilung gesampelt.
2. Es wird auf die Hypersphäre projiziert.
3. Das Denoising-Modell $G$ verfeinert das latente Signal unter Verwendung von classifier-free guidance.
4. Das verfeinerte latente Signal wird erneut projiziert, mit Rauschen gestört und als Eingabe für den nächsten Schritt verwendet.
5. Diese iterative Verfeinerung läuft über $T$ Schritte.
6. Der Decoder wird nur einmal am Ende aufgerufen, um das finale latente Signal auf Pixel abzubilden.

Die Autoren schlagen zudem eine modifizierte Rausch-Sampling-Strategie vor, die eine Logit-Normal-Verteilung verwendet, um besser für Few-Step-Sampling geeignet zu sein, was sich vom uniformen Sampling im Sphere Encoder unterscheidet.

Hauptbeiträge

1. Sphere Latent Encoder Framework: Ein Generierungsframework, das vollständig im sphärischen latenten Raum operiert und wiederholte Pixel-Latenz-Übergänge eliminiert. Dies reduziert die Inferenzkosten um etwa 85% (ungefähr 6,5× weniger FLOPs) im Vergleich zum Sphere Encoder bei gleicher Anzahl von Sampling-Schritten.
2. Entkoppeltes Design: Durch die Nutzung eines festen vortrainierten Autoencoders und eines separaten Denoising-Modells ermöglicht das Framework, dass Rekonstruktion und Generierung unabhängig voneinander spezialisieren, wodurch der bei der gemeinsamen Optimierung inhärente Zielkonflikt gelöst wird.
3. Effiziente Optimierung: Die Methode vermeidet Approximationsziele erster Ordnung (z. B. Jacobian-Vektor-Produkte), die von einigen Few-Step-Flow-Methoden erforderlich sind, und lernt stattdessen einen direkten latenten Denoising-Prozess auf einer strukturierten sphärischen Mannigfaltigkeit.

Experimentelle Ergebnisse

Die Methode wurde auf Animal-Faces, Oxford-Flowers und ImageNet-1K (256×256) evaluiert.

• Leistung vs. Sphere Encoder: Auf Animal-Faces und Oxford-Flowers übertraf die vorgeschlagene Methode den Sphere Encoder sowohl bei der Generierungsqualität (FID) als auch bei den Rechenkosten (GFLOPs) über 2, 4 und 6 Sampling-Schritte signifikant. Beispielsweise verbesserte sich auf Animal-Faces bei 4 Schritten der FID von 18,23 (Sphere Encoder) auf 6,89 (Unsere Methode), während die GFLOPs von 4554 auf 390 sanken.
• ImageNet-1K-Ergebnisse: Mit 4 Sampling-Schritten (8 NFE mit Guidance) erreichte die Methode einen FID von 2,25, eine erhebliche Verbesserung gegenüber den 4,02 des Sphere Encoders unter demselben Budget. Sie übertraf zudem mehrere aktuelle Few-Step-Baselines (z. B. MeanFlow, $\alpha$-Flow) und näherte sich der Leistung von Multi-Step-Diffusionsmodellen (z. B. DiT-XL/2), die 250+ Schritte erfordern, jedoch mit deutlich weniger Funktionsauswertungen.
• Ablationsstudien:
  • Rauschverteilung: Log-Normal-Sampling schnitt besser ab als uniformes Sampling.
  • Verluste: Die Kombination aus Rekonstruktions- und Konsistenzverlusten erzielte die besten Ergebnisse; das Hinzufügen des latenten Konsistenzverlusts verschlechterte die Leistung.
  • Autoencoder: Die Wahl des Tokenisierers war entscheidend. RAE [43] (mit DINOv2-Features und $d=768$) schnitt deutlich besser ab als FLUX-VAE und GAE, was die Notwendigkeit starker semantischer Darstellungen und hochdimensionaler latenter Räume unterstreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Sphere Latent Encoder einen einfacheren und effizienteren Pipeline für die Few-Step-Bildgenerierung bietet. Durch die Beseitigung der Abhängigkeit von iterativer Verfeinerung im Pixelfeld erreicht die Methode:

• Höhere Effizienz: Drastische Reduktion der FLOPs und der Inferenzzeit im Vergleich zum Sphere Encoder.
• Bessere Qualität: Verbesserte Probenqualität (niedrigerer FID) durch die Entkoppelung von Rekonstruktion und Generierung, was es dem Denoising-Modell ermöglicht, sich ausschließlich auf die Generierung zu konzentrieren, ohne die Rekonstruktionsgenauigkeit zu beeinträchtigen.
• Stabilität: Ein Trainingsprozess, der die Instabilität vermeidet, die mit Jacobian-Vektor-Produkten und den konfliktreichen Zielen der gemeinsamen Optimierung verbunden ist.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu skalierbarer, effizienter generativer Modellierung, die die Vorteile sphärischer latenter Räume nutzt, ohne die Rechenstrafen früherer Implementierungen in Kauf nehmen zu müssen. Sie räumen Einschränkungen ein und verweisen auf den aktuellen Fokus auf die klassenbedingte Generierung sowie die Abhängigkeit von der Qualität des vortrainierten Autoencoders, was die Fähigkeiten des One-Step-Sampings einschränken kann.