Manifold-Optimal Guidance: A Unified Riemannian Control View of Diffusion Guidance

1. Problemstellung

Diffusionsmodelle haben sich als zentraler Paradigmenwechsel in der generativen KI etabliert. Der De-facto-Standard zur Steuerung dieser Modelle ist die Classifier-Free Guidance (CFG). CFG funktioniert, indem sie eine lineare Extrapolation zwischen dem bedingten und dem unbedingten Score-Schätzwert vornimmt, gesteuert durch einen einzigen Hyperparameter, den „Guidance Scale" ($w$).

Das Paper identifiziert jedoch ein fundamentales geometrisches Problem bei hohen Guidance-Scales:

• Geometrische Fehlanpassung: Standard-CFG behandelt den latenten Raum als euklidisch und isotrop. Sie führt zu einer linearen Extrapolation im umgebenden Raum ($\mathbb{R}^d$).
• Off-Manifold-Drift: Die Daten verteilen sich jedoch auf einer hochdichten, niedrigdimensionalen Mannigfaltigkeit (Manifold) innerhalb des latenten Raums. Bei aggressiver Extrapolation (hohe $w$) verlassen die Sampling-Trajektorien diese Mannigfaltigkeit.
• Folgen: Dieser „Drift" in Bereiche niedriger Dichte führt zu bekannten Artefakten wie Überstimmung (Oversaturation), unnatürlichen Texturen und strukturellem Kollaps, da das Modell in Regionen gezwungen wird, für die es nicht trainiert wurde.

Bestehende Lösungen (wie dynamisches Thresholding oder projektionsbasierte Filter) behandeln oft nur die Symptome durch heuristische Nachbesserungen, ohne die zugrunde liegende geometrische Optimierung zu adressieren.

2. Methodik: Manifold-Optimal Guidance (MOG)

Die Autoren schlagen Manifold-Optimal Guidance (MOG) vor, ein Framework, das Guidance als lokales Optimierungsproblem unter Berücksichtigung der Riemannschen Geometrie neu formuliert.

Theoretische Grundlage

• Energie-Landschaft: Bedingte Generierung wird als Minimierung einer konditionalen Energie $E(x_t, c) = -\log p_t(c|x_t)$ interpretiert.
• Riemannsche Optimierung: Anstatt den euklidischen Gradienten zu folgen, wird die Update-Richtung als Riemannscher steilster Abstieg (Riemannian Steepest Descent) definiert. Dies erfordert eine Metrik $M_t$, die Bewegungen senkrecht zur Mannigfaltigkeit (außerhalb der Datenverteilung) bestraft.
• Optimierungsziel: Das Ziel ist es, die Update-Richtung $u_t$ zu finden, die die Energie minimiert, während die Kosten für Bewegungen außerhalb der Mannigfaltigkeit durch die Metrik $M_t$ kontrolliert werden.
• Geschlossene Lösung: Das Problem führt auf eine geschlossene Formel für den Update:
  $$s_{MOG} = s_0 + \beta(t) M_t^{-1} \Delta s$$
  wobei $\Delta s$ der konditionale Inkrement ist und $M_t^{-1}$ die inverse Metrik darstellt, die den Gradienten „vorkonditioniert".

Praktische Umsetzungen

Das Paper stellt zwei Varianten vor, die ohne Nachtraining funktionieren:

1. MOG-Score (Anisotrope Metrik):

   • Da die Speicherung einer vollen $d \times d$ Metrikmatrix unmöglich ist, wird eine rang-1-Metrik verwendet.
   • Der unbedingte Score $s_0$ wird als Normalenvektor zur Mannigfaltigkeit interpretiert.
   • Die Metrik unterscheidet zwischen Bewegungen entlang der Normalen (hohe Strafe) und Bewegungen im Tangentialraum (geringe Strafe).
   • Die Inverse wird effizient über die Sherman-Morrison-Formel berechnet, was eine Komplexität von $O(d)$ ermöglicht.

2. Auto-MOG (Adaptive Skalierung):

   • Statt eines festen Parameters $\beta$ (entspricht dem $w$ bei CFG) leitet Auto-MOG eine dynamische Skalierung aus einem Energie-Balance-Prinzip ab.
   • Die Stärke der Guidance wird so angepasst, dass die „Guidance-Energie" proportional zur „Prior-Energie" bleibt.
   • Dies eliminiert die Notwendigkeit manueller Hyperparameter-Tuning und passt sich automatisch an die Schwierigkeit des Prompts und den Rauschpegel an.

3. Hauptbeiträge

• Einheitliche geometrische Sichtweise: Erstmals wird Guidance als Variationsproblem unter einer Riemannschen Metrik formuliert, das sowohl die Richtung als auch die Stärke der Guidance aus einem einzigen Prinzip ableitet.
• Training-frei und effizient: MOG ist ein Plug-in für bestehende Diffusions-Sampler. Es erfordert kein Nachtraining und fügt nur einen vernachlässigbaren Rechenaufwand hinzu (hauptsächlich Vektoroperationen).
• Auto-MOG: Einführung eines adaptiven Schedules, der die manuelle Suche nach dem optimalen Guidance-Scale überflüssig macht und gleichzeitig die Robustheit bei hohen Skalen erhöht.
• Theoretische Optimalität: Beweis, dass MOG die maximale Energieabnahme pro geodätischer Verschiebung auf der Mannigfaltigkeit erreicht, im Gegensatz zur suboptimalen euklidischen Extrapolation bei CFG.

4. Ergebnisse

Die Evaluation erfolgte an sechs verschiedenen Architekturen (DiT, EDM2, Stable Diffusion 2.1/3.5/XL, FLUX.1) auf Datensätzen wie ImageNet und MS-COCO.

• Quantitative Verbesserungen:
  • FID (Fréchet Inception Distance): MOG erreicht konsistent State-of-the-Art-Werte. Beispielsweise verbessert Auto-MOG den FID auf DiT-XL/2 von 12.45 (CFG++) auf 8.78.
  • Artefakt-Reduktion: Deutliche Senkung von Überstimmung (Saturation) und Kontrast-Artefakten, die bei hohen Guidance-Scales typisch sind.
  • Alignment: Hohe CLIP-Scores und Human Preference Scores (HPSv2) zeigen, dass die semantische Übereinstimmung erhalten bleibt, während die Bildqualität steigt.
• Qualitative Ergebnisse:
  • Visuelle Vergleiche zeigen, dass Auto-MOG natürliche Hauttöne, feine Texturen (z. B. Fell) und realistische Lichtverhältnisse bewahrt, während CFG oft zu „plastischen" Oberflächen oder übertriebenen Highlights führt.
• User-Studie: In einer blinden Paarvergleichsstudie (37 Teilnehmer) bevorzugten Nutzer Auto-MOG in 62,0 % der Fälle gegenüber Standard-CFG, insbesondere in den Kategorien „Farbtreue" und „Realismus".

5. Bedeutung und Ausblick

Die Arbeit ist von großer Bedeutung, da sie das Problem der Instabilität bei hohen Guidance-Scales nicht durch Heuristiken, sondern durch eine fundamentale geometrische Korrektur löst.

• Paradigmenwechsel: Sie verschiebt den Fokus von „Extrapolation im euklidischen Raum" hin zu „Optimierung auf der Datenmannigfaltigkeit".
• Praktische Anwendbarkeit: Da die Methode ohne Nachtraining auskommt und nur minimale Rechenkosten verursacht, kann sie sofort in modernen Bildgenerierungs-Pipelines (wie Stable Diffusion oder Flux) integriert werden.
• Zukunft: Das Paper skizziert Erweiterungen für Video-Generierung (temporale Kohärenz) und die Anpassung der Metrik an lokale Krümmungen der Mannigfaltigkeit.

Zusammenfassend bietet MOG eine elegante, mathematisch fundierte Lösung, die die Qualität von Diffusionsmodellen bei starker Steuerung signifikant verbessert und dabei die inhärenten geometrischen Grenzen der Datenverteilung respektiert.