Timestep Rescheduling in Diffusion Inversion

Technisches Resümee: Timestep Rescheduling in Diffusion Inversion

Problemstellung
Die Diffusion-Inversion ist der Prozess, ein reales Bild $z_0$ zurück in den Gaußschenen Latent-Raum ($z_T$) eines Diffusionsmodells abzubilden, was Aufgaben wie die Bildrekonstruktion und -bearbeitung ermöglicht. Obwohl Denoising Diffusion Implicit Models (DDIM) eine deterministische und effiziente Formulierung bereitstellen, ist der Inversionsprozess inhärent approximativ. Der Standardansatz besteht darin, den Denoising-Schritt analytisch umzukehren, was Abweichungen einführt, die sich über die Zeit akkumulieren und zu merklichen Rekonstruktionsfehlern sowie einer beeinträchtigten Bearbeitungsqualität führen.

Bestehende Methoden versuchen primär, diese Fehler durch das Lösen von Fixpunktproblemen zur Verfeinerung der Inversionsgleichung zu mildern. Diese Ansätze vernachlässigen jedoch weitgehend einen kritischen Faktor: den Einfluss des Timestep-Schedulings (die Auswahl und die Abstände der Diffusions-Zeitschritte) auf die Inversions-Fidelität. Die meisten Pipelines verwenden gleichmäßig verteilte Zeitschritte, was die Autoren als suboptimal erachten. Das Paper postuliert, dass die Verteilung der Zeitschritte die Akkumulation globaler Inversionsfehler signifikant beeinflusst, doch dieser Zusammenhang bleibt im Vergleich zu seiner Rolle beim Diffusion-Sampling oder dem Training weitgehend unerforscht.

Methodik: TRDI (Timestep Rescheduling in Diffusion Inversion)
Die Autoren schlagen TRDI vor, einen nicht-uniformen Timestep-Scheduler, der darauf ausgelegt ist, den globalen Inversionsfehler zu minimieren, ohne zusätzliche Parameter oder Rechenaufwand während der Inferenzphase zu erfordern. Die Methodik basiert auf einer theoretischen Analyse des Inversionsfehlers und wird durch eine zweistufige „Coarse-to-Fine“-Strategie implementiert.

1. Theoretische Erkenntnis:
   Die Autoren leiten her, dass der durch einen Zeitschrittsprung $\Delta t$ induzierte Inversionsfehler als ein skaliertes Fixpunktproblem formuliert werden kann. Die Fehlermagnitüde $\delta$ ist proportional zu einem Skalierungskoeffizienten $c_\alpha(t, \Delta t)$ multipliziert mit der Diskrepanz zwischen aufeinanderfolgenden Modellvorhersagen ($\Delta \epsilon_\theta$).

   • Kernaussage: Der Skalierungskoeffizient weist einen parabolischen Trend relativ zum Zeitschritt-Index auf. Fehler konzentrieren sich sowohl bei kleinen Zeitschritten (frühe Diffusionsschritte) als auch bei großen Zeitschritten (späte Schritte), mit einem Tiefpunkt in der Mitte. Darüber hinaus induzieren größere Schrittweiten ($\Delta t$) inhärent größere Fehler.

2. Globale Reskalierung (Grobe Anpassung):
   Um der parabolischen Fehlerverteilung entgegenzuwirken, führen die Autoren einen globalen Reskalierungsmechanismus ein. Sie modifizieren die ursprüngliche uniforme Zeitschrittsequenz $t_k$ mittels einer Potenzgesetz-Transformation, die durch einen Hyperparameter $\gamma$ gesteuert wird:
   $$t_k = t_1 + (t_K - t_1) \left( \frac{k-1}{K-1} \right)^\gamma$$

   • Wenn $\gamma > 1$, werden die Zeitschritte in Richtung der frühen Schritte gestreckt (wodurch mehr Auflösung für den hochfehlerbehafteten frühen Bereich bereitgestellt wird).
   • Wenn $\gamma < 1$, werden die Zeitschritte gegen Ende dichter.
     Dieser Schritt bereitet das Scheduling durch eine globale Anpassung der Schrittallokation auf die feingranulare Optimierung vor.

3. Lokales Rescheduling via Dynamische Programmierung (Feine Anpassung):
   Um den akkumulierten Fehler weiter zu minimieren, setzen die Autoren einen fensterbasierten Ansatz der dynamischen Programmierung (DP) ein.

   • Cost Map: Eine Cost Map $E[k, t]$ wird initialisiert, um den minimalen akkumulierten Fehler zu verfolgen, der erreicht wird, wenn der Schritt-Index $t$ beim $k$-ten Inversionsschritt erreicht wird.
   • Rekursion: Innerhalb eines gleitenden Fensters der Breite $2d+1$ um den aktuellen Schritt herum sucht der Algorithmus rekursiv nach dem lokal optimalen Übergang zwischen benachbarten Zeitschritten, der die Summe aus dem vorherigen akkumulierten Fehler und dem aktuellen Schritt-Fehlerkoeffizienten minimiert.
   • Backtracking: Die optimale Sequenz der Zeitschritte wird durch Backtracking vom letzten zum ersten Schritt ermittelt.

Der gesamte Rescheduling-Prozess wird offline (oder als Vorverarbeitungsschritt) basierend auf dem bekannten Noise-Schedule durchgeführt, was bedeutet, dass er einen vernachlässigbaren Laufzeitaufwand für die eigentliche Bildinversion oder -bearbeitung verursacht.

Wesentliche Beiträge

• Theoretische Formulierung: Das Paper leitet eine theoretische Verbindung zwischen Zeitschrittsprüngen und Inversionsfehlern her und rahmt den Fehler als skaliertes Fixpunktproblem ein, das vom Noise-Schedule abhängt.
• Adaptiver Scheduler: Es schlägt ein Coarse-to-Fine-Rescheduling-Framework (TRDI) vor, das Zeitschritte adaptiv größeren Schritten in Bereichen mit geringem Fehler und feineren Schritten in Bereichen mit hohem Fehler zuweist und so Effizienz und Genauigkeit effektiv ausbalanciert.
• Plug-and-Play-Verbesserung: Die Methode ist als „Off-the-shelf“-Erweiterung konzipiert, die keine zusätzlichen Parameter, kein Training und keinen signifikanten Rechenaufwand erfordert, wodurch sie mit bestehenden Inversions-Pipelines kompatibel ist.

Experimentelle Ergebnisse
Die Autoren validieren TRDI durch umfangreiche Experimente zur Bildrekonstruktion (MSCOCO-Datensatz) und Bildbearbeitung (PIE-Bench) unter Verwendung verschiedener Diffusionsmodelle (Stable Diffusion v1.5, SDXL und SDXL Turbo) sowie Baseline-Inversionsmethoden (DDIM, ReNoise, NPI, GNRI).

• Rekonstruktion: Durch die Integration von TRDI verbesserte sich auf SD v1.5 die Metrik konsistent über alle Baselines hinweg. Beispielsweise stieg beim DDIM-Baseline-Modell der PSNR von 20,07 auf 20,21 und der LPIPS sank (was die perzeptuelle Qualität verbessert), von 193,97 auf 187,85. Qualitative Ergebnisse zeigten Korrekturen bei strukturellen Details wie Zugfenstern und Fruchtformen, die Baselines nicht präzise rekonstruieren konnten.
• Bearbeitung: Auf der PIE-Bench verbesserte TRDI signifikant die Strukturtreue und die Hintergrunderhaltung bei gleichzeitig hoher CLIP-Ähnlichkeit. Bemerkenswert ist, dass TRDI insbesondere bei Few-Step-Modellen wie SDXL Turbo (4 Schritte), bei denen die Hintergrunddegradation typischerweise schwerwiegend ist, erhebliche Verbesserungen bei der Hintergrunderhaltung erzielte (z. B. Reduzierung der Strukturdistanz um 17,43 % für DDIM).
• Ablationsstudien: Die Studie bestätigte, dass ein Skalierungsfaktor von $\gamma \approx 1,05$ und eine Fensterbreite von $d=8$ den besten Kompromiss zwischen struktureller Fidelität und semantischer Editierbarkeit boten.

Bedeutung und Ansprüche
Das Paper behauptet, dass das Timestep-Scheduling ein kritischer, jedoch bisher übersehener Faktor für die Fidelität der Diffusion-Inversion ist. Durch die Aufdeckung der parabolischen Beziehung zwischen Zeitschrittgröße/-index und der Fehlerakkumulation zeigen die Autoren, dass eine strategische, nicht-uniforme Allokation der Rechenschritte die globalen Inversionsfehler signifikant reduzieren kann.

Die Autoren positionieren TRDI nicht als Ersatz für stärkere Inversionsformulierungen (wie Fixpunkt-Iterationen oder stochastische Inversion), sondern als eine komplementäre, leichtgewichtige Scheduler-Level-Nachrüstung. Es ermöglicht bestehenden deterministischen Inversions-Pipelines, überlegene Rekonstruktions- und Bearbeitungsergebnisse zu erzielen, ohne die Rechenkosten zu erhöhen oder ein Modell-Retraining zu erfordern. Die Arbeit betont, dass die Optimierung des Zeitpunkts, an dem Schritte unternommen werden, ebenso wichtig ist wie die Frage, wie sie unternommen werden.