h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform

Technisches Resümee von h-Flow: Flexible, auf Flows basierende Bildbearbeitung mittels Doobs h-Transformation

Problemstellung
Die textbasierte Bildbearbeitung unter Verwendung von vortrainierten Text-zu-Bild Rectified Flow (RF) Modellen steht vor einem grundlegenden Kompromiss zwischen Zielausrichtung (getreue Einhaltung des Ziel-Prompts) und Quellkonsistenz (Bewahrung der Struktur und der uneditierten Regionen des Originalbildes). Bestehende Ansätze lassen sich im Allgemeinen in zwei Kategorien mit unterschiedlichen Einschränkungen unterteilen:

1. Inversionsbasierte Methoden: Diese invertieren das Quellbild in eine latente Rauschverteilung, bevor sie es regenerieren. Obwohl sie auf hohe Treue abzielen, verlassen sie sich oft auf heuristische, architekturspezifische Designs und leiden unter Akkumulation von Fehlern während des Inversionsprozesses.
2. Inversionsfreie Methoden: Diese konstruieren direkte Transformations-Trajektorien vom Quell- zum Zielzustand. Während sie strukturelle Konsistenz erzwingen, fehlt ihnen oft eine einheitliche theoretische Grundlage, da sie auf empirischen Heuristiken beruhen, die sie anfällig für Hyperparameter (z. B. Random Seeds, Flow-Schritte) und instabil machen.

Die Kernherausforderung besteht darin, ein kontrollierbares, robustes Gleichgewicht zwischen diesen beiden Zielen zu erreichen, ohne zusätzliches Training zu erfordern oder sich auf fragile heuristische Konstruktionen zu verlassen.

Methodik
Die Autoren schlagen h-Flow vor, ein trainingsfreies Framework, das Bildbearbeitung als ein bedingtes Generierungsproblem unter multiplen Endereignissen umformuliert, basierend auf der Doob's h-Transformation.

1. Theoretische Erweiterung auf deterministischen RF:
   Die klassische Doob's h-Transformation ist für stochastische Differentialgleichungen (SDEs) mit nicht-verschwindenden Diffusionskoeffizienten definiert. Da RF-Modelle jedoch über deterministische gewöhnliche Differentialgleichungen (ODEs) operieren, bei denen der Diffusionskoeffizient $g(t) \equiv 0$ ist, ist die Standard-h-Transformation undefiniert. Um dies zu lösen, konstruieren die Autoren eine äquivalente SDE, die exakt dieselben Randverteilungen wie die RF-Dynamik aufweist, aber einen nicht-verschchenden Diffusionskoeffizienten besitzt ($g_{eq}(t) = \sqrt{2t/(1-t)}$). Dies ermöglicht die rigorose Anwendung der h-Transformation auf das deterministische RF-Framework.

2. Duale Führung durch h-Funktionen:
   Der Bearbeitungsprozess wird durch zwei harmonische Funktionen ($h$-Funktionen) geleitet, die den zwei Endbedingungen entsprechen:

   • Quellkonsistenz ($h_{rec}$): Kodiert die Bedingung, dass das finale Bild dem Quellbild $x_0^{src}$ entsprechen muss. Dies ergibt einen geschlossenen Rekonstruktions-Führungsterm, $v_{rec} = (x_t - x_0^{src})/t$, der die Trajektorie exakt in Richtung der Quelle steuert.
   • Zielausrichtung ($h_{edit}$): Kodiert den semantischen Übergang zum Ziel-Prompt $c^{edit}$. Das Führungssignal wird als Differenz zwischen den Geschwindigkeitsfeldern der Ziel- und Quell-Prompts abgeleitet ($\Delta_{edit} = v_\theta^{edit} - v_\theta^{src}$), wodurch die semantische Änderung isoliert und gemeinsame Inhalte verworfen werden.

3. Orthogonale Geschwindigkeitszerlegung:
   Eine zentrale Innovation ist die orthogonale Projektion des Bearbeitungssignals. Da die Bearbeitungsrichtung $\Delta_{edit}$ Komponenten enthalten kann, die parallel zur Rekonstruktionsgeschwindigkeit $\tilde{v}_{rec}$ verlaufen, würde ein einfaches Addieren dieser Signale zu Interferenzen führen. Die Autoren projizieren $\Delta_{edit}$ auf die orthogonale Komplementär von $\tilde{v}_{rec}$:
   $$\Delta_{edit}^\perp = \Delta_{edit} - \frac{\langle \Delta_{edit}, \tilde{v}_{rec} \rangle}{\|\tilde{v}_{rec}\|^2} \tilde{v}_{rec}$$
   Dies entkoppelt die beiden Ziele: Die Rekonstruktionsgeschwindigkeit bewahrt die Quellstruktur, während die orthogonale Bearbeitungskomponente nur den semantischen Inhalt modifiziert. Dies ermöglicht eine unabhängige Kontrolle über die Hyperparameter $\lambda_{rec}$ und $\lambda_{edit}$ ohne gegenseitige Degradierung.

4. Plug-and-Play-Kompatibilität:
   Die rückwärts gerichtete Bearbeitungs-ODE ist unabhängig von der Vorwärts-Initialisierung. h-Flow kann nahtlos mit verschiedenen Vorwärts-Prozessen (z. B. RF-Inversion, SDEdit, ODE-Inv) in einer Plug-and-Play-Manier kombiniert werden.

Wesentliche Beiträge

• Theoretische Fundierung: Die Arbeit führt die erste Anwendung der Doob's h-Transformation auf deterministische Rectified Flow Modelle ein, indem sie eine äquivalente SDE konstruiert, und bietet so eine fundierte theoretische Brücke für die geführte Generierung in ODE-basierten Frameworks.
• Entkoppelte Kontrolle: Durch das Design dedizierter h-Funktionen und die Anwendung der orthogonalen Geschwindigkeitszerlegung trennt die Methode explizit die Rekonstruktions- und Bearbeitungsrichtungen, was einen kontrollierbaren Kompromiss zwischen Quelltreue und Zielausrichtung ermöglicht.
• Trainingsfreie Flexibilität: Der Ansatz erfordert kein zusätzliches Training oder Gradienten-Updates für das vortrainierte Modell, sondern stützt sich ausschließlich auf die Vorwärts-Durchläufe des Geschwindigkeitsnetzwerks.

Experimentelle Ergebnisse
Die Autoren evaluierten h-Flow auf den Datensätzen PIE-Bench und PIE-Bench++ im Vergleich zu sieben Baselines (darunter RF-Inversion, FlowEdit, SDEdit und UniEdit).

• Quantitative Leistung: h-Flow erreichte die beste durchschnittliche Rangfolge über 9 Metriken hinweg (einschließlich PSNR, LPIPS, SSIM, CLIP-Ähnlichkeit und Ästhetik-Scores) auf beiden Benchmarks. Es übertraf die Baselines signifikant in der Balance zwischen Quellkonsistenz und Zielausrichtung. Beispielsweise erreichte UniEdit eine hohe Quellkonsistenz, litt aber unter geringer Zielausrichtung; im Gegensatz dazu erreichte ODEInv eine hohe Ausrichtung, verschlechterte jedoch die Bildqualität. h-Flow behielt eine wettbewerbsfähige Quellkonsistenz bei und lieferte gleichzeitig eine erstklassige Ausrichtung.
• Qualitative Leistung: Visuelle Vergleiche demonstrierten die Fähigkeit von h-Flow, komplexe Edits (z. B. Subjekt-Translation, lokalisierte Ergänzungen) durchzuführen, während Hintergrundstrukturen und uneditierte Regionen strikt bewahrt wurden, wodurch die bei anderen Methoden üblichen Artefakte vermieden wurden.
• Ablationsstudien:
  • Kompatibilität: Die Integration von h-Flow mit diversen Vorwärts-Prozessen (RF-Inversion, SDEdit, ODE-Inv) verbesserte konsistent den Kompromiss zwischen Editierbarkeit und Treue und fungierte als struktureller Stabilisator für instabile Vorwärts-Methoden.
  • Orthogonale Projektion: Das Entfernen des Projektionsschritts führte zu niedrigeren Text-Ausrichtungswerten, ohne die strukturelle Treue zu verbessern, was bestätigt, dass die Projektion effektiv die Interferenz zwischen Bearbeitung und Rekonstruktion eliminiert.
  • Hyperparameter: Die Studie zeigte, dass $\lambda_{rec}$ und $\lambda_{edit}$ ihre jeweiligen Ziele unabhängig steuern, was die Entkopplungsstrategie validiert.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass h-Flow ein einheitliches, theoretisch fundiertes Framework für die Flow-basierte Bildbearbeitung bietet, das die heuristische Natur und Sensitivität früherer Methoden überwindet. Durch die rigorose Erweiterung der Doob's h-Transformation auf deterministische Flows und die Entkopplung der Bearbeitungs- und Rekonstruktionsziele mittels orthogonaler Zerlegung erreicht die Methode eine robuste, flexible und getreue Bearbeitung in diversen Szenarien. Die Autoren betonen, dass ihr Ansatz trainingsfrei und Plug-and-Play ist, was eine sofortige Anwendung auf bestehende RF-Modelle ohne architektonische Modifikationen ermöglicht. Die Arbeit legt nahe, dass zukünftige Erweiterungen dieses Framework auf andere Modalitäten wie Video oder 3D-Generierung anwenden könnten.