FlowSlider: Training-Free Continuous Image Editing via Fidelity-Steering Decomposition

1. Problemstellung

Das Ziel des Continuous Image Editing (kontinuierliche Bildbearbeitung) ist es, Benutzern eine „Slider"-Steuerung zu bieten, mit der die Stärke einer Bearbeitung (Edit-Stärke) stufenlos und glatt angepasst werden kann. Dabei müssen zwei kritische Anforderungen erfüllt werden:

• Erhaltung der Quell-Identität (Fidelity): Bei steigender Bearbeitungsstärke müssen die ursprünglichen Merkmale, die Struktur und die Identität des Eingabebildes erhalten bleiben.
• Konsistenz der Bearbeitungsrichtung: Die semantische Änderung muss über den gesamten Bereich der Stärke konsistent mit der gewünschten Bearbeitung bleiben, ohne in unerwünschte Attribute abzudriften.

Bisherige Ansätze leiden unter folgenden Nachteilen:

• Lernbasierte Methoden: Methoden wie Kontinuous Kontext oder SliderEdit erfordern oft zusätzliches Training mit synthetischen oder Proxy-Daten. Dies führt zu einem hohen Rechenaufwand und koppelt das Verhalten des Sliders an die Trainingsverteilung, was die Zuverlässigkeit bei Domänenverschiebungen mindert.
• Training-freie Heuristiken: Bestehende training-freie Editoren auf Basis von Rectified Flow (z. B. FlowEdit) bieten keine prinzipielle Mechanik für stabile Stärke-Modulation. Eine naive Skalierung des Geschwindigkeits-Updates führt bei höheren Stärken ($s > 1$) zu Artefakten (z. B. Ringing, Über-Schärfung) und einem Verlust der Bildqualität, da sowohl die semantische Steuerung als auch die stabilisierenden Komponenten übermäßig verstärkt werden.

2. Methodik: FlowSlider

FlowSlider ist ein training-freier Ansatz, der auf dem Rectified Flow-Modell und dem Algorithmus FlowEdit aufbaut. Der Kern der Methode liegt in der Zerlegung (Decomposition) des Bearbeitungs-Updates in zwei orthogonale Terme.

A. Fidelity-Steering-Zerlegung

Der Update-Vektor von FlowEdit, der die Differenz zwischen Ziel- und Quell-Prompt-Geschwindigkeiten darstellt ($V^\Delta$), wird exakt in zwei Komponenten zerlegt:

1. Fidelity-Term ($V_{fid}$): Ein stabilisierender Term, der als „Quell-bedingter Stabilisator" fungiert. Er sorgt dafür, dass die Trajektorie im Bereich der Quell-Konsistenz bleibt und die Identität des Originalbildes bewahrt wird. Er wird berechnet als Differenz der Geschwindigkeiten an unterschiedlichen Zuständen ($z_t^{tar}$ vs. $z_t^{src}$) unter demselben Quell-Prompt ($c_{src}$).
2. Steering-Term ($V_{steer}$): Ein steuernder Term, der die semantische Transition zum Ziel-Prompt ($c_{tar}$) antreibt. Er wird berechnet als Differenz der Geschwindigkeiten am selben Zustand ($z_t^{tar}$), aber unter verschiedenen Prompts ($c_{tar}$ vs. $c_{src}$).

Die mathematische Identität lautet:
$$V^\Delta(t) = V_{fid}(t) + V_{steer}(t)$$

B. Stärke-Modulation

Anstatt den gesamten Update-Vektor zu skalieren (was beide Terme und verbleibende Rauschkomponenten verstärkt), skaliert FlowSlider nur den Steering-Term mit einem skalaren Faktor $s$, während der Fidelity-Term unverändert bleibt:
$$V^\Delta_s(t) = V_{fid}(t) + s \cdot V_{steer}(t)$$

C. Geometrische Begründung

Die Stabilität dieser Methode beruht auf einer geometrischen Eigenschaft: Empirische Messungen und Analysen zeigen, dass $V_{fid}$ und $V_{steer}$ annähernd orthogonal zueinander sind (Winkel $\approx 90^\circ$).

• Da die Terme schwach gekoppelt sind, beeinflusst das Skalieren von $V_{steer}$ (die semantische Stärke) den Fidelity-Term kaum.
• Dies verhindert, dass die Trajektorie aus dem Quell-konsistenten Regime gerät, was bei naiver Skalierung zu Drift und Artefakten führt.

3. Schlüsselbeiträge

1. Training-Freiheit: FlowSlider erfordert kein Nach-Training, keine zusätzlichen Daten und keine Optimierung. Es ist eine reine Inference-Modifikation des bestehenden FlowEdit-Algorithmus.
2. Prinzipielle Stabilität: Durch die Trennung von Stabilisierung und Steuerung wird ein stabiler Slider ermöglicht, der über einen weiten Bereich von Stärken ($s$) zuverlässig funktioniert, ohne dass die Bildqualität leidet.
3. Allgemeingültigkeit: Die Methode wurde erfolgreich auf zwei verschiedene Rectified Flow-Backbones angewendet: FLUX.1-dev und Stable Diffusion 3 Medium.
4. Erweiterung des FlowEdit: Es wird gezeigt, wie die naiven Schwächen von FlowEdit bei der Stärke-Steuerung durch eine mathematisch fundierte Zerlegung behoben werden können.

4. Ergebnisse

Die Evaluation erfolgte auf einem neu erstellten Continuous-Editing-Benchmark (250 Samples) sowie auf dem allgemeinen PIE-Bench.

• Qualitative Ergebnisse: FlowSlider erzeugt glatte Übergänge von neutralen zu stark bearbeiteten Bildern (z. B. „Neutral → Lächeln", „Schön → Bart", „Nebel → Klar"). Im Gegensatz zu naiver Skalierung (die bei $s=2$ Artefakte zeigt) oder lernbasierten Methoden (die oft die Identität verlieren oder synthetisch wirken), behält FlowSlider die Struktur und Identität des Originalbildes bei.
• Quantitative Ergebnisse:
  • Slider-Verhalten: FlowSlider erreicht die besten Werte für Monotonie (die Bearbeitung nimmt konsistent mit $s$ zu) und Glätte (keine abrupten Sprünge zwischen Stärkestufen).
  • Bearbeitungsqualität: Es erzielt eine hohe Übereinstimmung mit dem Prompt (gemessen durch CLIP-dir) bei gleichzeitig minimaler Abweichung vom Originalbild (gemessen durch DreamSim).
  • Vergleich: FlowSlider übertrifft lernbasierte Methoden (Kontinuous Kontext, SliderEdit) in Bezug auf die Erhaltung der Quell-Identität und die Stabilität des Sliders, ohne dabei Trainingskosten zu verursachen.

5. Bedeutung und Fazit

FlowSlider adressiert eine wesentliche Lücke in der textgesteuerten Bildbearbeitung: die Notwendigkeit einer vorhersagbaren, kontinuierlichen Kontrolle ohne den Overhead des Trainings.

• Es demonstriert, dass komplexe Steuerungsfunktionen (wie Sliders) direkt aus der Dynamik vortrainierter Modelle extrahiert werden können, wenn die zugrundeliegenden Mechanismen (Fidelity vs. Steering) richtig verstanden und getrennt werden.
• Die Methode macht hochwertige Bildbearbeitung für eine breite Palette von Anwendungen zugänglich, da sie sofort auf beliebige Prompt-Paare und reale Bilder angewendet werden kann, ohne dass spezifische Anpassungen für jede neue Aufgabe notwendig sind.

Zusammenfassend bietet FlowSlider einen robusten, training-freien Rahmen für die kontinuierliche Bildbearbeitung, der die Zuverlässigkeit von lernbasierten Ansätzen mit der Flexibilität und Einfachheit von Inference-only-Methoden vereint.