LightMover: Generative Light Movement with Color and Intensity Controls

1. Problemstellung

Das Ziel der Arbeit ist die präzise und physikalisch plausible Manipulation von Lichtquellen in einzelnen Bildern (Single-Image-Editing). Nutzer möchten oft eine Lichtquelle (z. B. eine Lampe) in einem Raum verschieben, ihre Farbe ändern oder die Intensität anpassen und dabei erwarten, dass sich Schatten, Reflexionen und die allgemeine Beleuchtungsstimmung (Ambience) realistisch und kausal korrekt anpassen.

Bestehende Methoden stoßen hier an Grenzen:

• Inverse Rendering: Rekonstruiert zwar Geometrie und Materialien, ist aber rechenintensiv, aus einem einzigen Bild schlecht gestellt (ill-posed) und bietet keine intuitiven interaktiven Kontrollen.
• Diffusionsbasierte Editoren: Können zwar den Ton oder die Umgebungshelligkeit ändern, modellieren aber keine räumliche Bewegung von Lichtquellen.
• Objekt-basierte Modelle: Können Objekte verschieben, behandeln Licht jedoch nur implizit, was zu falschen Schatten und fehlender Lichtausbreitung führt.
• Allgemeine Bild-Editoren: Fehlende explizite Parametrisierung für Licht führt zu unpräzisen oder physikalisch inkonsistenten Ergebnissen.

2. Methodik: LightMover

LightMover ist ein Framework, das Video-Diffusions-Priors nutzt, um Lichtmanipulation als Sequenz-zu-Sequenz-Vorhersageproblem im visuellen Token-Raum zu formulieren.

A. Architektur und Tokenisierung

Das Modell basiert auf einem vortrainierten Video-Diffusion-Transformer (ähnlich wie Sora). Anstatt nur ein Bild zu verarbeiten, werden alle Eingaben als eine Sequenz von „Pseudo-Video-Frames" kodiert:

1. Referenzbild ($I_{ref}$): Das Originalbild.
2. Objekt-Rahmen ($I_{obj}$): Das auszuschneidende oder zu verschiebende Objekt.
3. Bewegungsmapping ($I_{move}$): Ein räumliches Steuersignal (Bounding Boxes für Start- und Zielposition).
4. Farbkontrolle ($I_{color}$): Ein Frame, der den gewünschten Farbton oder die Farbtemperatur angibt.
5. Intensitätskontrolle ($I_{intensity}$): Ein Frame, der die Helligkeitsänderung in „Stops" (Belichtungswert, EV) kodiert. Die Beleuchtungsstärkung wird mathematisch als $G_{illum} = 2^{S_{EV}}$ definiert.
6. Ausgabe-Rahmen ($X_t$): Das zu denoisingende Bild.

B. Multi-Signal Positional Encoding (MSPE)

Um dem Transformer zu ermöglichen, die semantische Rolle jedes Frames zu unterscheiden, wird eine spezielle Positional Encoding-Methode eingeführt, die vier orthogonale Unterräume kombiniert:

• Räumlich (W, H)
• Zeitlich (T)
• Condition-Typ (Referenz, Objekt, Bewegung, Farbe, Intensität)
• Frame-Rolle (Input vs. Output)
  Dies ermöglicht eine getrennte, aber gemeinsame Verarbeitung von Objektbewegung und Lichtparametern.

C. Adaptive Token-Pruning

Ein zentrales Problem ist die Länge der Eingabesequenz. Da Farb- und Intensitätskontrollen keine räumliche Struktur haben, ist es ineffizient, sie mit der vollen Auflösung zu kodieren.

• Lösung: Ein adaptiver Pruning-Mechanismus reduziert die Token-Anzahl um 41 %.
• Strategie: Räumliche Signale (wie Bewegung) behalten in kleinen Regionen hohe Auflösung, während nicht-räumliche Signale (Farbe, Intensität) mittels lernbarer Downsampling-Raten komprimiert werden. Dies steigert die Effizienz ohne Qualitätsverlust.

D. Daten-Generierungs-Pipeline

Um das Modell zu trainieren, wurde eine skalierbare Pipeline entwickelt, die reale und synthetische Daten kombiniert:

• Synthetisch: 25 Blender-Szenen mit 100 Lichtobjekten. Es werden Paare generiert, bei denen Lichtquellen bewegt, eingefärbt oder in ihrer Intensität geändert werden. Ein physikalisch entkoppeltes Rendering trennt Umgebungslicht ($I_{amb}$) und direktes Licht ($I_{light}$), um post-processing-Änderungen (Gleichung 7) zu ermöglichen.
• Real: 360 hochauflösende Fotos aus 106 realen Innenräumen, aufgenommen mit synchronisierten Kameras, um Lichtbewegungen und -entfernungen zu erfassen.

3. Wichtige Beiträge

1. Unified Diffusion Framework: Erstes Framework, das Lichtsteuerung (Position, Farbe, Intensität) als Sequenz-zu-Sequenz-Aufgabe in einem einzigen Backbone formuliert, ohne task-spezifische Adapter.
2. Adaptive Token-Pruning: Eine effiziente Methode zur Komprimierung nicht-räumlicher Attribute, die die Sequenzlänge drastisch reduziert und die Berechnungskosten senkt.
3. Skalierbare Datenpipeline: Eine Kombination aus physikalisch korrektem Rendering und realen Daten, die das Modell lehrt, kausale Effekte von Beleuchtung (Schattenverschiebung, Reflexionen) zu verstehen.
4. Multi-Task Training: Das gemeinsame Training von Bewegungs-, Farb- und Intensitätsaufgaben führt zu einer gegenseitigen Regularisierung und verbessert die Stabilität und Genauigkeit.

4. Ergebnisse

Das Modell wurde auf Benchmarks LightMove-A (reale Daten) und LightMove-B (synthetische Daten mit Ground Truth) evaluiert.

• Quantitative Metriken: LightMover übertrifft State-of-the-Art-Modelle (wie Qwen-Image, Gemini-2.5-Flash, ObjectMover) signifikant in allen Metriken:
  • PSNR: Höhere photometrische Konsistenz (z. B. 20.38 vs. 19.49 bei ObjectMover für Lichtbewegung).
  • DINO/CLIP Scores: Bessere semantische Konsistenz und Ähnlichkeit zu Ground-Truth-Bildern.
• Qualitative Ergebnisse:
  • Lichtbewegung: Korrekte Verschiebung von Schatten und Reflexionen, die mit der neuen Lichtposition übereinstimmen.
  • Farbe & Intensität: Präzise Anpassung der Lichtfarbe und Helligkeit ohne Artefakte.
  • Kombinierte Steuerung: Gleichzeitige Änderung von Position, Farbe und Intensität funktioniert robust.
  • Einfügen/Löschen: Das Modell kann Lichtquellen entfernen (und damit Schatten löschen) oder neue hinzufügen, wobei der Hintergrund erhalten bleibt.

5. Bedeutung und Fazit

LightMover schließt die Lücke zwischen rein 2D-generativen Modellen und kostspieligen 3D-Rendering-Verfahren. Es demonstriert, dass ein rein datengetriebener Ansatz mit Video-Diffusions-Priors in der Lage ist, komplexe globale Lichttransport-Effekte (Schatten, Falloff, Reflexionen) physikalisch plausibel und effizient zu approximieren.

Die Arbeit zeigt, dass eine „2.5D"-Lernparadigma (Nutzung von 2D-Bildern mit implizitem räumlichem Verständnis durch Video-Priors) ausreicht, um präzise, physikalisch kohärente Lichtmanipulationen durchzuführen. Dies eröffnet neue Wege für skalierbares, physikbewusstes Bild-Editing und die Integration von Lichtsteuerung in generative Frameworks für 2D- und 3D-Anwendungen.