LightMover: Generative Light Movement with Color and Intensity Controls

Probleemstelling

Bestaande methoden voor het bewerken van verlichting in afbeeldingen kampen met fundamentele beperkingen:

• Inverse Rendering: Methoden die geometrie, materialen en licht reconstrueren om de scène opnieuw te renderen, zijn computatievermogen-intensief, vaak slecht gesteld (ill-posed) vanuit één afbeelding en bieden geen intuïtieve interactieve controles (zoals het slepen van een lichtbron).
• Diffusie-gebaseerde editors: Bestaande modellen kunnen toon en omgevingslicht aanpassen, maar modelleren geen ruimtelijke verplaatsing van lichtbronnen. Object-gerichte modellen (zoals ObjectMover) verplaatsen objecten maar behandelen verlichting impliciet, wat leidt tot onjuiste schaduwen, reflecties en verloop (falloff) wanneer een lichtbron beweegt.
• Generieke beeldeditie: Modellen die werken met tekst of maskers (zoals InstructPix2Pix of Qwen-Image) missen een expliciete parametrisatie voor licht, waardoor het moeilijk is om fysiek plausibele, precieze controle over individuele lichtbronnen te bieden.

Het doel is om een systeem te creëren dat een enkele foto kan nemen en de positie, kleur en intensiteit van een lichtbron kan aanpassen, inclusief de daaruit voortvloeiende fysieke effecten (schaduwen, reflecties, globale verlichting), zonder de scène opnieuw te hoeven renderen in 3D.

Methodologie: LightMover

LightMover is een framework dat video-diffusie-priors gebruikt om verlichtingsveranderingen te genereren vanuit een enkele afbeelding. Het benadert lichtbewerking als een sequence-to-sequence predictieprobleem in de ruimte van visuele tokens.

1. Architectuur en Formuleratie

Het model hergebruikt een vooraf getrainde video-diffusie-transformator (vergelijkbaar met Sora) en formuleert alle invoercondities als een reeks van "pseudo-videoframes":

• Referentieafbeelding ($I_{ref}$): De originele invoer.
• Objectframe ($I_{obj}$): Het ingeknipte object dat wordt gemanipuleerd.
• Bewegingskaart ($I_{move}$): Een ruimtelijk controelsignaal dat de bron- en doelgebieden van de verplaatsing aangeeft (via RGB-kanalen).
• Kleurcontrole ($I_{color}$): Een frame dat de gewenste lichtkleur of kleurtemperatuur specificeert.
• Intensiteitscontrole ($I_{intensity}$): Een frame dat de verandering in blootstelling encodeert (in "stops", waarbij +1 stop een verdubbeling van lichtintensiteit betekent).
• Outputframe ($X_t$): Het ruwe latent frame dat tijdens het denoising-proces wordt gegenereerd.

2. Multi-Signal Positional Encoding (MSPE)

Om ervoor te zorgen dat de transformer elke invoerframe correct interpreteert, introduceert het papier een speciaal positioneel encoding-systeem dat vier orthogonale subruimtes combineert:

• Ruimtelijk (W, H): Behoudt de structuur binnen frames.
• Temporeel (T): Handhaaft consistentie over de sequentie.
• Conditie-type (C): Onderscheidt tussen referentie, object, beweging, kleur, intensiteit en output.
• Frame-rol (R): Duidt aan of een token dient als conditie of als voorspelling.
  Dit stelt het model in staat om ruimtelijke uitlijning en conditionele afhankelijkheden gezamenlijk te redeneren.

3. Adaptieve Token-Pruning

Het toevoegen van extra controle-signalen (zoals kleur en intensiteit) zou de sequentielengte en rekentijd aanzienlijk verhogen. LightMover lost dit op met een adaptieve token-pruning-mechanisme:

• Ruimtelijk bewuste pruning: Voor bewegingskaarten worden tokens behouden in kleine, gelokaliseerde gebieden en worden ze elders verlaagd (downsampled) op basis van de oppervlakteverhouding.
• Leerbaar downsampling: Voor niet-ruimtelijke signalen (kleur, intensiteit) worden leerbare compressieverhoudingen gebruikt.
  Dit reduceert de lengte van de controle-sequentie met 41% terwijl de bewerkingsnauwkeurigheid behouden blijft.

4. Data Generatie Pipeline

Om het model te trainen, wordt een schaalbare, fysisch gebaseerde rendering-pipeline gebruikt:

• Synthetische Data: Gebruik van Blender en Objectverse-XL om 32.000 paren afbeeldingen te genereren met variaties in lichtpositie, spectrum en intensiteit. De data wordt fysiek ontkoppeld in een "ambient base" en een "direct light contribution" component.
• Real Data: Een dataset van 360 hoge-resolutie foto's van 106 binnenruimtes, waarbij lichtbronnen fysiek zijn verplaatst of verwijderd.
• Multi-task Training: Het model wordt getraind op lichtbeweging, kleurverandering, intensiteitsverandering, en het toevoegen/verwijderen van licht. Deze taken versterken elkaar wederzijds tijdens het trainen.

Belangrijkste Bijdragen

1. Unificatie van Lichtcontrole: Een uniek diffusion-framework dat lichtbeweging, kleur en intensiteit behandelt als een sequentie-taak, waardoor fijne manipulatie mogelijk is zonder 3D-renders.
2. Efficiëntie door Token-Pruning: Een innovatieve methode om niet-ruimtelijke attributen compact te coderen, wat de rekenefficiëntie aanzienlijk verbetert zonder kwaliteit te verliezen.
3. Schaalbare Data Pipeline: Een combinatie van synthetisch en real-world data met fysiek nauwkeurige rendering en multi-task training, wat leidt tot state-of-the-art resultaten in fotorealistische verlichtingsmanipulatie.

Resultaten

LightMover werd geëvalueerd op twee benchmarks: LightMove-A (real-world data) en LightMove-B (synthetische data met ground truth).

• Kwantitatieve Prestaties: LightMover overtreft bestaande methoden (zoals Qwen-Image, Gemini-2.5-Flash-Image en ObjectMover) significant op alle metrics:
  • PSNR: Hoogste scores (bijv. 20.38 dB voor lichtbeweging vs. 19.49 dB voor ObjectMover).
  • DINO & CLIP Scores: Beter behoud van semantische consistentie en visuele kwaliteit.
• Kwalitatieve Prestaties:
  • Het model genereert fysiek plausibele schaduwen, reflecties en verloop (falloff) die consistent zijn met de nieuwe lichtpositie.
  • Het slaagt erin om complexe interacties met materialen (diffuus vs. speculair) correct weer te geven.
  • Het ondersteunt compositiebewerkingen waarbij positie, kleur en intensiteit gelijktijdig worden aangepast.
• Ablatie Studies:
  • Het tonen van de noodzaak van frame-gebaseerde conditionering (in plaats van alleen embeddings) voor het correct hanteren van meerdere gelijktijdige controles.
  • Bevestiging dat adaptieve token-pruning de efficiëntie verbetert zonder de nauwkeurigheid te schaden.

Betekenis en Impact

LightMover vertegenwoordigt een belangrijke stap in de evolutie van generatieve beeldbewerking. Het overbrugt de kloof tussen volledig 2D generatieve modellen en kostbare 3D fysieke rendering. Door "2.5D" leren (gebruikmakend van video-priors voor single-image redenering) te combineren met expliciete lichtparametrisatie, toont het aan dat een leerbaar model complexe globale lichttransport kan benaderen met veel grotere efficiëntie dan traditionele inverse rendering-methoden.

Dit paradigma opent nieuwe mogelijkheden voor schaalbare, fysiek bewust beeldbewerking en kan worden geïntegreerd in algemene 2D en 3D generatieve frameworks voor toepassingen zoals virtueel interieurontwerp, filmproductie en augmented reality.