Technische Samenvatting: Consistent Feature Transport voor Image Relighting

Probleemdefinitie

Image relighting heeft als doel de verlichtingsomstandigheden van een afbeelding aan te passen (bijv. richting, intensiteit, kleur en interactie tussen licht en materiaal), terwijl niet-verlichtingsgerelateerde inhoud zoals identiteit, geometrie en materiaaleigenschappen strikt behouden blijven. Het artikel identificeert drie primaire beperkingen in bestaande diffusie-gebaseerde benaderingen:

1. Control-gebaseerde methoden: Hoewel ze controle bieden via signalen (bijv. environment maps), zijn ze sterk afhankelijk van de nauwkeurigheid en volledigheid van deze signalen, wat moeilijk te specificeren is voor complexe verlichting.
2. Decompositie-gebaseerde methoden: Deze proberen verlichtingsfactoren te isoleren via intrinsieke decompositie, maar lijden vaak aan onnauwkeurigheden in de decompositie, wat leidt tot fouten zoals inconsistente schaduwvorming of kleurverschuivingen.
3. Directe Image-to-Image Translation: Deze behandelen relighting als een instance-niveau translatieprobleem. Hoewel ze de structuur behouden, ontbreekt een expliciet mechanisme om verlichtingsspecifieke feature-displacements te modelleren, wat vaak resulteert in beperkte precisie en controleerbaarheid.

Verder wordt het veld beperkt door een gebrek aan grootschalige, diverse portret-relighting datasets, met name die met complexe, realistische verlichtingseffecten.

Methodologie: Consistent Feature Transport (CFT)

De auteurs herformuleren image relighting als een illumination feature transport probleem. Ze introduceren Consistent Feature Transport (CFT), een trainingsprincipe gebaseerd op Rectified Flow dat expliciet zorgt voor een verlichtingsconsistente transport tussen de bron- en doelafbeeldingsdistributies.

Kernframework

De methode modelleert de relaties tussen ruis ($z_0$), de bronafbeelding ($x_{src}$) en de doelafbeelding ($x_{tgt}$). Het trainingsdoel bestaat uit drie componenten:

1. Noise-to-Target Generation ($\mathcal{L}_1$): Het model leert samples te transporteren van een prior-distributie naar de doelverlichtingsafbeeldingsdistributie, geconditioneerd op de bronafbeelding en een verlichtingsbeschrijving ($c_{tgt}$).
2. Noise-to-Source Reconstruction ($\mathcal{L}_2$): Het model leert samples te transporteren van de prior naar de bronafbeeldingsdistributie onder een neutrale conditie ($c_{src}$). Dit versterkt de inhoudelijke preservatie.
3. Illumination-Consistent Source-to-Target Transport ($\mathcal{L}_3$): Dit is de vernieuwende bijdrage. In plaats van de transport van $x_{src}$ naar $x_{tgt}$ direct te superviseren (wat het risico loopt op het leren van instance-specifieke correlaties), wordt het model gesuperviseerd met een alternatief beeldpaar $(x'_{src}, x'_{tgt})$ dat dezelfde verlichtingstransformatie deelt, maar verschilt in identiteit en scène-inhoud.
   • Het model voorspelt een directe velocity field ($v_t^{direct}$) tussen de bron- en doel-latent spaces met behulp van de parallelogramwet.
   • De loss $\mathcal{L}_3$ minimaliseert het verschil tussen deze voorspelde velocity en de grondwaarheid van de transport afgeleid van het alternatieve paar.
   • Dit dwingt het model om een generaliseerbare illumination feature transformation te leren in plaats van specifieke inhoudelijke verschillen aan te passen.

Het uiteindelijke doel is een gewogen som: $\mathcal{L} = \mathcal{L}_1 + \mathcal{L}_2 + \alpha \cdot \mathcal{L}_3$.

Dataset Constructie

Om complexe verlichtingsscenario's te ondersteunen, hebben de auteurs een grootschalige Portrait Relighting Dataset geconstrueerd met 34.695 beeldparen (34.249 voor training, 446 voor testen).

• Bron: Verzameld uit bestaande open-source portretdatasets.
• Generatie: Kandidaat-verlichte beelden werden gegenereerd met behulp van pre-trained modellen (Nano Banana, Seedream, RoboNeo) geleid door diverse tekstprompts die natuurlijke en kunstmatige verlichting dekken (bijv. Rembrandt, Tyndall-effecten, neonverlichting).
• Filtering: Een ensemble van drie modellen (QwenVL, EditScore, GPT-4o) en handmatige selectie werden gebruikt om te filteren op verlichtingskwaliteit, inhoudelijke consistentie en fysieke plausibiliteit.

Belangrijkste Resultaten

De methode werd geëvalueerd tegen control-gebaseerde, decompositie-gebaseerde en directe translatie baselines (inclusief IC-light, LBM, FlowEdit en Intrinsic Edit) met metrieken zoals SSIM, PSNR, LPIPS, FID en Estimated Irradiance (EI).

• Kwantitatieve Prestaties: CFT presteerde consistent beter dan state-of-the-art methoden. Bijvoorbeeld, wanneer toegepast op de Flux-Kontext backbone, bereikte CFT een SSIM van 0.9202 en een PSNR van 23.5105, wat de originele pre-trained model (SSIM 0.6386) en andere baselines aanzienlijk overtreft.
• Kwalitatieve Verbeteringen: Visuele resultaten toonden meer fysiek coherente verlichting, betere preservatie van identiteit en geometrie, en minder artefacten (bijv. kleurverschuivingen) vergeleken met decompositie-gebaseerde methoden.
• Transfer Learning: Een model getraind met CFT op de geconstrueerde dataset generaliseerde goed naar de ongeziene "Multi-Illumination Dataset", waarbij het modellen die zonder CFT zijn getraind overtrof, wat aangeeft dat de geleerde verlichtingsfeatures robuust zijn.
• User Study: In een studie met 30 vrijwilligers kregen CFT-gebaseerde methoden de hoogste scores op het gebied van Verlichtingskwaliteit, Inhoudelijke Consistentie, Fysieke Plausibiliteit en Beeldesthetiek.
• Generalisatie: De auteurs pasten CFT toe op een Style Transfer taak. De resultaten lieten zien dat CFT de structurele preservatie en perceptuele getrouwheid verbeterde (hogere SSIM/PSNR, lagere LPIPS), hoewel het de globale distributieverscheidenheid iets verminderde (hogere FID) vanwege de deterministische aard van consistente transport.

Betekenis en Claims

Het artikel stelt dat de primaire betekenis van dit werk ligt in:

1. Herformulering van Relighting: Het verschuiven van het paradigma van generieke image translation of conditional generation naar expliciete illumination feature transport. Dit stelt het model in staat om verlichtingsvariaties te isoleren van de inhoud.
2. Trainingsprincipe: De introductie van het consistent feature transport principe (met behulp van alternatieve paren met gedeelde verlichting voor supervisie) ontkoppelt effectief het leren van verlichting van de instance-specifieke inhoud, wat leidt tot stabielere en consistentere relighting.
3. Data Resource: De constructie van een grootschalige, diverse portret-relighting dataset adresseert een kritiek gat in de beschikbare middelen voor het trainen van modellen op complexe verlichtingseffecten.
4. Verenigde Strategie: De demonstratie dat CFT generaliseert naar style transfer suggereert dat het een verenigde strategie is voor image editing taken die vereisen dat specifieke attributen worden gewijzigd terwijl de onderliggende structuur behouden blijft.

De auteurs concluderen dat CFT een robuust framework biedt voor het bereiken van getrouwe inhoudelijke preservatie terwijl gerichte, realistische en controleerbare verlichtingsmodificaties mogelijk worden gemaakt.