CANDLE: Illumination-Invariant Semantic Priors for Color Ambient Lighting Normalization

Probleemstelling

De paper adresseert het probleem van kleur-omgevingslichtnormalisatie (Color Ambient Lighting Normalization - ALN). Het doel is om een uniform verlichte afbeelding te herstellen uit waarnemingen die zijn beschadigd door ruimtelijk variërende, meervoudige lichtbronnen.

De uitdagingen zijn aanzienlijk groter dan bij traditionele schaduwverwijdering:

• Meerkleurige verlichting: Sterke chromatische verschuivingen, lokale kleurspatten en verzadigde highlights maken eenvoudige blootstellingscorrectie onmogelijk.
• Materiaalafhankelijke reflectie: De interactie tussen licht en materialen verstoort de intrinsieke kleur van objecten.
• Tekortkomingen van bestaande methoden: Bestaande benaderingen die vertrouwen op geometrische priors (zoals oppervlaktenormals) of frequentiedomein-methoden, blijken ontoereikend wanneer de chromatische bias de geometrie overheerst. Geometrische priors kunnen niet bepalen wat de "ware" kleur van een object is onder extreme kleurlampen, en ongeleide RGB-modellen verwarren vaak verlichtingsverschuivingen met materiaaleigenschappen.

Kernobservatie: DINOv3 als Invariant Priors

De auteurs doen een cruciale observatie: DINOv3-features (zelfsupervisieerde visuele features) blijven opmerkelijk consistent tussen ingangen met gekleurd licht en de bijbehorende grondwaarheid (ambient-lit ground truth), zelfs bij ernstige visuele divergentie.

• In tegenstelling tot CLIP of ResNet-50, die sterke feature-drift vertonen onder chromatische contaminatie, behoudt DINOv3 een hoge patch-voor-patch consistentie.
• Dit komt door het zelfsupervisie trainingsdoel van DINOv3, dat representaties aanmoedigt die invariant zijn voor uiterlijke variaties maar wel de semantische structuur van objecten en materialen behouden. Dit biedt precies de inductieve bias die nodig is voor het ontkoppelen van kleur en verlichting.

Methodologie: CANDLE

De auteurs stellen CANDLE (Color Ambient Normalization with DINO Layer Enhancement) voor, een semantisch geleid herstelkader met twee hoofdcomponenten:

1. DINO Omni-layer Guidance (D.O.G.)

In plaats van geometrische normals te injecteren, gebruikt D.O.G. adaptieve multi-layer features van een bevroren DINOv3 ViT-L/16-model.

• Prompt Selection Fusion (PSF): Omdat verschillende encoder-stadia verschillende ruimtelijke schalen en semantische granulariteiten vereisen, selecteert PSF adaptief de meest relevante DINO-lagen (bijv. laagere lagen voor textuur, hogere lagen voor objectidentiteit) voor elke specifieke encoder-stap.
• DINO-Residual Fusion Block (DRFB): De geselecteerde semantische features worden via cross-attention in de backbone geïnjecteerd. Hierbij fungeren de backbone-features als 'queries' en de DINO-priors als 'keys' en 'values'. Dit zorgt ervoor dat de restauratie geleid wordt door semantisch consistente informatie die invariant is voor verlichting.

2. Kleur-Frequentie Verfijning (Color-Frequency Refinement)

Om fouten aan de decoder-zijde te voorkomen (zoals chromatisch instorten in verzadigde gebieden en vervuiling via skip-connections), introduceert CANDLE twee modules:

• Bifurcated Feature-Adaptive Color Guidance (BFACG): Deze module splitst de decoder-stroom in twee parallelle takken: één voor geometrisch consistente detailherstel (Fstr) en één voor verlichtingsinvariante kleurcorrectie (Fchr). Een randbewuste kaart modereert de fusie, zodat randen voornamelijk door de structurele tak worden behandeld en vlakke gebieden door de kleurcorrectie.
• Spectral Feature Fusion Block (SFFB): Deze module filtert de features van de skip-connections (die vaak nog verontreinigd zijn door verlichting) met behulp van Haar-wavelet-decompositie. Het onderdrukt selectief de lage-frequentie componenten (die de globale kleurbias bevatten) terwijl hoge-frequentie details behouden blijven.

Belangrijkste Bijdragen

1. Nieuw perspectief op priors: Het paper toont aan dat zelfsupervisieerde semantische representaties (DINOv3) superieur zijn aan geometrische of frequentie-gebaseerde priors voor kleur-ALN.
2. D.O.G. Architectuur: De introductie van adaptieve multi-layer injectie van DINO-features als primaire leidraad voor intrinsieke kleurherstel.
3. Decoder-Optimalisatie: Een verfijnd ontwerp (BFACG + SFFB) dat structurele en chromatische restauratie ontkoppelt en verlichtingslekken in skip-connections onderdrukt.
4. State-of-the-Art Resultaten: Het bereiken van nieuwe records op de CL3AN-benchmark en hoge rankings in de NTIRE 2026 challenge.

Resultaten

• CL3AN Benchmark: CANDLE behaalt een PSNR van 21,066 dB, wat een verbetering is van +1,22 dB ten opzichte van de sterkste eerdere methode (RLN2) en +1,85 dB ten opzichte van PromptNorm.
• Ablatie-studies:
  • Het vervangen van geometrische normals door D.O.G. levert een enorme winst op (+1,85 dB).
  • De kleur-frequentie verfijning (BFACG + SFFB) voegt een extra +0,23 dB toe en verbetert de perceptuele kwaliteit (LPIPS).
• NTIRE 2026 Challenge:
  • Kleurverlichting Track: 3e plaats in perceptuele ranking (met de 2e beste LPIPS).
  • Witverlichting Track: 2e plaats in fideliteit (PSNR) en laagste FID (Fréchet Inception Distance) van alle inzendingen, wat sterke generalisatie aantoont.

Betekenis

CANDLE markeert een paradigmaverschuiving in het veld van beeldherstel onder complexe verlichting. Het bewijst dat voor het herstel van intrinsieke objectkleuren onder meerkleurige verlichting, semantische invariantie (via DINO) essentieel is, terwijl traditionele geometrische priors ontoereikend zijn. De combinatie van semantische geleiding in de encoder met gespecialiseerde frequentie- en kleurontkoppeling in de decoder biedt een robuust kader dat zowel voor kleur- als witverlichtingssituaties werkt, wat een belangrijke stap is voor real-world toepassingen in computer vision en fotografie.