Technische Samenvatting: ControlLight

Probleemstelling

Bestaande methoden voor versterking van lage lichtomstandigheden (LLE) op basis van deep learning staan in real-world toepassingen voor twee primaire beperkingen:

1. Gebrek aan Controleerbaarheid: De meeste modellen zijn getraind op datasets waarbij elk beeld met weinig licht één vaste supervisiedoel heeft (een specifiek "normaal-licht" ground truth). Dit dwingt het model om een vaste versterkingssterkte te leren, waardoor gebruikers niet flexibel de helderheid of herstelintensiteit kunnen aanpassen aan persoonlijke voorkeuren of variërende scène-eisen.
2. Generalisatie- en Consistentieproblemen: Hoewel grootschalige generatieve beeldbewerkingsmodellen (bijv. FLUX.2-klein) sterke generalisatie tonen en het vermogen hebben om plausible details te herstellen, lijden ze vaak aan hallucinaties, structurele vervormingen en pixelverschuivingen. Bovendien leidt standaard fine-tuning van deze modellen voor continue controle vaak tot inconsistente output of structurele drift wanneer de versterkingssterkte wordt variëerd. Daarnaast missen bestaande methoden voor continue controle vaak betrouwbare tussentijdse supervisie, wat leidt tot onstabiele trajecten.

Methodologie

De auteurs stellen ControlLight voor, een raamwerk ontworpen om controleerbare, consistente en generaliseerbare versterking van lage lichtomstandigheden te bereiken. De methodologie bestaat uit drie kerncomponenten:

1. Light100K: Constructie van Continue Pseudo-Gekoppelde Data

Om de schaarste aan real-world gekoppelde data met continue supervisie aan te pakken, construeerden de auteurs Light100K.

• Datacollectie: Ongeveer 30.000 hoogwaardige real-world beelden met weinig licht werden verzameld en gefilterd op semantische relevantie en degradatieniveaus.
• Generatie van Pseudo-Doelen: Een vooraf getraind FLUX.2-klein-9B-model werd gebruikt om "normaal-licht" tegenhangers ($I_1$) te genereren voor elke invoer met weinig licht ($I_0$).
• Edge-Consistentiefiltering: Paren met significante structurele misalignementen werden verwijderd, wat resulteerde in ongeveer 20.000 paren met hoge consistentie.
• Retinex-Geïnspireerde Interpolatie: In plaats van eenvoudige RGB-alpha-blending (wat lokale contrasten platteert en verlichting mengt met reflectie), hanteerden de auteurs een op Retinex gebaseerde interpolatiestrategie. Ze decomponeren beelden in Reflectie ($R$) en Verlichting ($L$) componenten. Continue versterking werd gemodelleerd als een soepele overgang in de verlichtingscomponent (interpolatie in log-domein) terwijl de reflectie conservatief werd geïnterpoleerd. Dit genereert een continue reeks pseudo-ground-truths ($I_s$) voor versterkingssterktes $s \in \{0.2, 0.4, 0.6, 0.8\}$.

2. Misalignment-Aware Weighted Flow Matching Loss ($L_{wFM}$)

De auteurs observeerden dat zelfs visueel consistente pseudo-paren subtiele edge-misalignementen kunnen bevatten vanwege de generatieve aard van het basismodel. Standaard flow matching zou het model dwingen deze misalignementen te leren en te versterken, wat structurele artefacten veroorzaakt.

• Edge-Differenti Mapping: Een structurele edge-differentiekaart wordt berekend tussen de invoer en het pseudo-doel in het log-luminantie-domein om hoogfrequente structurele discrepanties te isoleren.
• Gewogen Supervisie: Een ruimtelijke gewichtskaart wordt gegenereerd waarbij gebieden met significante edge-misalignementen (ver weg van invoer-edges) worden down-gewogen.
• Functie voor Verlies: De standaard flow matching loss wordt gewijzigd om deze gewichten toe te passen, waardoor het model wordt aangemoedigd de structuur van het invoerbeeld te behouden terwijl het de verlichtingsversterking leert, waardoor structurele drift wordt verminderd.

3. ControlLight Modelarchitectuur

• Basismodel: Het raamwerk fine-tunt FLUX.2-klein-9B met behulp van Low-Rank Adaptation (LoRA).
• Mechanisme voor Continue Controle: De versterkingssterkte $s$ wordt direct opgenomen als de LoRA-schaalfactor ($W' = W + s \cdot AB$). In tegenstelling tot methoden die lineariteit alleen bij inferentie aannemen, dwingt ControlLight deze lineariteit af tijdens het trainen door specifieke $s$-waarden te koppelen aan hun corresponderende pseudo-ground-truths ($I_s$) en de gewogen flow matching loss te berekenen.
• Inferentie: Gebruikers kunnen een beeld met weinig licht en een vast herstelprompt invoeren, waarbij ze $s$ continu van 0 tot 1 aanpassen om de versterkingsintensiteit te controleren.

Belangrijkste Bijdragen

1. Light100K Dataset: Een grootschalige, continue dataset voor versterking van lage lichtomstandigheden met real-world gedegradeerde beelden en structureel consistente pseudo-versterkte doelen met fijnkorrelige supervisie over meerdere verlichtingssterktes.
2. Misalignment-Aware Weighted Flow Matching Loss: Een nieuwe verliesfunctie die onbetrouwbare edge-regio's in door diffusie gegenereerde pseudo-doelen identificeert en down-gewogen, waardoor structurele consistentie wordt gewaarborgd en versterking van generatieve artefacten tijdens continue versterking wordt voorkomen.
3. ControlLight Raamwerk: Een controleerbaar LLE-model dat state-of-the-art prestaties bereikt in zowel versterkingskwaliteit als lineaire controleerbaarheid, en bestaande continue en niet-continue methoden op real-world benchmarks overtreft.

Experimentele Resultaten

De auteurs evalueerden ControlLight op vijf benchmarks: LOL-v1 en LWSR (gepaard), en DICM, LIME, en RealIR-Bench (niet-referentie).

• Versterkingskwaliteit: Op gepaarde benchmarks behaalde ControlLight state-of-the-art resultaten op de meeste perceptuele metrieken (CLIPIQA, MANIQA, MUSIQ) en concurrerende resultaten op NIQE. Op real-world niet-referentie benchmarks presteerde het consequent beter dan alle baselines, inclusief traditionele methoden (Retinexformer, CIDNet) en andere op diffusie gebaseerde benaderingen (CLE Diffusion).
• Controleerbaarheid: Geëvalueerd met $\delta_{smooth}$ (trajectgladheid) en CLIP-Dir (semantische directionaliteit), toonde ControlLight superieure lineaire controleerbaarheid in vergelijking met universele continue bewerkingsmethoden zoals ConceptSlider, KSlider en CLE Diffusion. Het produceerde soepelere overgangen en semantisch consistenter versterkings-trajecten.
• Ablatiestudies:
  • Het verwijderen van de gewogen flow matching loss ($L_{wFM}$) resulteerde in hogere structurele inconsistentie (hogere LI-LPIPS) en lagere perceptuele kwaliteit.
  • Vergelijking van interpolatiestrategieën toonde aan dat Retinex-gebaseerde interpolatie een fysisch redelijker kwaliteitsgradiënt en rijkere degradatiehinten bood in vergelijking met directe alpha-blending.

Betekenis en Claims

Het paper claimt dat ControlLight een nieuwe state-of-the-art vestigt voor versterking van lage lichtomstandigheden door de kloof succesvol te overbruggen tussen het generatieve vermogen van grootschalige beeldbewerkingsmodellen en de strikte structurele consistentie die vereist is voor beeldherstel.

Belangrijke claims zijn:

• Real-World Toepasbaarheid: Door een dataset te construeren uit real-world beelden en een structuurbehoudende loss te gebruiken, generaliseert het model effectief naar real-world degradaties waar traditionele methoden vaak falen.
• Gebruikersgerichte Controle: Het vermogen om de versterkingssterkte continu aan te passen ($s=0$ tot $s=1$) stelt gebruikers in staat resultaten af te stemmen op specifieke voorkeuren zonder visuele consistentie of realisme op te offeren.
• Structurele Integriteit: De voorgestelde verliesfunctie mitigeert effectief de "hallucinaties" en structurele drift die gebruikelijk zijn bij generatief herstel, waardoor wordt gewaarborgd dat het versterkte beeld trouw blijft aan de oorspronkelijke scènestructuur.

De auteurs concluderen dat ControlLight een robuuste oplossing biedt voor praktische scenario's voor versterking van lage lichtomstandigheden, met superieure consistentie, controleerbaarheid en generalisatie in vergelijking met bestaande benaderingen.