Technischer Zusammenfassung: ControlLight

Problemstellung

Bestehende tiefenlernbasierte Methoden zur Verbesserung bei schwachem Licht (LLE) stoßen in realen Anwendungen auf zwei primäre Einschränkungen:

1. Mangelnde Steuerbarkeit: Die meisten Modelle werden auf Datensätzen trainiert, bei denen jedes Bild bei schwachem Licht ein einziges, festes Überwachungsziel hat (ein spezifisches „Normallicht"-Ground-Truth). Dies zwingt das Modell, eine feste Verstärkungsstärke zu lernen, und verhindert, dass Benutzer die Helligkeit oder die Wiederherstellungsintensität flexibel an persönliche Vorlieben oder wechselnde Szenenanforderungen anpassen können.
2. Probleme mit Generalisierung und Konsistenz: Obwohl groß angelegte generative Bildbearbeitungsmodelle (z. B. FLUX.2-klein) eine starke Generalisierungsfähigkeit und die Fähigkeit demonstrieren, plausible Details wiederherzustellen, leiden sie häufig unter Halluzinationen, strukturellen Verzerrungen und Pixelverschiebungen. Darüber hinaus führt das Standard-Fine-Tuning dieser Modelle für eine kontinuierliche Steuerung oft zu inkonsistenten Ausgaben oder strukturellem Drift, wenn die Verstärkungsstärke variiert wird. Zusätzlich fehlt es bestehenden Methoden zur kontinuierlichen Steuerung oft an zuverlässiger intermediärer Überwachung, was zu instabilen Trajektorien führt.

Methodik

Die Autoren schlagen ControlLight vor, ein Framework, das eine steuerbare, konsistente und generalisierbare Verbesserung bei schwachem Licht ermöglicht. Die Methodik besteht aus drei Kernkomponenten:

1. Light100K: Konstruktion kontinuierlicher pseudo-gepaarter Daten

Um die Knappheit an echten gepaarten Daten mit kontinuierlicher Überwachung zu adressieren, haben die Autoren Light100K konstruiert.

• Datensammlung: Etwa 30.000 hochwertige reale Bilder bei schwachem Licht wurden gesammelt und auf semantische Relevanz und Degradationsgrade gefiltert.
• Generierung von Pseudo-Zielen: Ein vortrainiertes FLUX.2-klein-9B-Modell wurde verwendet, um für jeden Eingabewert bei schwachem Licht ($I_0$) entsprechende „Normallicht"-Gegenstücke ($I_1$) zu generieren.
• Filterung auf Kantenkonsistenz: Paare mit signifikanten strukturellen Fehlausrichtungen wurden entfernt, was zu etwa 20.000 Paaren mit hoher Konsistenz führte.
• Retinex-inspirierte Interpolation: Anstelle einer einfachen RGB-Alpha-Blending (die lokalen Kontrast verwässert und Beleuchtung mit Reflexion vermischt), wandten die Autoren eine auf Retinex basierende Interpolationsstrategie an. Sie zerlegten Bilder in Reflexions ($R$) und Beleuchtungs ($L$) Komponenten. Die kontinuierliche Verstärkung wurde als glatter Übergang in der Beleuchtungskomponente (Interpolation im Logarithmus-Bereich) modelliert, während die Reflexion konservativ interpoliert wurde. Dies erzeugt eine kontinuierliche Sequenz von Pseudo-Ground-Truths ($I_s$) für Verstärkungsstärken $s \in \{0.2, 0.4, 0.6, 0.8\}$.

2. Fehlausrichtungs-bewusster gewichteter Flow-Matching-Verlust ($L_{wFM}$)

Die Autoren stellten fest, dass selbst visuell konsistente pseudo-gepaarte Daten aufgrund des generativen Charakters des Basismodells subtile Kantenfehljustierungen enthalten können. Ein standardmäßiges Flow Matching würde das Modell zwingen, diese Fehlausrichtungen zu lernen und zu verstärken, was zu strukturellen Artefakten führt.

• Karten der Kantendifferenz: Eine strukturelle Kantenunterschiedskarte wird zwischen Eingabe und Pseudo-Ziel im Log-Helligkeitsbereich berechnet, um hochfrequente strukturelle Diskrepanzen zu isolieren.
• Gewichtete Überwachung: Eine räumliche Gewichtskarte wird generiert, wobei Bereiche mit signifikanten Kantenfehljustierungen (weit entfernt von Eingabekanten) herabgestuft werden.
• Verlustfunktion: Der Standard-Flow-Matching-Verlust wird modifiziert, um diese Gewichte anzuwenden, wodurch das Modell ermutigt wird, die Struktur des Eingabebildes zu bewahren, während es die Beleuchtungsverbesserung lernt, was strukturellen Drift reduziert.

3. ControlLight-Modellarchitektur

• Basismodell: Das Framework fine-tunt FLUX.2-klein-9B mittels Low-Rank Adaptation (LoRA).
• Mechanismus zur kontinuierlichen Steuerung: Die Verstärkungsstärke $s$ wird direkt als LoRA-Skalierungsfaktor integriert ($W' = W + s \cdot AB$). Im Gegensatz zu Methoden, die Linearität nur beim Inferenzschritt annehmen, erzwingt ControlLight diese Linearität während des Trainings, indem es spezifische $s$-Werte mit ihren entsprechenden Pseudo-Ground-Truths ($I_s$) paart und den gewichteten Flow-Matching-Verlust berechnet.
• Inferenz: Benutzer können ein Bild bei schwachem Licht und einen festen Wiederherstellungs-Prompt eingeben und $s$ kontinuierlich von 0 bis 1 anpassen, um die Verstärkungsintensität zu steuern.

Hauptbeiträge

1. Light100K-Datensatz: Ein groß angelegter, kontinuierlicher Datensatz zur Verbesserung bei schwachem Licht, der reale degradierte Bilder und strukturerhaltende pseudo-verstärkte Ziele mit feinabgestufter Überwachung über mehrere Beleuchtungsstärken hinweg enthält.
2. Fehlausrichtungs-bewusster gewichteter Flow-Matching-Verlust: Eine neuartige Verlustfunktion, die unzuverlässige Kantengebiete in durch Diffusion generierten Pseudo-Zielen identifiziert und herabstuft, was strukturelle Konsistenz gewährleistet und die Verstärkung generativer Artefakte während der kontinuierlichen Verstärkung verhindert.
3. ControlLight-Framework: Ein steuerbares LLE-Modell, das sowohl in der Verstärkungsqualität als auch in der linearen Steuerbarkeit State-of-the-Art-Ergebnisse erzielt und bestehende kontinuierliche und nicht-kontinuierliche Methoden auf realen Benchmarks übertrifft.

Experimentelle Ergebnisse

Die Autoren bewerteten ControlLight auf fünf Benchmarks: LOL-v1 und LWSR (gepaart) sowie DICM, LIME und RealIR-Bench (ohne Referenz).

• Verstärkungsqualität: Auf gepaarten Benchmarks erzielte ControlLight State-of-the-Art-Ergebnisse bei den meisten perceptuellen Metriken (CLIPIQA, MANIQA, MUSIQ) und konkurrenzfähige Ergebnisse bei NIQE. Auf realen Benchmarks ohne Referenz übertraf es konsistent alle Baselines, einschließlich traditioneller Methoden (Retinexformer, CIDNet) und anderer diffusionsbasierter Ansätze (CLE Diffusion).
• Steuerbarkeit: Bewertet mittels $\delta_{smooth}$ (Trajektorien-Glättung) und CLIP-Dir (semantische Richtung), zeigte ControlLight eine überlegene lineare Steuerbarkeit im Vergleich zu universellen kontinuierlichen Bearbeitungsmethoden wie ConceptSlider, KSlider und CLE Diffusion. Es erzeugte glattere Übergänge und semantisch konsistentere Verstärkungstrajektorien.
• Ablationsstudien:
  • Das Entfernen des gewichteten Flow-Matching-Verlusts ($L_{wFM}$) führte zu einer höheren strukturellen Inkonsistenz (höherer LI-LPIPS) und einer geringeren perceptuellen Qualität.
  • Der Vergleich von Interpolationsstrategien zeigte, dass die auf Retinex basierende Interpolation im Vergleich zur direkten Alpha-Blending einen physikalisch sinnvollereren Qualitätsgradienten und reichhaltigere Degradationshinweise bot.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ControlLight einen neuen State-of-the-Art für die Verbesserung bei schwachem Licht etabliert, indem es erfolgreich die Lücke zwischen der generativen Kraft groß angelegter Bildbearbeitungsmodelle und der strengen strukturellen Konsistenz schließt, die für die Bildwiederherstellung erforderlich ist.

Zu den wichtigsten Behauptungen gehören:

• Anwendbarkeit in der realen Welt: Durch die Konstruktion eines Datensatzes aus realen Bildern und die Verwendung eines strukturerhaltenden Verlusts generalisiert das Modell effektiv auf reale Degradationen, bei denen traditionelle Methoden oft versagen.
• Benutzerzentrierte Steuerung: Die Fähigkeit, die Verstärkungsstärke kontinuierlich anzupassen ($s=0$ bis $s=1$), ermöglicht es Benutzern, Ergebnisse an spezifische Vorlieben anzupassen, ohne visuelle Konsistenz oder Realismus zu opfern.
• Strukturelle Integrität: Die vorgeschlagene Verlustfunktion mildert effektiv die bei generativer Wiederherstellung üblichen „Halluzinationen" und strukturellen Drift, wodurch sichergestellt wird, dass das verstärkte Bild der ursprünglichen Szenenstruktur treu bleibt.

Die Autoren kommen zu dem Schluss, dass ControlLight eine robuste Lösung für praktische Szenarien der Verbesserung bei schwachem Licht bietet und im Vergleich zu bestehenden Ansätzen überlegene Konsistenz, Steuerbarkeit und Generalisierung liefert.