Evaluating Low-Light Image Enhancement Across Multiple Intensity Levels

1. Problemstellung

Die Bildgebung in Umgebungen mit schwachem Licht ist aufgrund reduzierter Szenenstrahlung schwierig, was zu erhöhtem Sensorrauschen und verminderter Farbsättigung führt. Herkömmliche Deep-Learning-Methoden zur Verbesserung von Low-Light-Bildern (LLIE) stützen sich meist auf Trainingsdaten, die unter einer einzigen, festen Niedriglicht-Bedingung aufgenommen wurden.

• Mangelnde Robustheit: Diese Einschränkung führt dazu, dass Modelle nicht generalisieren können, wenn sie auf Bilder mit variierenden Helligkeitsstufen angewendet werden.
• Fehlende Diversität: Bestehende Datensätze (z. B. LOL, LOLv2) erfassen Szenen entweder nur unter einem einzigen niedrigen Lichtniveau oder simulieren Helligkeitsänderungen durch Nachbearbeitung oder Änderung der Kameraparameter. Dies bildet reale Szenarien, in denen Lichtintensitäten kontinuierlich variieren, nicht adäquat ab.
• Empirische Evidenz: Das Paper zeigt, dass selbst State-of-the-Art-Modelle (wie Retinexformer) bei leicht helleren, aber immer noch unterbelichteten Eingaben (z. B. durch Mischen mit Ground-Truth) signifikant schlechter abschneiden als bei extrem dunklen Eingaben, was auf eine fehlende Robustheit über den gesamten Intensitätsbereich hinweist.

2. Methodik und Datensatz (MILL)

Um diese Lücke zu schließen, stellen die Autoren den Multi-Illumination Low-Light (MILL) Datensatz und eine neue Verlustfunktion vor.

Der MILL-Datensatz

• Aufbau: MILL ist der erste Datensatz, der dieselbe Szene unter 11 systematisch variierenden Lichtintensitäten erfasst, während alle Kameraparameter (ISO, Blende, Verschlusszeit) konstant bleiben.
• Erfassung: Die Aufnahmen erfolgten in einer kontrollierten Umgebung ohne Fenster. Es wurden eine DSLR (Nikon D5200) und ein Smartphone (Samsung Galaxy S7) verwendet.
• Intensitätsstufen: Die Lichtintensität wurde schrittweise von Minimum (Level 1) bis Maximum (Level 11) erhöht. Level 11 dient als Ground Truth (GT), die Level 1–10 als Low-Light-Eingaben.
• Metadaten: Jeder Aufnahme liegen präzise Lux-Messungen eines Photometers und die Einstellungen der programmierbaren Lichtquellen bei.
• Umfang: Insgesamt 1.100 Bilder (50 Szenen × 11 Stufen × 2 Geräte). Der Datensatz ist in Trainings-, Validierungs- und Testsets aufgeteilt und in zwei Auflösungen verfügbar: MILL-s (skaliert auf 600×400) und MILL-f (Full HD).

Verbesserte Methode (Neue Verlustfunktionen)

Basierend auf der Architektur von Retinexformer (dem besten Basismodell im Benchmark) schlagen die Autoren vor, die latenten Merkmale des Netzwerks explizit zu entkoppeln (Disentanglement) in:

1. Illuminationsinformationen (Lichtintensität).
2. Szeneninhalte (lichtunabhängige Struktur).

Dazu werden zwei zusätzliche Verlustterme eingeführt:

• Intensitätsvorhersage-Verlust ($L_i$): Erzwingt, dass der erste latente Kanal die normalisierte Lichtintensität der Szene vorhersagt. Dies hilft dem Netzwerk, den Helligkeitskontext explizit zu verstehen.
• Szeneninhalts-Verlust ($L_s$): Ein Triplet-Loss, der sicherstellt, dass die verbleibenden latenten Kanäle (ohne den Intensitätskanal) für Bilder derselben Szene unter verschiedenen Lichtverhältnissen ähnlich sind, während sie sich für verschiedene Szenen unterscheiden. Dies erzwingt eine lichtinvariante Kodierung des Szeneninhalts.

Die Gesamtzielsetzung ist: $L = L_{re} + L_i + L_s$ (Rekonstruktionsverlust + Intensitätsverlust + Szeneninhalt-Verlust).

3. Wichtige Beiträge

1. MILL-Datensatz: Ein neuer Benchmark-Datensatz mit 11 Helligkeitsstufen pro Szene, aufgenommen mit fixierten Kameraparametern, um die Robustheit von LLIE-Methoden über einen kontinuierlichen Intensitätsbereich zu testen.
2. Benchmark-Analyse: Eine umfassende Evaluierung bestehender State-of-the-Art-Methoden, die zeigt, dass diese bei variierenden Lichtintensitäten oft versagen (Performance-Fluktuationen) und bei moderater Unterbelichtung sogar schlechter abschneiden als bei extrem dunklen Eingaben.
3. Neue Verlustterme: Die Einführung von $L_i$ und $L_s$, die die Entkopplung von Licht und Inhalt im neuronalen Netzwerk fördern und so die Robustheit signifikant steigern.

4. Ergebnisse

Die Experimente wurden auf den DSLR- und Smartphone-Splits des MILL-Datensatzes durchgeführt.

• Benchmark-Ergebnisse: Die meisten bestehenden Methoden zeigen bei höheren Intensitätsstufen (Level 7–11) einen deutlichen Leistungsabfall. Retinexformer war das robusteste Basismodell, aber auch hier gab es Lücken.
• Leistungssteigerung: Die vorgeschlagene Modifikation von Retinexformer („Ours") erzielt signifikante Verbesserungen:
  • DSLR (Full HD): Bis zu +10 dB PSNR und eine Reduktion des Farbfehlers ($\Delta E_{76}$) um ca. 5 Einheiten im Vergleich zum Baseline-Retinexformer.
  • Smartphone (Full HD): Bis zu +2 dB PSNR Verbesserung.
• Ablationsstudie: Die Kombination beider Verlustterme ($L_i$ und $L_s$) ist notwendig, um die besten Ergebnisse zu erzielen. Der Intensitätsverlust allein führt zu größeren Verbesserungen als der Szeneninhalt-Verlust allein, aber die gemeinsame Optimierung ermöglicht die vollständige Entkopplung der Merkmale.
• Qualitative Ergebnisse: Visuelle Vergleiche zeigen, dass die neue Methode weniger Rauschen, bessere Farbwiedergabe und schärfere Kanten liefert, insbesondere in Szenarien mit moderater Unterbelichtung, wo andere Methoden oft überbelichten oder Farbstiche erzeugen.
• Generalisierung: Das auf MILL trainierte Modell zeigt auch auf externen Datensätzen (DICM, SICE) bessere Ergebnisse als Modelle, die nur auf LOLv1 trainiert wurden, insbesondere bei der Vermeidung von Überbelichtung in moderat dunklen Szenen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die aktuelle Forschung zur Low-Light-Verbesserung durch die fehlende Vielfalt in den Trainingsdaten limitiert ist. Modelle, die nur auf einem einzigen Helligkeitsniveau trainiert werden, lernen keine robusten Repräsentationen für reale, sich ändernde Lichtverhältnisse.

Der MILL-Datensatz setzt einen neuen Standard für die Evaluierung, indem er die Notwendigkeit einer Bewertung über einen kontinuierlichen Intensitätsbereich aufzeigt. Die vorgeschlagene Methode zur Entkopplung von Licht und Inhalt durch spezielle Verlustfunktionen beweist, dass die explizite Modellierung der Beleuchtungsintensität im latenten Raum entscheidend für die Robustheit von LLIE-Systemen ist. Dies ist ein wichtiger Schritt hin zu zuverlässigen Low-Light-Verbesserungsalgorithmen für reale Anwendungen in DSLR-Kameras und Smartphones.