NTIRE 2026 Challenge on Efficient Low Light Image Enhancement: Methods and Results

Op basis van het verstrekte artikel volgt hier een gedetailleerde technische samenvatting van de NTIRE 2026 Efficient Low Light Image Enhancement (E-LLIE) Challenge.

Probleemstelling

Low-Light Image Enhancement (LLIE) heeft tot doel de zichtbaarheid en het contrast in donkere scènes te verbeteren, terwijl ruis, artefacten en kleurvervorming worden beperkt. Hoewel deep learning-methoden aanzienlijke vooruitgang hebben geboekt, lijden ze vaak onder hoge modelcomplexiteit, parameterredundantie en lange inferentietijden, waardoor ze ongeschikt zijn voor mobiele apparaten met beperkte middelen. De E-LLIE Challenge adresseert de kritieke behoefte aan het ontwerpen van lichtgewicht netwerken die een evenwicht vinden tussen hoogwaardige verbetering en strikte computationele beperkingen, met name gericht op implementatie op mobiele platformen.

Opzet en Methodologie van de Wedstrijd

De challenge werd gehouden tijdens de NTIRE 2026 Workshop, voortbouwend op het succes van de editie van 2025.

• Dataset: In tegenstelling tot eerdere iteraties werd de dataset verzameld met Huawei- en Apple-smartphones in diverse scenario's (zwakke verlichting, extreem weinig licht, tegenlicht, ongelijkmatige verlichting, binnen- en buiten nachtscènes). Afbeeldingen hebben een uniforme resolutie van 3024×4032. De dataset bevat 349 trainingscènes, 49 validatiescènes en 102 testscènes (met vertrouwelijke ground truth).
• Beperkingen: Een primaire beperking was de modelgrootte van minder dan 1 MB.
• Evaluatiemetrics: De inzendingen werden geëvalueerd met een uitgebreide reeks metrics: SSIM, LPIPS, DISTS, LIQE, MUSIQ en Q-Align.
• Rangschikkingscriteria: De uiteindelijke rangschikking werd bepaald door de rangen van elk team over alle metrics te aggregeren. Bij gelijke stand kreeg het team met minder modelparameters de hogere rang.
• Deelname: 207 deelnemers registreerden zich, waarbij 27 teams geldige inzendingen indienden en 17 teams geldige factsheets leverden voor de definitieve evaluatie.

Belangrijkste Technische Benaderingen

De 17 deelnemende teams onderzochten diverse technische paradigma's die draaien om efficiëntie en kwaliteit. De methoden vallen over het algemeen in de volgende categorieën:

1. Lichtgewicht Architecturen: Veel teams gebruikten U-Net- of encoder-decoder-frameworks verrijkt met diepte-gescheiden convoluties, residuale verbindingen en partiële convoluties (PConv) om de computationele kosten te verlagen terwijl de representatiecapaciteit behouden bleef.
2. Retinex-gebaseerde Decompositie: Verscheidene benaderingen modelleerden expliciet of impliciet verlichtings- en reflectiecomponenten (bijv. varianten van RetinexFormer, verlichting–reflectie decompositie) om specifieke degradaties bij weinig licht aan te pakken.
3. Aandacht- en Transformer-modules: Om globale contextmodellering te verbeteren zonder overmatige overhead, integreerden teams lichtgewicht aandachtsmechanismen en Transformer-blokken (bijv. Restormer-stijl lokale transformers, cross-attention).
4. Decoupling van Kleurruimtes: Methodes die kleurruimtes zoals HVI (Hue-Value-Intensity), YUV en LAB benutten, werden ingezet om luminantie en chrominantie afzonderlijk te verwerken, wat stabiliteit en kleurfideliteit verbetert.
5. Hybride en Traditionele Priors: Sommige benaderingen integreerden traditionele beeldverwerkingstechnieken (bijv. histogramgelijkmaking, multi-exposure fusie) met deep learning. Anderen gebruikten structurele reparameterisatie (trainen met multi-branch structuren en converteren naar single-branch voor inferentie) en kennisdistillatie om de efficiëntie te maximaliseren.
6. Specifieke Architecturale Innovaties:
   • MiVideo (Rang 1): Gebruikte een lichtgewicht RetinexFormerRefine met Channel Attention (CA) en OCAB-modules, met toepassing van structurele reparameterisatie.
   • CVPR TCD (Rang 2): Stelde een grayscale-geleide cross-attention transformer voor met een dual-branch encoder-decoder en een Phase Transfer Block (PTB) voor fase-overdracht in het frequentiedomein.
   • S3 (Rang 3): Keek voor een twee-trapsparadigma met bevroren pre-processors (CPGA-Net, CLAHE) gevolgd door een compacte DWConv U-Net.
   • sun (Rang 4): Gebruikte een compacte Retinex-geïnspireerde encoder-decoder met Restormer-stijl lokale transformer-blokken, waarbij de kanaalbreedte en -diepte werden geminimaliseerd.
   • NCHU-CVLab (Rang 5): Stelde Efficient-HVI voor op basis van de HVI-kleurruimte met een dual-branch architectuur voor verlichtings- en kleurherstel.
   • HIT-LLIE-team (Rang 7): Ontwikkelde MobileIE-6Ch, een ultra-lichtgewicht volledig convolutioneel netwerk met multi-branch reparameterisatie.

Resultaten

De challenge toonde aanzienlijke verbeteringen in het balanceren van prestaties en efficiëntie.

• Toppresteerders:
  • 1e Plaats: MiVideo (Xiaomi Inc.) behaalde de toprang met een modelgrootte van 927.049 parameters. Ze behaalden de beste scores in LPIPS, DISTS, LIQE, MUSIQ en Q-Align.
  • 2e Plaats: CVPR TCD (Trinity College Dublin) met 557.618 parameters, met sterke prestaties in structurele gelijkenis en perceptuele metrics.
  • 3e Plaats: S3 (Sony Semiconductor Solutions) met 741.600 parameters.
• Prestaties versus Efficiëntie: De resultaten benadrukten dat hoogwaardige verbetering haalbaar is binnen de strikte 1 MB-beperking. Teams zoals HIT-LLIE-team toonden aan dat extreem kleine modellen (~102K parameters) nog steeds concurrerende rangschikkingen konden behalen (7e plaats), wat de haalbaarheid van ultra-lichtgewicht oplossingen bevestigt.
• Verscheidenheid aan Metrics: Het gebruik van meerdere metrics (inclusief no-reference metrics zoals LIQE en Q-Align) onthulde dat verschillende architecturen uitblinken in verschillende aspecten van beeldkwaliteit (bijv. structurele fideliteit versus perceptuele realisme).

Betekenis en Claims

Het artikel claimt dat de challenge succesvol:

1. Onderzoek heeft bevorderd: Het verlegde de grenzen van low-light verbetering onder strikte resource-beperkingen, en bewoog van theoretische prestaties naar praktische implementeerbaarheid.
2. Vergelijking heeft vergemakkelijkt: Het bood een systematische benchmark voor het vergelijken van opkomende methodologieën, met name met de nadruk op de trade-offs tussen modelgrootte, inferentiesnelheid en verbeteringskwaliteit.
3. Academia en Industrie heeft verbonden: Door deelnemers van grote technologiebedrijven (bijv. Xiaomi, Sony) en universiteiten te betrekken, bevorderde de challenge samenwerking en onderzocht het potentiële real-world toepassingen in mobiele fotografie.

De auteurs concluderen dat de trend in E-LLIE duidelijk verschuift naar gezamenlijke optimalisatie van verbeteringsprestaties en computationele efficiëntie, waarbij technieken zoals structurele reparameterisatie, efficiënte aandachtsmechanismen en decoupling van kleurruimtes worden gebruikt om aan de eisen van mobiele implementatie te voldoen. De challenge dient als platform voor het identificeren van state-of-the-art methoden die niet alleen accuraat zijn, maar ook praktisch haalbaar voor eindgebruikersapparaten.