HPGN: Hybrid Priors-Guided Network for Compressed Low-Light Image Enhancement

Technische Samenvatting: HPGN voor Gecomprimeerde Beeldverbetering bij Zwakke Verlichting

Probleemstelling
In praktische toepassingen worden beelden bij zwakke verlichting vaak gecomprimeerd om opslag- en transmissiekosten te verlagen. Deze compressie introduceert echter artefacten (zoals blokkering en wazigheid) die verergeren door de inherente degradatie van omstandigheden met zwakke verlichting. Bestaande methoden voor beeldverbetering bij zwakke verlichting (LLIE) slagen er doorgaans niet in deze compressieartefacten te mitigeren wanneer ze rechtstreeks op gecomprimeerde invoer worden toegepast. Bovendien vertrouwen huidige benaderingen voor verbetering van gecomprimeerde beelden bij zwakke verlichting (CLLIE) vaak op een tweestapsstrategie: eerst het beeld deblokkeren en vervolgens de verlichting verbeteren. Deze gekaskende aanpak leidt tot ophoping van fouten, verhoogde modelcomplexiteit en aanzienlijke kosten voor de trainingstijd, aangezien vaak aparte modellen vereist zijn voor verschillende JPEG-kwaliteitsfactoren (QF). Daarnaast maken veel bestaande methoden geen expliciet gebruik van compressiemetadata (zoals QF of kwantisatiematrix) om het verbeteringsproces te sturen.

Methodologie
De auteurs stellen de Hybrid Priors-Guided Network (HPGN) voor, een eenstapsframework ontworpen om gecomprimeerde beelden bij zwakke verlichting gezamenlijk te verbeteren over wisselende compressieniveaus. De architectuur bestaat uit twee hoofdbestanddelen:

1. Hybrid Information Filter (HIF): Dit is een plug-and-play-module die dynamisch kenmerken aanpast door integratie van drie soorten priors:

   • Verlichtingsprior: Afgeleid van de ingevoerde gecomprimeerde afbeelding ($I_{comp}$) via een proces voor globale helderheidsschatting en lokale verlichtingskenmerkextractie.
   • Compressiepriors:
     • Kwaliteitsfactor (QF)-tak: Gebruikt de QF om mappingscoëfficiënten ($M_{qf1}, M_{qf2}$) te genereren die kanaalgewijze vermenigvuldiging uitvoeren op verlichtingskenmerken. Dit adresseert veranderingen in kanaalcorrelatie en kenmerkschuivingen veroorzaakt door kwantisatie.
     • Kwantisatiematrix (QM)-tak: Gebruikt de DCT-kwantisatiematrix om ruimtelijke mappingscoëfficiënten ($N_{qm}$) te genereren. Deze worden toegepast via elementgewijze vermenigvuldiging om ruimtelijke kenmerkverdelingen te modelleren, waardoor verbetering wordt versterkt in sleutelgebieden (zoals texturen en randen) en gebieden met aanzienlijke kwantisatiedegradatie lokaal worden gecorrigeerd.
   • De HIF combineert deze priors om verfijnde kenmerken te produceren die de daaropvolgende verbetering sturen.

2. Image Enhancer (IE): Een op CNN gebaseerde module samengesteld uit gestapelde Recursive Multi-scale Residual Blocks (RMRB). Elke RMRB bevat Multi-scale Residual Blocks (MRB) die een multi-schaal takarchitectuur hanteren. Invoerkenmerken worden downgesampled om correlaties op verschillende resoluties vast te leggen, verwerkt via Context Blocks (CB) en dynamisch gefuseerd. Deze structuur beoogt variërende schalen van lichtverdeling te hanteren terwijl de complexiteit laag blijft.

Trainingsstrategie
Om een enkel model in staat te stellen om beelden met wisselende compressiekwaliteiten te verwerken, hanteren de auteurs een strategie voor willekeurige QF-generatie tijdens de training. In plaats van aparte modellen te trainen voor specifieke QF's, wordt het netwerk getraind op beelden die zijn gecomprimeerd met willekeurig gegenereerde QF's. Dit stelt het model in staat een verenigde representatie te leren voor diverse compressieniveaus, wat de trainingstijd en rekenkracht aanzienlijk reduceert in vergelijking met multi-model- of tweestapsbenaderingen.

Belangrijkste Bijdragen

• Eenstapsframework: HPGN wordt voorgesteld als een verenigd, eenstapsnetwerk voor verbetering van gecomprimeerde beelden bij zwakke verlichting, waardoor de behoefte aan gekaskede deblokkerings- en verbeteringsmodellen wordt geëlimineerd.
• Hybrid Information Filter (HIF): Een innovatieve module die compressiepriors (QF en QM) naast verlichtingspriors benut om informatieverlies tijdens helderheidsaanpassing te mitigeren. De auteurs benadrukken de "plug-and-play"-karakteristiek, waardoor het in andere LLIE-methoden kan worden ingebed.
• Training met willekeurige QF: Een strategie die een enkel model in staat stelt om beelden robuust te verbeteren over wisselende compressieniveaus, waarmee de schaalbaarheidsproblemen van eerdere methoden worden aangepakt die specifieke optimalisatie vereisen voor elke QF.

Experimentele Resultaten
De methode werd geëvalueerd op vier datasets: LOLv1, LOLv2-real, LOLv2-syn en een aangepaste LOLv1-randomQF-dataset.

• Kwantitatieve Prestaties: Op de LOLv1-randomQF-dataset behaalde HPGN state-of-the-art prestaties, waarbij het de op één na beste aanpak (CAPformer) tot 0,21 dB in PSNR overtrof en hogere SSIM-scores behaalde.
• Efficiëntie: HPGN demonstreert superieure efficiëntie, met slechts 2,69M parameters nodig, wat ongeveer 30,7% is van de parameters die door CAPformer worden gebruikt (8,77M).
• Schaalbaarheid: Ablatiestudies en integratietests (Tabel 2) tonen aan dat het toevoegen van de HIF-module aan bestaande LLIE-frameworks (MIRNetv2 en Retinexformer) hun prestaties op gezamenlijke taken aanzienlijk verbetert met een minimale toename van parameters.
• Visuele Kwaliteit: Kwalitatieve vergelijkingen geven aan dat HPGN superieure visuele resultaten oplevert met verminderd ruis en minder compressieartefacten in vergelijking met zowel standaard LLIE-methoden als tweestapsgekaskerde benaderingen.

Betekenis en Beweringen
Het artikel beweert dat HPGN de kritieke kloof in de verwerking van gecomprimeerde beelden bij zwakke verlichting aanpakt door verwijdering van compressieartefacten en verlichtingsverbetering te verenigen in één efficiënte stap. Door expliciet gebruik te maken van compressiemetadata (QF en QM) als sturing, past de methode zich aan wisselende compressieniveaus aan zonder hertraining. De auteurs positioneren HPGN als een veelzijdige oplossing die niet alleen bestaande SOTA-methoden in nauwkeurigheid overtreft, maar ook een meer rekenkundig efficiënt en flexibel framework biedt voor toepassingen in de echte wereld waar beeldcompressieniveaus variëren. Het artikel merkt op dat, hoewel de huidige focus ligt op JPEG, het kernconcept van het gebruik van compressiemetadata om verbetering te sturen uitbreidbaar is naar andere standaarden, hoewel specifieke aanpassingen vereist zijn voor niet-JPEG-scenario's of scenario's met extreme compressie.