HPGN: Hybrid Priors-Guided Network for Compressed Low-Light Image Enhancement

Riepilogo Tecnico: HPGN per il Miglioramento di Immagini a Bassa Luminosità Comprese

Enunciato del Problema
Nelle applicazioni pratiche, le immagini a bassa luminosità vengono frequentemente compresse per ridurre i costi di archiviazione e trasmissione. Tuttavia, questa compressione introduce artefatti (ad esempio, blocco, sfocatura) che si sommano al degrado intrinseco delle condizioni di scarsa illuminazione. I metodi esistenti per il Miglioramento di Immagini a Bassa Luminosità (LLIE) tipicamente falliscono nel mitigare questi artefatti da compressione quando applicati direttamente a input compressi. Inoltre, gli approcci attuali al Miglioramento di Immagini a Bassa Luminosità Comprese (CLLIE) spesso si affidano a una strategia a due stadi: prima si rimuove l'effetto blocco dall'immagine, poi si migliora l'illuminazione. Questo approccio a cascata porta all'accumulo di errori, all'aumento della complessità del modello e a costi significativi di tempo di addestramento, poiché spesso sono necessari modelli separati per diversi Fattori di Qualità JPEG (QF). Inoltre, molti metodi esistenti non utilizzano esplicitamente i metadati di compressione (come QF o Matrici di Quantizzazione) per guidare il processo di miglioramento.

Metodologia
Gli autori propongono la Rete Guidata da Priors Ibridi (HPGN), un framework a stadio singolo progettato per migliorare congiuntamente immagini a bassa luminosità compresse attraverso diversi livelli di compressione. L'architettura è composta da due componenti principali:

1. Filtro di Informazioni Ibrido (HIF): Questo è un modulo plug-and-play che adatta dinamicamente le caratteristiche integrando tre tipi di priors:

   • Prior di Illuminazione: Derivato dall'immagine compressa di input ($I_{comp}$) tramite un processo di stima globale della luminosità ed estrazione di caratteristiche di illuminazione locale.
   • Priors di Compressione:
     • Ramo del Fattore di Qualità (QF): Utilizza il QF per generare coefficienti di mappatura ($M_{qf1}, M_{qf2}$) che eseguono una moltiplicazione canale per canale sulle caratteristiche di illuminazione. Questo affronta i cambiamenti di correlazione tra canali e gli spostamenti delle caratteristiche causati dalla quantizzazione.
     • Ramo della Matrice di Quantizzazione (QM): Utilizza la Matrice di Quantizzazione DCT per generare coefficienti di mappatura spaziale ($N_{qm}$). Questi vengono applicati tramite moltiplicazione elemento per elemento per modellare le distribuzioni delle caratteristiche spaziali, amplificando il miglioramento nelle aree chiave (come texture e bordi) e correggendo localmente le regioni con un degrado significativo da quantizzazione.
   • L'HIF combina questi priors per produrre caratteristiche raffinate che guidano il successivo miglioramento.

2. Miglioratore di Immagini (IE): Un modulo basato su CNN composto da Blocchi Residui Ricorsivi Multi-scala (RMRB) impilati. Ogni RMRB contiene Blocchi Residui Multi-scala (MRB) che impiegano un'architettura a ramo multi-scala. Le caratteristiche di input vengono sottocampionate per catturare le correlazioni a diverse risoluzioni, elaborate attraverso Blocchi di Contesto (CB) e fuse dinamicamente. Questa struttura mira a gestire le diverse scale di distribuzione della luce mantenendo una bassa complessità.

Strategia di Addestramento
Per consentire a un singolo modello di gestire immagini con diverse qualità di compressione, gli autori impiegano una strategia di generazione casuale del QF durante l'addestramento. Invece di addestrare modelli separati per QF specifici, la rete viene addestrata su immagini compresse con QF generati casualmente. Questo permette al modello di apprendere una rappresentazione unificata per diversi livelli di compressione, riducendo significativamente il tempo di addestramento e le risorse computazionali rispetto agli approcci multi-modello o a due stadi.

Contributi Chiave

• Framework a Stadio Singolo: HPGN è proposto come una rete unificata a stadio singolo per il miglioramento di immagini a bassa luminosità compresse, eliminando la necessità di modelli a cascata per la rimozione dell'effetto blocco e il miglioramento.
• Filtro di Informazioni Ibrido (HIF): Un modulo innovativo che sfrutta i priors di compressione (QF e QM) insieme ai priors di illuminazione per mitigare la perdita di informazioni durante l'aggiustamento della luminosità. Gli autori ne evidenziano la natura "plug-and-play", permettendone l'incorporazione in altri metodi LLIE.
• Addestramento con QF Casuale: Una strategia che consente a un singolo modello di migliorare robustamente le immagini attraverso diversi livelli di compressione, affrontando i problemi di scalabilità dei metodi precedenti che richiedono un'ottimizzazione specifica per ogni QF.

Risultati Sperimentali
Il metodo è stato valutato su quattro dataset: LOLv1, LOLv2-real, LOLv2-syn e un dataset personalizzato LOLv1-randomQF.

• Prestazioni Quantitative: Sul dataset LOLv1-randomQF, HPGN ha raggiunto prestazioni all'avanguardia, superando il secondo miglior approccio (CAPformer) fino a 0,21 dB in PSNR e ottenendo punteggi SSIM più elevati.
• Efficienza: HPGN dimostra un'efficienza superiore, richiedendo solo 2,69M di parametri, che è circa il 30,7% dei parametri utilizzati da CAPformer (8,77M).
• Scalabilità: Studi di ablazione e test di integrazione (Tabella 2) mostrano che l'aggiunta del modulo HIF a framework LLIE esistenti (MIRNetv2 e Retinexformer) ne migliora significativamente le prestazioni su compiti congiunti con un aumento minimo dei parametri.
• Qualità Visiva: Confronti qualitativi indicano che HPGN produce risultati visivi superiori con rumore ridotto e meno artefatti da compressione rispetto sia ai metodi LLIE standard che agli approcci a cascata a due stadi.

Significato e Affermazioni
Il paper afferma che HPGN affronta il divario critico nella gestione di immagini a bassa luminosità compresse unificando la rimozione degli artefatti da compressione e il miglioramento dell'illuminazione in un singolo stadio efficiente. Utilizzando esplicitamente i metadati di compressione (QF e QM) come guida, il metodo si adatta a diversi livelli di compressione senza bisogno di riaddestramento. Gli autori posizionano HPGN come una soluzione versatile che non solo supera i metodi SOTA esistenti in termini di accuratezza, ma offre anche un framework più efficiente dal punto di vista computazionale e flessibile per applicazioni reali in cui i livelli di compressione delle immagini variano. Il paper nota che, sebbene l'attenzione attuale sia sul JPEG, il concetto fondamentale di utilizzare i metadati di compressione per guidare il miglioramento è estendibile ad altri standard, sebbene siano necessarie adattazioni specifiche per scenari non JPEG o di compressione estrema.