PixIE: Prompted Pixel-Space Low-Light Image Enhancement

Riepilogo Tecnico: PixIE – Miglioramento delle Immagini a Bassa Luminosità nello Spazio dei Pixel con Prompt

Enunciato del Problema
Il miglioramento delle immagini a bassa luminosità (LLIE) è una sfida complessa che coinvolge i compiti congiunti di rimozione del rumore, ripristino del contrasto e recupero dei dettagli semantici. La fotografia a bassa luminosità nel mondo reale soffre di rumore severo e dipendente dal segnale, texture collassate e colori distorti. Sebbene i recenti metodi di deep learning (CNN, Transformer, Mamba e modelli Diffusion) abbiano fatto avanzare il campo, sono spesso vincolati dalla distribuzione dei loro dati di addestramento. Nelle regioni gravemente sottoesposte, il rumore e la texture diventano indistinguibili, portando le mappature apprese a produrre un eccessivo livellamento (over-smoothing), una deriva dei colori o miglioramenti incoerenti attraverso regioni semanticamente distinte. Inoltre, gli approcci esistenti che utilizzano modelli fondazionali (come DINO, CLIP o SAM) impiegano tipicamente condizionamenti grezzi, globali o per patch. Questo crea un "divario semantico-spaziale", fallendo nell'allineare la guida semantica di alto livello con le operazioni a livello di pixel necessarie per il recupero fedele dei dettagli, risultando spesso in incoerenze tra regioni e strutture locali eccessivamente livellate.

Metodologia
Gli autori propongono PixIE, un framework LLIE end-to-end nello spazio dei pixel, alimentato in avanti e semanticamente guidato da un modello fondazionale visivo (DINOv3). A differenza degli approcci nello spazio latente che comprimono le immagini, PixIE opera direttamente nello spazio dei pixel per preservare i dettagli ad alta frequenza. L'architettura è composta da tre componenti principali:

1. Flusso di Rimozione del Rumore Multi-Scala:
   Prima del prompting semantico, l'immagine in ingresso passa attraverso un flusso di rimozione del rumore multi-scala privo di semantica. Questo modulo utilizza blocchi Transformer (stile Restormer) per sopprimere il rumore pesante e preservare le strutture grezze. Le caratteristiche vengono propagate dalle scale fini a quelle grezze. Crucialmente, questo flusso rimane "privo di semantica" per impedire che il rumore severo corrompa i priori semantici; il condizionamento DINO viene introdotto solo dopo questa fase iniziale di rimozione del rumore.

2. Incorporamento dei Pixel a Campo Recettivo Multipl (MRPE):
   Prima dell'iniezione semantica, il framework applica MRPE alle caratteristiche denoizzate. Questo modulo aggrega il contesto locale utilizzando convoluzioni parallele con dimensioni del kernel di 1×1, 3×3 e 5×5. Assegnando più canali ai campi recettivi più grandi (3×3 e 5×5) rispetto al ramo puntiforme (1×1), MRPE crea rappresentazioni consapevoli del vicinato. Questo affronta la limitazione degli incorporamenti puntiformi standard, che mancano di campi recettivi spaziali e faticano a distinguere il segnale dal rumore dipendente dal segnale.

3. Blocco dei Pixel Guidato da DINO (DPPB):
   Questo è il modulo centrale di integrazione semantica. Invece di utilizzare una concatenazione grezza per patch, DPPB inietta caratteristiche intermedie da un encoder DINOv3 congelato (specificamente i livelli 2, 5, 8 e 11) nella pipeline nello spazio dei pixel.

   • Meccanismo: I token DINO vengono ridimensionati per corrispondere alla griglia delle caratteristiche e processati da un MLP leggero per prevedere i parametri di modulazione AdaLN-Zero.
   • Continuità Spaziale: Questi parametri vengono interpolati tramite interpolazione bilineare e una convoluzione depth-wise per creare un campo di modulazione continuo spazialmente e a piena risoluzione. Questo elimina i confini rigidi delle patch e garantisce una guida semantica pixel-per-pixel fluida.
   • Modulazione: I parametri previsti ($\alpha, \beta, \gamma$) modulano i sottolivelli di attenzione e feed-forward del blocco residuo, abilitando un miglioramento coerente spazialmente.

4. Compattazione Spazio-Canale (SCC):
   Per rendere l'attenzione nello spazio dei pixel computazionalmente fattibile attraverso design multi-scala (dove le dimensioni dei canali aumentano), SCC viene applicata al ramo di attenzione. Essa ripiega la mappa delle caratteristiche spaziali in patch non sovrapposte e comprime la dimensione del canale prima di applicare l'attenzione Multi-Dconv Head Traspuesta (MDTA). Questo riduce il costo dell'attenzione da $O(HW \cdot C^2)$ a $O(H_p W_p \cdot D_{attn}^2)$, rendendo il costo indipendente dall'aumento della larghezza del canale alle scale più grezze.

Contributi Chiave

• Framework PixIE: Il primo metodo a iniettare direttamente le semantica dei modelli fondazionali in una pipeline LLIE nello spazio dei pixel tramite modulazione per-pixel continua spazialmente, abilitando un vero miglioramento da pixel a semantica.
• Blocco dei Pixel Guidato da DINO (DPPB): Un blocco residuo innovativo che converte i token di patch DINO in un campo di modulazione fluido e a piena risoluzione, evitando le cuciture della griglia e le discontinuità associate al condizionamento per patch.
• Compattazione Spazio-Canale (SCC): Una strategia di efficienza che riduce congiuntamente le griglie di token spaziali e le dimensioni dei canali, permettendo all'attenzione nello spazio dei pixel di rimanere economica nelle architetture multi-scala.
• Incorporamento dei Pixel a Campo Recettivo Multipl (MRPE): Un modulo leggero che aggrega il contesto del vicinato prima del prompting semantico, migliorando la robustezza al rumore dipendente dal segnale rispetto agli incorporamenti puntiformi.

Risultati Sperimentali
Gli esperimenti sono stati condotti su benchmark LLIE standard: LOLv1, LOLv2 (Reale e Sintetico) e il dataset su larga scala del mondo reale LSRW.

• Prestazioni Quantitative: PixIE ottiene prestazioni allo stato dell'arte su tre dei quattro dataset. Migliora il PSNR medio del 1,9% al 15,0% rispetto ai recenti metodi SOTA e riduce l'LPIPS (perdita percettiva) dell'8,5% al 44,4%. Su LOLv2-Real, ottiene un PSNR di 29,08 dB e un SSIM di 0,902.
• Generalizzazione: Su dataset non accoppiati (LIME, VV, DICM, NPE, MEF), PixIE si classifica costantemente tra i primi tre per metriche senza riferimento (NIQE e CLIP-IQA), dimostrando una forte generalizzazione a scenari reali senza ground truth.
• Analisi Qualitativa: I confronti visivi mostrano che PixIE recupera dettagli più nitidi (ad esempio testo, texture) e colori più stabili rispetto a concorrenti come RetinexFormer, WaveMamba e DiffLL. Separa efficacemente i dettagli strutturali ad alta frequenza dal rumore pesante senza l'eccessivo livellamento o la fuoriuscita di colori osservati in altri metodi.

Significato e Affermazioni
Il documento afferma che PixIE rappresenta un cambiamento significativo nel LLIE integrando con successo priori semantici di alto livello in una pipeline di ripristino nello spazio dei pixel senza sacrificare l'efficienza computazionale o la fedeltà dei dettagli. Gli autori sottolineano che il loro approccio risolve il compromesso tra coerenza semantica globale e recupero dei dettagli a livello di pixel locale. Utilizzando una modulazione continua spazialmente invece di un condizionamento grezzo per patch, PixIE evita gli artefatti di confine che affliggono i metodi esistenti guidati da modelli fondazionali. Il lavoro dimostra che separare il processo di rimozione del rumore dal raffinamento semantico e utilizzare incorporamenti consapevoli del vicinato è cruciale per gestire il rumore severo e dipendente dal segnale caratteristico della fotografia a bassa luminosità nel mondo reale.