A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

Riepilogo Tecnico: Un Approccio di Arresto Anticipato Auto-Riferito e Principiato per il Prior di Immagine Profonda

Enunciato del Problema
Il Prior di Immagine Profonda (DIP) si è affermato come un potente metodo privo di dati di addestramento per la risoluzione di Problemi di Imaging Inverso (IIP), come la rimozione del rumore, la super-risoluzione e la ricostruzione di immagini mediche. Ottimizzando una rete neurale convoluzionale (CNN) inizializzata casualmente per adattarsi a misurazioni rumorose, il DIP cattura efficacemente le statistiche delle immagini a bassa frequenza. Tuttavia, a causa della sovrapparametrizzazione della rete, il DIP è soggetto all'overfitting del rumore di misurazione o ad artefatti nello spazio nullo. Di conseguenza, determinare il punto di arresto ottimale (Arresto Anticipato, ES) è critico.

I metodi ES esistenti presentano limitazioni significative:

1. Metodi basati sulla varianza (es. WMV-ES): Questi tracciano le fluttuazioni nella varianza in corsa dell'output della rete. Sebbene efficaci in alcuni contesti, spesso rilevano l'overfitting prematuramente per immagini ad alta risoluzione o con strutture fini (es. immagini naturali testurizzate o scansioni mediche), portando a ricostruzioni instabili e lontane dal punto di arresto "oracolo" ottimale.
2. Metodi basati sul rischio (es. SURE): L'Estimatore di Rischio Non Sbagliato di Stein fornisce una stima del rischio principiale ma richiede una conoscenza precisa del livello di rumore. In contesti DIP per istanza, queste stime possono presentare un'alta varianza, portando a decisioni inaffidabili.
3. Mancanza di Dati di Validazione: La validazione standard richiede un'immagine pulita di verità fondamentale (ground-truth), non disponibile negli IIP. Sebbene ottenere due copie rumorose completamente indipendenti dell'immagine degradata permetterebbe teoricamente un rilevamento quasi ottimale dell'overfitting, ciò è generalmente non fattibile nella pratica.

Metodologia
Gli autori propongono un framework che riduce l'arresto anticipato del DIP a un problema di validazione utilizzando immagini pseudo auto-riferite. L'insight teorico fondamentale è che un pseudo-riferimento non deve essere perfettamente indipendente dai dati di adattamento; è sufficiente che il componente condiviso tra i segnali di adattamento e di validazione sia piccolo o non venga adattato preferenzialmente prima del rumore residuo.

Il paper introduce tre algoritmi specifici basati su questo principio, adattati a diversi tipi di immagini e modelli di rumore:

1. Riferimento di Similarità tra Canali ES (CSR-ES) per Immagini RGB:

   • Meccanismo: Sfrutta il fatto che i canali RGB condividono informazioni strutturali ma contengono rumore parzialmente decorrelato.
   • Procedura: Il metodo identifica la coppia di canali rumorosi $(i, j)$ con la distanza minima (massima similarità). Addestra il DIP sull'immagine RGB completa ma utilizza la coerenza tra canali (adattamento del canale $i$ contro il canale di riferimento $j$) come criterio di arresto.
   • Razionale: Questo riduce il bias incrociato tra canali puliti garantendo che il rumore specifico del canale rimanga meno correlato con il canale adattato.

2. Riferimento a Maschera ES (MR-ES) per Immagini in Scala di Grigi:

   • Meccanismo: Costruisce un pseudo-riferimento trattenendo un piccolo sottoinsieme di pixel (es. il 2% dei pixel) tramite una maschera ad alta ritenzione $M$.
   • Procedura: Il DIP viene addestrato utilizzando una perdita mascherata $\|M \odot (f_\theta(z) - y)\|^2$, escludendo esplicitamente i pixel trattenuti dall'ottimizzazione. Il criterio di arresto è l'errore sui pixel trattenuti: $\|H \odot (\hat{x}_t - y)\|^2$, dove $H = 1-M$.
   • Razionale: Poiché i pixel trattenuti sono esclusi dalla perdita di addestramento, il rumore in queste posizioni è indipendente dalla traiettoria adattata, fornendo un segnale di validazione valido.

3. Riferimento a Canale Aumentato ES (ACR-ES) per Rumore Flessibile/Difficile:

   • Meccanismo: Aumenta lo spazio di output della rete DIP per gestire casi in cui semplici maschere o divisioni di canali sono inaffidabili (es. rumore di Poisson dipendente dal segnale).
   • Procedura: Vengono generate due pseudo-copie dell'immagine rumorosa: $y^{(1)} = y + \zeta_1$ e $y^{(2)} = y + \zeta_2$, dove $\zeta_1, \zeta_2$ sono perturbazioni ausiliarie indipendenti. Una rete DIP a 2C canali viene addestrata per adattarsi a $Y = \text{concat}(y, y^{(1)})$. I canali principali ricostruiscono l'immagine, mentre i canali ausiliari sono monitorati rispetto alla copia pseudo indipendente $y^{(2)}$.
   • Metrica di Arresto: Invece dell'MSE grezzo, l'ACR-ES utilizza un punteggio di bias di frequenza (il secondo momento dello spettro del residuo). Questo punteggio raggiunge il picco quando la rete passa dal recupero dei dettagli strutturali all'adattamento del rumore, rendendolo più sensibile al bias spettrale del DIP.

Contributi Teorici
Il paper fornisce una giustificazione teorica per questi approcci:

• Validazione a Singolo Riferimento: Dimostra che se fosse disponibile un riferimento rumoroso indipendente, la perdita di validazione si concentrerebbe attorno all'Errore Quadratico Medio (MSE) dell'immagine pulita più una costante, permettendo un arresto quasi-oracolo.
• Analisi della Pseudo-Validazione: Dimostra che anche con un componente condiviso $s$ tra adattamento e validazione, se l'energia condivisa è una piccola frazione della varianza non condivisa, l'MSE eccessivo rispetto all'oracolo è quadraticamente più stretto del limite nel caso peggiore.
• Generalizzazione: Estende la teoria della validazione ai problemi inversi lineari generali ($y = A(x) + \eta$) e stabilisce le condizioni in cui la validazione nel dominio della misurazione si trasferisce al rischio nel dominio dell'immagine.

Risultati Sperimentali
Gli autori hanno valutato i loro metodi rispetto a baseline (WMV-ES e SURE-ES) nel ripristino di immagini naturali (Set14, CBSD68, Urban100, ecc.) e nella ricostruzione di immagini mediche (MRI, CT, PD, T2) sotto rumore Gaussiano, Poisson e Impulsivo.

• Prestazioni: I metodi proposti (CSR-ES, MR-ES, ACR-ES) hanno raggiunto costantemente punti di arresto molto più vicini all'oracolo (l'iterazione che massimizza il PSNR) rispetto ai metodi esistenti.
  • Per le immagini naturali, CSR-ES e ACR-ES hanno ridotto significativamente il divario PSNR rispetto all'oracolo (ad esempio, da ~1.0 dB a ~0.1–0.2 dB in molti casi).
  • Per le immagini mediche, MR-ES e ACR-ES hanno superato WMV-ES e SURE-ES, specialmente in scenari di rumore Poisson difficili dove WMV-ES si fermava spesso prematuramente.
• Robustezza: I metodi non richiedevano stime accurate del livello di rumore. ACR-ES ha mostrato robustezza rispetto alle variazioni nell'entità del rumore ausiliario e a tipi di rumore non corrispondenti.
• Generalizzazione: Il principio di arresto è stato esteso con successo alle attività di super-risoluzione e inpainting, dove i metodi basati sulla varianza non sono riusciti ad allinearsi alla regione di arresto dell'oracolo.

Significato e Affermazioni
Il paper afferma che l'arresto anticipato per il DIP può essere efficacemente ridotto a un problema di validazione risolvibile senza verità fondamentale pulita o stime precise del rumore. Costruendo immagini pseudo auto-riferite che decorrelano sufficientemente il segnale di validazione dal processo di adattamento, gli autori forniscono un'alternativa principiale al monitoraggio euristico della varianza.

Il significato risiede in:

1. Approccio Principiato: Superare il monitoraggio euristico della varianza per abbracciare un framework basato sulla validazione supportato da disuguaglianze di concentrazione.
2. Applicabilità Pratica: Offrire algoritmi specifici e adattati al compito (CSR, MR, ACR) che funzionano attraverso diversi IIP (rimozione del rumore, super-risoluzione, inpainting) e tipi di rumore senza richiedere dati di addestramento esterni o sintonizzazione del livello di rumore.
3. Affidabilità: Dimostrare che questi metodi selezionano costantemente iterazioni più vicine alla qualità di ricostruzione ottimale rispetto alle attuali tecniche ES all'avanguardia, mitigando così il problema dell'overfitting intrinseco nelle reti DIP sovrapparametrizzate.