The re-identification generative adversarial network for image super-resolution

Sintesi Tecnica: La Rete Generativa Avversaria di Re-identificazione per la Super-Risoluzione delle Immagini (SOAGAN)

Problema
La Super-Risoluzione di Immagini Singole (SISR) mira a ricostruire un'immagine ad alta risoluzione (HR) partendo da un input a bassa risoluzione (LR) fornito. Sebbene i metodi basati sul deep learning abbiano compiuto progressi significativi, una sfida persistente rimane: le immagini ricostruite dai modelli esistenti spesso divergono dalle abitudini della percezione visiva umana. I metodi tradizionali basati sull'interpolazione o su specifici priori spesso causano la perdita di informazioni ad alta frequenza e una scarsa qualità soggettiva. Al contrario, sebbene le Reti Generative Avversarie (GAN) come SRGAN e ESRGAN migliorino la naturalezza visiva, i loro discriminatori tipicamente identificano l'autenticità di un'immagine globale. Questo limite impedisce l'identificazione efficace dei dettagli locali a livello di pixel e non tiene conto della correlazione delle caratteristiche intermedie all'interno della rete, portando a immagini ricostruite che possono comunque mancare di texture realistiche o contenere artefatti.

Metodologia
Gli autori propongono una Second-Order Attention Generative Adversarial Network (SOAGAN) progettata per affrontare queste limitazioni attraverso un meccanismo di "re-identificazione". Il framework è composto da due componenti primarie:

1. Generatore: Il generatore segue l'architettura di ESRGAN, utilizzando una struttura simile a una U-Net composta da blocchi densi Residual-in-Residual (RRDB) in cascata. Estrae caratteristiche superficiali (shallow features), elabora le caratteristiche profonde attraverso la cascata RRDB ed impiega la convoluzione sub-pixel per l'upsampling al fine di produrre l'immagine super-risolta.
2. Discriminatore: L'innovazione principale risiede nel discriminatore, che utilizza un'architettura U-Net con connessioni skip. A differenza dei discriminatori standard che restituiscono una singola probabilità globale, questo discriminatore U-Net esegue una valutazione in due fasi:
   • Livello Globale: Il percorso di codifica (downsampling) valuta l'autenticità relativa globale dell'immagine.
   • Livello di Pixel: Il percorso di decodifica (upsampling) re-identifica l'autenticità relativa a livello di pixel.
   • Second-Order Attention: Integrato nelle connessioni skip si trova un modulo di Covariance-based Second-Order Channel Attention (SOCA). Invece di utilizzare il global average pooling (come in RCAN), questo modulo impiega il global covariance pooling per calcolare la covarianza delle caratteristiche. Ciò consente alla rete di investigare le distribuzioni delle caratteristiche e catturare le correlazioni tra le caratteristiche intermedie, potenziando la capacità del discriminatore di identificare le caratteristiche profonde e l'autenticità.

Funzioni di Perdita (Loss Functions)
Per ottimizzare la rete, SOAGAN impiega una funzione di perdita composita:

• Perdita di Contenuto $L_1$: Garantisce la somiglianza a livello di pixel tra le immagini generate e quelle target.
• Perdita Percettiva ($L_{perc}$): Calcolata utilizzando le caratteristiche di una rete VGG pre-addestrata per vincolare l'immagine nello spazio delle caratteristiche.
• Perdita Avversaria Relativa: Basata su RaGAN, questa perdita viene applicata sia nella fase di codifica che in quella di decodifica. Valuta l'autenticità relativa di un'immagine reale ($x_r$) rispetto a un'immagine falsa generata ($x_f$). La perdita totale per il generatore ($L_{Gt}$) combina questi componenti, consentendo un feedback a livello di pixel per raffinare i parametri del generatore.

Contributi Chiave

• Discriminatore Second-Order Attention: La proposta di un discriminatore basato su U-Net che incorpora un meccanismo di attenzione di secondo ordine basato sulla covarianza. Questo design estrae le caratteristiche profonde in modo più efficace analizzando le correlazioni delle caratteristiche, migliorando così la capacità del discriminatore di distinguere l'autotenticità.
• Meccanismo di Re-identificazione: Il framework introduce un ciclo di feedback a due stadi in cui il discriminatore fornisce non solo un feedback di realismo relativo globale dell'immagine, ma anche un feedback di realismo relativo a livello di pixel. Questa "re-identificazione" dei dettagli locali guida il generatore nel ripristino di texture più realistiche.
• Feedback a Livello di Pixel: Utilizzando la fase di decodifica della U-Net per la discriminazione pixel-wise, il modello aggiorna i parametri in base all'autenticità relativa locale, affrontando l'incapacità delle GAN standard di identificare efficacemente i dettagli locali a livello di pixel.

Risultati Sperimentali
Gli autori hanno valutato SOAGAN su dataset standard (Set5, Set14, BSD100, Urban100, Manga109) utilizzando un fattore di scala pari a 4.

• Metriche Obiettive: Il metodo ha dimostrato punteggi competitivi di PSNR e SSIM. Sebbene gli algoritmi basati su PSNR (come EDSR e SRResNet) abbiano ottenuto punteggi numerici più elevati, SOAGAN ha superato i competitor basati su GAN (SRGAN, ESRGAN, BSRGAN) in diverse metriche, indicando una capacità di ricostruire immagini accurate.
• Qualità Soggettiva: Lo studio enfatizza l'Indice Percettivo (PI), che si allinea maggiormente alla qualità visiva umana. SOAGAN ha ottenuto punteggi PI inferiori (migliori) rispetto a ESRGAN e altri baseline, suggerendo una superiore realizzazione visiva.
• Confronti Visivi: L'analisi qualitativa ha mostrato che SOGAN recupera più texture e dettagli senza l'eccessivo smoothing visto nei metodi guidati da PSNR o l'introduzione di artefatti estranei (es. texture di barbe finte o rumore) osservati in ESRGAN e FASRGAN.
• Studi di Ablazione: Gli esperimenti che confrontano il proposto discriminatore SOCA+UNet con una UNet standard e una UNet con attenzione di canale di primo ordine (CAL) hanno confermato che il meccanismo di attenzione di secondo ordine basato sulla covarianza migliora significativamente la ricostruzione di dettagli di texture precisi e riduce l'introduzione di texture estranee.

Significatività
Il paper afferma che SOAGAN colma efficacemente il divario tra le metriche oggettive e la percezione visiva umana soggettiva. Integrando un meccanismo di re-identificazione con l'attenzione di secondo ordine, il metodo potenzia significativamente la qualità visiva delle immagini ricostruite, rendendole più naturali, con sfumature di texture e più realistiche. Gli autori concludono che, sebbene i risultati attuali siano promettenti, l'esplorazione di modelli di attenzione ancora più efficaci rimane una direzione valida per migliorare ulteriormente sia la qualità visiva che l'accuratezza della ricostruzione.