Riepilogo Tecnico: Fortificare le Reti Generative Avversarie Completamente Convoluzionali per la Super-Risoluzione di Immagini Utilizzando Misure di Divergenza

Definizione del Problema

La Super-Risoluzione di Immagini (SR) mira a ricostruire un'immagine ad Alta Risoluzione (HR) partendo da un input a Bassa Risoluzione (LR). Questo è un problema mal posto perché la trasformazione iniziale LR è tipicamente non invertibile e con perdita di informazioni. Mentre i metodi di interpolazione classica non riescono a generare una SR soddisfacente a causa della loro dipendenza da informazioni locali, e le reti neurali convoluzionali (CNN) profonde faticano con la generalizzabilità e la distorsione, le Reti Generative Avversarie (GAN) hanno offerto una svolta. Tuttavia, i metodi SR basati su GAN spesso soffrono della perdita di dettagli fini, dell'introduzione di artefatti e del collasso del modo (mode collapse), in particolare quando addestrati su dataset più piccoli. Inoltre, molti approcci si affidano a reti pre-addestrate per la perdita percettiva, il che può introdurre bias, o non riescono a modellare esplicitamente la relazione distributiva tra gli input LR e SR.

Metodologia: L'Architettura SuRGe

Gli autori propongono SuRGe (Super-Resolution Generator), un'architettura GAN completamente convoluzionale progettata per affrontare questi limiti attraverso tre meccanismi primari: miscelazione gerarchica delle caratteristiche, nuove funzioni di perdita basate sulla divergenza e strategie di addestramento robuste.

1. Architettura del Generatore ($G$)

A differenza degli approcci standard che eseguono un up-scaling di 4x in un unico passaggio alla fine della rete, SuRGe impiega una strategia di up-scaling in due fasi (2x seguito da 2x) per mitigare le distorsioni brusche dello spazio delle caratteristiche.

• Estrazione Gerarchica delle Caratteristiche: Il generatore è diviso in metà sinistra e destra. La metà sinistra estrae le caratteristiche attraverso un blocco di convoluzione iniziale ($C_0$) e un blocco generatore residuo ripetitivo ($R_0$).
• Miscelazione Adattiva delle Caratteristiche: Per combinare le caratteristiche di basso livello (da $C_0$) e quelle di alto livello (da $R_0$), SuRGe introduce moduli di miscelazione apprendibili ($F_0$ e $F_1$). Questi moduli eseguono una combinazione convessa delle caratteristiche provenienti da diverse profondità della rete utilizzando pesi apprendibili vincolati da un'attivazione Softmax. Ciò consente alla rete di selezionare adattivamente le caratteristiche più utili per la ricostruzione.
• Connessioni Skip: L'architettura utilizza connessioni skip per propagare le caratteristiche di basso livello (ad esempio, colori, texture) attraverso la rete, garantendo che i dettagli minimi vengano recuperati dopo i passaggi di up-scaling.
• Meccanismo di Up-scaling: Invece di utilizzare PixelShuffle o convoluzioni trasposte, che possono introdurre artefatti a scacchiera, SuRGe impiega l'interpolazione del vicino più prossimo (nearest-neighbor interpolation) per l'up-scaling, seguita da convoluzioni di stabilizzazione.

2. Architettura del Discriminatore ($D$)

Il discriminatore segue una struttura simile al generatore per garantire embedding vicini nello spazio delle caratteristiche appreso, ma include modifiche specifiche:

• Blocchi Residui Ripetitivi: Utilizza blocchi residui con connessioni skip inter-sotto-blocco.
• Attivazione e Normalizzazione: Impiega LeakyReLU per prevenire gradienti sparsi e la Normalizzazione dei Pixel (invece della Batch Normalization) per evitare problemi di qualità e aderire ai vincoli WGAN-GP.
• Dimensioni del Kernel Progressivo: Il numero di filtri e le dimensioni dei kernel aumentano gradualmente attraverso i bloci per bilanciare la cattura delle informazioni di basso e alto livello e prevenire l'overfitting.

3. Funzioni di Perdita

SuRGe introduce una nuova combinazione di funzioni di perdita per guidare il generatore e il discriminatore:

• Perdita del Generatore ($L_G$):
  • Perdita Avversaria ($L_a$): Standard GAN loss per distinguere la HR reale dalla SR generata.
  • Divergenza di Jensen-Shannon (JS) ($L_{JS}$): Minimizza esplicitamente la dissimilarità tra le distribuzioni della SR generata $p_{G(x)}$ e della verità fondamentale HR $p_y$.
  • Perdita di Gromov-Wasserstein (GW) ($L_{GW}$): Una misura di divergenza tra spazi metrici di potenziali dimensioni diverse. Viene utilizzata per minimizzare la discrepanza tra la distribuzione dell'input LR ($p_x$) e la distribuzione dell'output SR ($p_{G(x)}$), imponendo la somiglianza strutturale anche quando le dimensioni differiscono.
  • Ponderazione Dinamica: Inve로 di pesi statici, i tre componenti della perdita sono combinati utilizzando una combinazione convessa calcolata dinamicamente tramite Softmax. Ciò consente al modello di regolare adattivamente il focus di ogni perdita durante l'addestramento.
• Perdita del Discriminatore ($L_D$):
  • Perdita Wasserstein con Penalità del Gradiente (WGAN-GP): Utilizzata per addestrare il discriminatore a prevenire il collasso del modo e migliorare la qualità della generazione senza la complessità del clipping dei pesi.

Contributi Chiave

Il documento rivendica i seguenti contributi primari:

1. Prima Applicazione di GW in GAN-SR: SuRGe è presentato come il primo modello di super-risoluzione che utilizza la divergenza di Gromov-Wasserstein (GW) per alimentare l'apprendimento del generatore, modellando direttamente la relazione tra le distribuzioni LR e SR.
2. Addestramento Basato sulla Divergenza: Allontanandosi dalla somiglianza percettiva influenzata da modelli pre-addestrati, il generatore viene addestrato utilizzando la divergenza JS (tra SR e HR) e la divergenza GW (tra LR e SR), insieme alla perdita avversaria.
3. Miscelazione Adattiva delle Caratteristiche: L'introduzione di un generatore che impiega efficientemente connessioni skip e moduli di miscelazione apprendibili ($F_0, F_1$) per raccogliere e combinare adattivamente informazioni semantiche da diversi livelli di rappresentazione delle caratteristiche.
4. Architettura Robusta: L'uso dell'up-scaling mediante vicino più prossimo e di specifiche strategie di normalizzazione per ridurre artefatti e collasso del modo.

Risultati Sperimentali

L'efficacia di SuRGe è stata valutata su 10 dataset benchmark contro 28 contendenti allo stato dell'arte (inclusi metodi basati su CNN, GAN e Transformer).

• Benchmark Standard: Su Set5, Set14, BSD100 e Urban100, SuRGe ha dimostrato prestazioni superiori. In media, ha migliorato PSNR e SSIM rispettivamente del 4,26% e del 5,72% sui dataset Set14, BSD100 e Urban100 rispetto ai migliori metodi esistenti.
• Benchmark Complessi: Su sei dataset aggiuntivi complessi (Kitti2012, Kitti2015, Middlebury, PIRM, OST300, MANGA109), SuRGe ha superato lo stato dell'arte con una media del 17,59% in PSNR.
• Studi di Ablazione: Gli esperimenti hanno confermato che l'aggiunta progressiva di componenti (discriminatore basato su ResNet, dimensioni dei kernel incrementali, perdite JS/GW, ponderazione dinamica) porta a guadagni di prestazione costanti.
• Analisi Qualitativa: I confronti visivi mostrano che SuRGe produce immagini con texture più fini, migliore fedeltà del colore e dettagli più intricati rispetto a SRGAN, BSRGAN, SWIN-IR e LTE, evitando al contempo l'eccessivo rumore o la distorsione osservata nelle varianti di ESRGAN.

Significato e Rivendicazioni

Il documento afferma che SuRGe offre un avanzamento significativo nel campo della super-risoluzione di immagini fornendo:

• Capacità di SR Autentica: L'incorporazione della relazione LR-SR tramite la divergenza GW conferisce al modello "capacità di super-risoluzione autentiche", andando oltre la semplice mappatura dei pixel verso l'allineamento distributivo.
• Efficienza: Nonostante il complesso panorama delle perdite e la miscelazione delle caratteristiche, SuR-Ge mantiene un basso tempo di inferenza e una dimensione del modello ridotta rispetto ai tipici metodi di SR basati su GAN.
• Novità Teorica: Rappresenta la prima esplorazione di misure di divergenza esplicite (specificamente GW) nel contesto della super-risoluzione basata su GAN, fornendo un nuovo quadro teorico per l'allineamento delle distribuzioni LR e SR.
• Prestazioni: Il modello raggiunge risultati allo stato dell'arte su diversi dataset, dimostrando che un approccio completamente convoluzionale con misure di divergenza accuratamente progettate può superare sia le tradizionali CNN che le complesse architetture basate su Transformer in termini di metriche quantitative e qualità visiva.