Technische Samenvatting: Het versterken van volledig convolutionele Generative Adversarial Networks voor beeld-superresolutie met behulp van divergentie-maten

Probleemstelling

Beeld-superresolutie (SR) streeft naar het reconstrueren van een hoog-resolutie (HR) beeld uit een laag-resolutie (LR) invoer. Dit is een slecht gestelbaar probleem omdat de initiële LR-transformatie doorgaans niet-inverteerbaar en informatieverlieslatend is. Terwijl klassieke interpolatiemethoden falen in het genereren van bewonderenswaardige SR vanwege hun afhankelijkheid van lokale informatie, en diepe Convolutionele Neurale Netwerken (CNN's) worstelen met generaliseerbaarheid en vervorming, hebben Generative Adversarial Networks (GAN's) een doorbraak geboden. Echter, bestaande GAN-gebaseerde SR-methoden lijden vaak aan het verlies van fijne details, de introductie van artefacten en mode collapse, met name wanneer ze getraind worden op kleinere datasets. Bovendien vertrouwen veel benaderingen op vooraf getrainde netwerken voor perceptuele loss, wat bias kan introduceren, of falen in het expliciet modelleren van de distributionele relatie tussen LR- en SR-inputs.

Methodologie: De SuRGe Architectuur

De auteurs stellen SuRGe (Super-Resolution Generator) voor, een volledig convolutionele GAN-gebaseerde architectuur die is ontworpen om deze beperkingen aan te pakken via drie primaire mechanismen: hiërarchische feature-mixing, nieuwe divergentie-gebaseerde verliesfuncties en robuuste trainingsstrategieën.

1. Generator Architectuur ($G$)

In tegen tegenover de standaard benaderingen die een 4x up-scaling in één stap aan het einde van het netwerk uitvoeren, gebruikt SuRGe een twee-staps up-scaling strategie (2x gevolgd door 2x) om abrupte verstoringen in de feature-ruimte te mitigeren.

• Hiërarchische Feature Extractie: De generator is verdeeld in een linker- en rechterhelft. De linkerhelft extraheert features via een initiële convolutieblok ($C_0$) en een repetitief residueel generatorblok ($R_0$).
• Adaptieve Feature Mixing: Om lage-niveau features (van $C_0$) en hoge-niveau features (van $R_0$) te combineren, introduceert SuRGe leerbare mixing modules ($F_0$ en $F_1$). Deze modules voeren een convexe combinatie uit van features uit verschillende dieptes van het netwerk met behulp van leerbare gewichten die worden beperkt door een Softmax-activatie. Dit stelt het netwerk in staat om adaptief de meest nuttige features te selecteren voor reconstructie.
• Skip Connections: De architectuur maakt gebruik van skip connections om lage-niveau features (bijv. kleuren, texturen) door het netwerk te propageren, wat ervoor zorgt dat minuscule details na de up-scaling stappen worden hersteld.
• Up-scaling Mechanisme: In plaats van PixelShuffle of getransponeerde convoluties, die checkerboard-artefacten kunnen introduceren, gebruikt SuRGe nearest-neighbor interpolatie voor up-scaling, gevolgd door stabilisatie-convoluties.

2. Discriminator Architectuur ($D$)

De discriminator volgt een structuur die vergelijkbaar is met de generator om nauwe embeddings in de geleerde feature-ruimte te waarborgen, maar bevat specifieke modificaties:

• Repetitieve Residuele Blokken: Het gebruikt residuele blokken met inter-sub-blok skip connections.
• Activatie en Normalisatie: Het gebruikt LeakyReLU om ijle gradiënten te voorkomen en Pixel Normalization (in plaats van Batch Normalization) om kwaliteitsproblemen te vermijden en te voldoen aan WGAN-GP restricties.
• Progressieve Kernel-groottes: Het aantal filters en kernel-groottes neemt geleidelijk toe over de blokken heen om de balans tussen lage-niveau en hoge-niveau informatie capture te handhaven en overfitting te voorkomen.

3. Verliesfuncties

SuRGe introduceert een nieuwe combinatie van verliesfuncties om de generator en discriminator te leiden:

• Generator Verlies ($L_G$):
  • Adversarial Loss ($L_a$): Standaard GAN-verlies om echt HR te onderscheiden van gegenereerde SR.
  • Jensen-Shannon (JS) Divergentie ($L_{JS}$): Minimaliseert expliciet de ongelijkheid tussen de distributies van de gegenereerde SR en de HR grondwaarheid ($p_{G(x)}$ en $p_y$).
  • Gromov-Wasserstein (GW) Verlies ($L_{GW}$): Een divergentie-maat tussen metriek-ruimtes van potentieel verschillende dimensies. Dit wordt gebruikt om de discrepantie tussen de LR-inputdistributie ($p_x$) en de SR-outputdistributie ($p_{G(x)}$) te minimaliseren, wat structurele gelijkenis afdwingt, zelfs wanneer dimensies verschillen.
  • Dynamische Weging: In plaats van statische gewichten, worden de drie verliescomponenten gecombineerd met behulp van een dynamisch berekende convexe combinatie op basis van Softmax. Dit stelt het model in staat om adaptief de focus van elk verlies tijdens de training aan te passen.
• Discriminator Verlies ($L_D$):
  • Wasserstein Loss met Gradient Penalty (WGAN-GP): Gebruikt om de discriminator te trainen om mode collapse te voorkomen en de generatiekwaliteit te verbeteren zonder de complexiteit van weight clipping.

Belangrijkste Bijdragen

Het artikel claimt de volgende primaire bijdragen:

1. Eerste toepassing van GW in GAN-SR: SuRGe wordt gepresenteerd als het eerste superresolutie-model dat de Gromov-Wasserstein (GW) divergentie gebruikt om de leerprocessen van de generator aan te drijven, waarbij de relatie tussen LR- en SR-distributies direct wordt gemodelleerd.
2. Divergentie-gebaseerde Training: Door weg te bewegen van pre-trained model-gebiaste perceptuele gelijkenis, wordt de generator getraind met JS-divergentie (tussen SR en HR) en GW-divergentie (tussen LR en SR), naast de adversarial loss.
3. Adaptieve Feature Mixing: De introductie van een generator die efficiënt gebruikmaakt van skip connections en leerbare mixing modules ($F_0, F_1$) om semantische informatie van verschillende feature-representatieniveaus te verzamelen en adaptief te combineren.
4. Robuuste Architectuur: Het gebruik van nearest-neighbor up-scaling en specifieke normalisatiestrategieën om artefacten en mode collapse te verminderen.

Experimentele Resultaten

De effectiviteit van SuRGe werd geëvalueerd op 10 benchmark-datasets tegenover 28 state-of-the-art concurrenten (inclusief CNN, GAN en Transformer-gebaseerde methoden).

• Standaard Benchmarks: Op Set5, Set14, BSD100 en Urban100 vertoonde SuRGe superieure prestaties. Gemiddeld verbeterde het de PSNR en SSIM met respectievelijk 4,26% en 5,72% op de Set14, BSD100 en Urban100 datasets vergeleken met de beste bestaande methoden.
• Complexe Benchmarks: Op zes aanvullende complexe datasets (Kitti2012, Kitti2015, Middlebury, PIRM, OST300, MANGA109) presteerde SuRGe gemiddeld 17,59% beter dan de state-of-the-art in termen van PSNR.
• Ablatie Studies: Experimenten bevestigden dat de progressieve toevoeging van componenten (ResNet-gebaseerde discriminator, incrementele kernel-groottes, JS/GW-verliezen en dynamische weging) leidt tot consistente prestatiewinsten.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat SuRGe afbeeldingen produceert met fijnere texturen, betere kleurgetrouwheid en meer complexe details vergeleken met SRGAN, BSRGAN, SWIN-IR en LTE, terwijl het de overmatige ruis of vervorming die zichtbaar is bij ESRGAN-varianten vermijdt.

Betekenis en Claims

Het artikel stelt dat SuRGe een significante vooruitgang biedt in het veld van beeld-superresolutie door:

• Authentieke SR-capaciteiten: De integratie van de LR-SR relatie via GW-divergentie geeft het model "authentieke superresolutie-capaciteiten", wat verder gaat dan eenvoudige pixelmapping naar distributionele uitlijning.
• Efficiëntie: Ondanks zijn complexe verlieslandschap en feature-mixing, behoudt SuRGe een lage inferentietijd en een kleinere modelgrootte vergeleken met typische GAN-gebaseerde SR-methoden.
• Theoretische Nieuwigheid: Het vertegenwoordigt de eerste exploratie van expliciete divergentie-maten (specifiek GW) in de context van GAN-gebaseerde superresolutie, wat een nieuw theoretisch kader biedt voor het uitlijnen van LR- en SR-distributies.
• Prestaties: Het model bereikt state-of-the-art resultaten over diverse datasets, wat aantoont dat een volledig convolutionele benadering met zorg ontworpen divergentie-maten zowel de CNN- als de complexe Transformer-gebaseerde architecturen kan overtreffen in termen van zowel kwantitatieve metrieken als visuele kwaliteit.