Technische Samenvatting: SRGAN-CKAN

Probleemstelling

Single-Image Super-Resolution (SISR) is een slecht gesteld invers probleem dat gericht is op het reconstrueren van een High-Resolution (HR) afbeelding vanuit een enkele Low-Resolution (LR) observatie. De uitdaging ligt in het herstellen van hoogfrequente details die tijdens acquisitie of transmissie ernstig zijn aangetast. Hoewel recente vooruitgang met transformer-gebaseerde architecturen en diffusiemodellen de modellering van globale context en de perceptuele kwaliteit heeft verbeterd, brengen deze vaak aanzienlijke computatiecomplexiteit met zich mee. Daarentegen vertrouwen traditionele Convolutional Neural Networks (CNN's) op lineaire lokale afbeeldingen gevolgd door puntsgewijze niet-lineariteiten, wat hun expressieve capaciteit beperkt voor het modelleren van complexe lokale structuren en hoogfrequente texturen zonder de modeldiepte of -breedte te vergroten.

Methodologie

Het artikel stelt SRGAN-CKAN voor, een hybride super-resolution raamwerk dat Convolutional Kolmogorov–Arnold Networks (CKAN) integreert in het adversariële leerproces van SRGAN. De kerninnovatie is de herformulering van de standaard convolutieoperator als een niet-lineaire, op patches gebaseerde transformatie.

De CKAN-operator

In plaats van convolutie te behandelen als een lineaire projectie van lokale patches ($y_{i,j} = w^\top p_\ell$), verwerkt de CKAN-operator elke lokale patchvector $p_\ell$ via een leerbare niet-lineaire afbeelding $g(\cdot)$ die wordt geïmplementeerd middels een Kolmogorov–Arnold Network (KAN).

• Mechanisme: De invoerfeaturemap wordt uitgevouwen tot overlappende lokale patches. Elke patchvector wordt verwerkt door een KAN-laag bestaande uit twee componenten:
  1. Een gefactoriseerde lineaire transformatie met leerbare coëfficiënten en vaste basismatrices.
  2. Een op splines gebaseerde niet-lineaire transformatie waarbij elke invoerdimensie wordt benaderd met leerbare spline-basisfuncties ($\phi(x) = \sum \alpha_m B_m(x)$).
• Integratie: Deze componenten worden geaggregeerd, genormaliseerd en opnieuw omgevormd tot de ruimtelijke featuremap. Hierdoor kan het model rijkere lokale afhankelijkheden en complexe, context-afhankelijke relaties tussen naburige pixels vastleggen zonder de architecturale complexiteit aanzienlijk te vergroten.

Architectuur en Training

De SRGAN-CKAN-architectuur behoudt de standaard SRGAN-structuur:

• Generator: Transformeert LR-invoeren naar HR-schattingen met behulp van residublokken waarbij standaard convoluties zijn vervangen door CKAN-operators. Het bevat initiële feature-extractie, een residustam en upsampling-fasen.
• Discriminator: Evalueert de perceptuele realisme van gegenereerde afbeeldingen ten opzichte van echte HR-doelen met behulp van hiërarchische textuuranalyse.
• Trainingsprotocol: Het model volgt een tweefasig trainingsproces onder beperkte middelen (NVIDIA RTX 4060, 8GB VRAM, batchgrootte 1):
  1. Supervised Pretraining (SRResNet-fase): Geoptimaliseerd met behulp van contentverlies om structurele consistentie te waarborgen.
  2. Adversariële Fine-tuning (SRGAN-fase): Optimaliseert gezamenlijk de generator en discriminator met een combinatie van content-, pixel- en adversariële verliezen om de perceptuele kwaliteit te verbeteren.

Belangrijkste Bijdragen

1. Herformulering van Convolutie: De auteurs introduceren een patch-gebaseerde functionele representatie van lokale afbeeldingstransformaties binnen het SRGAN-raamwerk met behulp van een door Kolmogorov–Arnold geïnspireerd projectiemechanisme (CKAN).
2. Implementatie van een Volledige Pipeline: Het werk ontwerpt en implementeert een volledige trainingspipeline, inclusief supervised pretraining en adversariële fine-tuning, specifiek geoptimaliseerd voor minimale hardwarebronnen.
3. Gereguleerde Experimentele Analyse: De studie biedt een gecontroleerde vergelijking die aantoont dat het voorgestelde model de perceptuele kwaliteit verbetert terwijl de reconstructiegetrouwheid behouden blijft, waardoor een gunstige afweging wordt bereikt tussen op vervorming gebaseerde (PSNR, MS-SSIM) en perceptuele (LPIPS) metrieken.

Experimentele Resultaten

Het model werd geëvalueerd op het DIV2K-dataset (een subset van 1600 afbeeldingen) met een $\times4$ upscaling-factor.

• Getrouwheid versus Perceptie: De overgang van de pretraining-fase (SRResNet-CKAN) naar de adversariële fase (SRGAN-CKAN) resulteerde in een minimale degradatie van PSNR (afname van 0,055 dB) en MS-SSIM (afname van 0,0022), terwijl LPIPS aanzienlijk verbeterde (van 0,2124 naar 0,1947).
• Vergelijking met Baselines: In vergelijking met een conventionele convolutie-SRGAN-baseline behaalde SRGAN-CKAN een hogere PSNR (24,90 dB versus 20,07 dB) en MS-SSIM, samen met een substantiële reductie van LPIPS (0,1947 versus 0,3226).
• Rendement van Middelen: Deze resultaten werden bereikt onder beperkte computatie-instellingen (één GPU, beperkte batchgrootte), in contrast met state-of-the-art methoden die vaak high-end hardware en uitgebreide trainingsiteraties vereisen.

Betekenis en Claims

Het artikel beweert dat SRGAN-CKAN een complementaire richting introduceert ten opzichte van bestaande benaderingen door de representatieve kracht van lokale transformaties te versterken in plaats van te vertrouwen op globaal intensieve architecturen. Door lineaire lokale afbeeldingen te vervangen door op splines gebaseerde functionele representaties, maakt de methode expressieve modellering van complexe lokale structuren en hoogfrequente texturen mogelijk met minimale hardwarebronnen.

De auteurs benadrukken dat deze aanpak een efficiënt en schaalbaar alternatief biedt voor transformer-gebaseerde of diffusiemodellen, waarbij de inherente afweging tussen reconstructiegetrouwheid en perceptueel realisme in adversariële super-resolution succesvol in evenwicht wordt gebracht. Het werk onderstreept het potentieel van het integreren van functionele representaties (specifiek KAN's) in deep learning-architecturen voor taken van afbeeldingsherstel.