Riepilogo Tecnico: SRGAN-CKAN

Enunciato del Problema

La Super-Risoluzione da Singola Immagine (SISR) è un problema inverso mal posto volto a ricostruire un'immagine ad Alta Risoluzione (HR) da una singola osservazione a Bassa Risoluzione (LR). La sfida risiede nel recupero di dettagli ad alta frequenza che vengono gravemente degradati durante l'acquisizione o la trasmissione. Sebbene i recenti progressi basati su architetture transformer e modelli di diffusione abbiano migliorato la modellazione del contesto globale e la qualità percettiva, essi spesso comportano una complessità computazionale significativa. Al contrario, le tradizionali Reti Neurali Convoluzionali (CNN) si basano su mappature locali lineari seguite da non linearità puntuali, il che limita la loro capacità espressiva nel modellare strutture locali complesse e texture ad alta frequenza senza aumentare la profondità o la larghezza del modello.

Metodologia

Il documento propone SRGAN-CKAN, un framework ibrido di super-risoluzione che integra le Reti di Kolmogorov–Arnold Convoluzionali (CKAN) nell'impostazione di apprendimento avversariale di SRGAN. L'innovazione centrale è la riformulazione dell'operatore convoluzionale standard come una trasformazione non lineare basata su patch.

L'Operatore CKAN

Invece di trattare la convoluzione come una proiezione lineare di patch locali ($y_{i,j} = w^\top p_\ell$), l'operatore CKAN elabora ciascun vettore di patch locale $p_\ell$ attraverso una mappatura non lineare apprendibile $g(\cdot)$ implementata tramite una Rete di Kolmogorov–Arnold (KAN).

• Meccanismo: La mappa di caratteristiche in ingresso viene scomposta in patch locali sovrapposte. Ogni vettore di patch viene elaborato da un livello KAN costituito da due componenti:
  1. Una trasformazione lineare fattorizzata che utilizza coefficienti apprendibili e matrici di base fisse.
  2. Una trasformazione non lineare basata su spline in cui ciascuna dimensione di ingresso è approssimata utilizzando funzioni di base spline apprendibili ($\phi(x) = \sum \alpha_m B_m(x)$).
• Integrazione: Queste componenti vengono aggregate, normalizzate e rimodellate nella mappa di caratteristiche spaziale. Ciò permette al modello di catturare dipendenze locali più ricche e relazioni complesse dipendenti dal contesto tra pixel vicini senza aumentare significativamente la complessità architetturale.

Architettura e Addestramento

L'architettura SRGAN-CKAN mantiene la struttura standard di SRGAN:

• Generatore: Trasforma gli input LR in stime HR utilizzando blocchi residui in cui le convoluzioni standard sono sostituite da operatori CKAN. Include un'estrazione iniziale delle caratteristiche, un tronco residuo e fasi di upsampling.
• Discriminatore: Valuta il realismo percettivo delle immagini generate rispetto ai target HR reali utilizzando un'analisi gerarchica delle texture.
• Protocollo di Addestramento: Il modello segue un processo di addestramento in due fasi sotto risorse vincolate (NVIDIA RTX 4060, 8GB VRAM, dimensione del batch 1):
  1. Pre-addestramento Supervisionato (fase SRResNet): Ottimizzato utilizzando la loss di contenuto per garantire la coerenza strutturale.
  2. Affinamento Avversario (fase SRGAN): Ottimizza congiuntamente il generatore e il discriminatore utilizzando una combinazione di loss di contenuto, pixel e avversariale per migliorare la qualità percettiva.

Contributi Chiave

1. Riformulazione della Convoluzione: Gli autori introducono una rappresentazione funzionale patch-wise delle trasformazioni locali dell'immagine all'interno del framework SRGAN utilizzando un meccanismo di proiezione ispirato a Kolmogorov–Arnold (CKAN).
2. Implementazione di una Pipeline Completa: Il lavoro progetta e implementa una pipeline di addestramento completa, inclusa la pre-addestramento supervisionato e l'affinamento avversario, specificamente ottimizzata per risorse hardware minime.
3. Analisi Sperimentale Controllata: Lo studio fornisce un confronto controllato che dimostra come il modello proposto migliori la qualità percettiva preservando la fedeltà di ricostruzione, raggiungendo un compromesso favorevole tra metriche basate sulla distorsione (PSNR, MS-SSIM) e metriche percettive (LPIPS).

Risultati Sperimentali

Il modello è stato valutato sul dataset DIV2K (sottoinsieme di 1600 immagini) con un fattore di upscaling $\times4$.

• Fedeltà vs. Percezione: Il passaggio dalla fase di pre-addestramento (SRResNet-CKAN) alla fase avversariale (SRGAN-CKAN) ha comportato un degrado minimo del PSNR (diminuzione di 0,055 dB) e dell'MS-SSIM (diminuzione di 0,0022), migliorando significativamente l'LPIPS (da 0,2124 a 0,1947).
• Confronto con i Baseline: Rispetto a un baseline SRGAN convoluzionale convenzionale, SRGAN-CKAN ha ottenuto un PSNR più elevato (24,90 dB contro 20,07 dB) e un MS-SSIM superiore, insieme a una sostanziale riduzione dell'LPIPS (0,1947 contro 0,3226).
• Efficienza delle Risorse: Questi risultati sono stati ottenuti in ambienti computazionali vincolati (singola GPU, dimensione del batch limitata), in contrasto con i metodi all'avanguardia che spesso richiedono hardware di fascia alta e estese iterazioni di addestramento.

Significato e Affermazioni

Il documento afferma che SRGAN-CKAN introduce una direzione complementare agli approcci esistenti potenziando il potere rappresentativo delle trasformazioni locali piuttosto che affidarsi ad architetture globalmente intensive. Sostituendo le mappature locali lineari con rappresentazioni funzionali basate su spline, il metodo consente una modellazione espressiva di strutture locali complesse e texture ad alta frequenza utilizzando risorse hardware minime.

Gli autori sottolineano che questo approccio fornisce un'alternativa efficiente e scalabile ai modelli basati su transformer o diffusion, bilanciando con successo il compromesso intrinseco tra fedeltà di ricostruzione e realismo percettivo nella super-risoluzione avversariale. Il lavoro evidenzia il potenziale dell'integrazione di rappresentazioni funzionali (in particolare KAN) nelle architetture di deep learning per compiti di ripristino delle immagini.