Sintesi Tecnica: CASPA per la Super-Risoluzione di Immagini Thangka

Definizione del Problema

La preservazione digitale dei Thangka, una forma di pittura buddista tibetana, affronta sfide critiche dovute alla degradazione irreversibile degli artefatti fisici e alla bassa risoluzione degli archivi digitali esistenti. Sebbene l'Image Super-Resolution (ISR) offra una soluzione, gli attuali modelli di Vision Transformer (ViT) all'avanguardia faticano a ricostruire le immagini Thangka con alta fedeltà. Il documento identifica due specifiche limitazioni meccaniche negli approcci basati su Transformer esistenti quando applicati ai Thangka:

1. Frammentazione del Contesto Spaziale: Le immagini Thangka presentano strutture complesse e simmetriche e pigmenti minerali che esibiscono una forte auto-similarità non locale (ad esempio, motivi ripetitivi come petali di loto che si estendono su grandi distanze). I modelli ViT tradizionali, come SwinIR, si affidano a meccanismi di finestra locale. Queste griglie fisiche rigide limitano le interazioni tra le caratteristiche, impedendo al modello di sfruttare le somiglianze a lungo raggio per ricostruire texture dense e ripetitive, portando a dettagli sfocati e dislocazioni strutturali.
2. Perdita di Prior Geometrici Spaziali: L'arte Thangka è caratterizzata da abbondanti, sottili e coerenti linee geometriche ad alta frequenza (ad esempio, tratti simili a fili e drappeggi intricati). I meccanismi di attenzione ai canali esistenti (ad esempio, in DAT) spesso si affidano a operazioni di pooling globale per stabilire le dipendenze tra i canali. Questo processo scarta cruciali informazioni topologiche spaziali, causando il fatto che il modello si concentri esclusivamente sulle statistiche cromatiche globali, fallendo nel mantenere la coerenza strutturale delle linee direzionali, con conseguente sfocatura dei bordi e disconnessione delle traiettorie.

Metodologia: Architettura CASPA

Per affrontare queste sfide, gli autori propongono CASPA (Content-Aware Global Aggregation and Spatial prior Channel Attention), una nuova rete di super-risoluzione basata sull'architettura Dual Aggregation Transformer (DAT). La rete consiste in tre stadi: estrazione delle caratteristiche superficiali, estrazione delle caratteristiche profonde (composta da 12 gruppi residui in cascata) e ricostruzione ad alta risoluzione. L'innovazione principale risiede in due moduli specializzati che si alternano all'interno dei gruppi residui:

1. Modulo di Aggregazione Globale Consapevole del Contenuto (CGA)

Il modulo CGA sostituisce la tradizionale auto-attenzione a finestra spaziale per rompere i vincoli della distanza fisica.

• Meccanismo: Invece di partizionare l'immagine in griglie fisse, il CGA esegue un clustering globale dei token basato sulla somiglianza delle caratteristiche attraverso l'intera immagine.
• Processo: Utilizza un insieme di centri di cluster globali apprendibili per calcolare la similarità del coseno tra i token di input e questi centri. I token vengono assegnati adattivamente a gruppi semantici indipendentemente dalla loro posizione spaziale.
• Interazione: L'auto-attenzione viene eseguita all'interno di questi gruppi semantici. Ciò consente al modello di colmare le distanze fisiche, aggregando pixel sparsi ma semanticamente simili (ad esempio, pigmenti identici) per ripristinare pattern ripetitivi a lungo raggio con complessità lineare $O(N)$.
• Efficienza: Per garantire l'efficienza del parallelismo, i gruppi grandi sono suddivisi in sottogruppi e sono consentite interazioni sovrapposte ai confini semantici.

2. Modulo di Attenzione ai Canali con Prior Spaziali (SCA)

Il modulo SCA è progettato per iniettare prior direzionali e spaziali nel ramo dei canali, affrontando la perdita di informazioni topologiche.

• Meccanismo: Impiega convoluzioni a strisce incrociate decomposte (ad esempio, kernel in cascata $1 \times 21$ e $21 \times 1$) per creare un campo ricettivo equivalente ampio (ad esempio, $21 \times 21$).
• Processo:
  1. Attenzione ai Canali: Genera un vettore di attenzione ai canali utilizzando il pooling medio e massimo globale in parallelo seguito da un MLP, agendo come un classificatore di "soft-gating" per evidenziare i canali con strutture geometriche critiche.
  2. Prior Spaziali: Le caratteristiche raffinate dai canali sono elaborate da rami di convoluzione depth-wise paralleli con diverse dimensioni di kernel per catturare prior geometrici spaziali anisotropici.
  3. Fusione: Queste caratteristiche spaziali vengono sommate e miscelate tramite una convoluzione $1 \times 1$ per generare una mappa di attenzione spaziale dinamica, che viene poi moltiplicata con le caratteristiche raffinate dai canali.
• Risultato: Questo design preserva l'integrità strutturale delle linee continue ad alta frequenza senza introdurre un eccessivo sovraccarico computazionale.

Componenti Ausiliari

• Adaptive Cross-Gating (ACG): Un meccanismo che utilizza convoluzioni depth-wise parallele per ottenere una ricalibrazione soft-bidirezionale, garantendo una fusione fluida tra semantica macroscopica a lungo raggio e texture microscopiche locali.
• Dynamic Feed-Forward Network (DFFN): Sostituisce le funzioni di attivazione standard con una Dynamic Hyperbolic Tangent (DynamicTanh) parametrizzata per migliorare le capacità di fitting non lineare per dettagli complessi, mitigando al contempo la saturazione del gradiente.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Modulo CGA: Un meccanismo di interazione globale che abbandona la partizione in griglie fisiche a favore del clustering globale dei token guidato dalla somiglianza delle caratteristiche. Questo attiva con successo i prior di auto-similarità non locale, consentendo la ricostruzione collaborativa efficiente di pattern ripetitivi a lungo raggio e pigmenti sparsi.
2. Modulo SCA: Un meccanismo di attenzione ai canali che utilizza convoluzioni a strisce incrociate decomposte per iniettare robusti prior spaziali e direzionali multi-scala. Questo supera la perdita di informazioni topologiche causata dal tradizionale pooling globale, garantendo la ricostruzione ad alta fedeltà di linee continue complesse.
3. Validazione Completa: La proposta di un dataset personalizzato Thangka e la dimostrazione dell'efficacia del modello nel ripristinare sia la semantica a lungo raggio che i dettagli strutturali fini, superando i modelli SOTA esistenti sia su benchmark specifici del dominio che generali.

Risultati Sperimentali

Dataset e Configurazione

• Dataset Personalizzato: 5.000 immagini Thangka HR (512$\times$512) per l'addestramento, 680 per la validazione e 1.000 per il test.
• Benchmark: Urban100 e Manga109 per la generalizzazione cross-dominio.
• Baseline: EDSR, SwinIR, HAT, SRFormer e DAT.
• Metriche: PSNR, SSIM, LPIPS e FID.

Prestazioni Quantitative

• Dataset Thangka ($\times$4 Scale): CASPA ha raggiunto un PSNR di 32.9045 dB e un SSIM di 0.8817, superando la baseline DAT (32.7774 dB) di 0.1271 dB. Ha inoltre ottenuto i punteggi migliori in LPIPS e FID, indicando una qualità percettiva e un realismo superiori.
• Benchmark Generali: Su Urban100 e Manga109 ($\times$4), CASPA ha stabilito nuove prestazioni state-of-the-art, dimostrando forti capacità di generalizzazione cross-dominio.
• Efficienza: Nonostante l'alta prestazione, CASPA è altamente leggero con solo 5.02 M di parametri e 21.97 G FLOPs (con input 64$\times$64), significativamente inferiori rispetto a competitor come HAT (20.77 M parametri) ed EDSR (43.09 M parametri). Ha inoltre dimostrato tempi di inferenza più rapidi (19.38 ms) rispetto alla maggior parte delle baseline.

Analisi Qualitativa

I confronti visivi hanno rivelato che i metodi tradizionali basati su finestre spesso producevano artefatti a griglia e dislocazioni strutturali in linee parallele dense. Al contrario, CASPA ha ricostruito con successo linee geometriche chiare e coerenti e texture ad alta frequenza, approssimando strettamente la ground truth.

Studio di Ablazione

La rimozione di uno qualsiasi dei moduli ha causato un degrado delle prestazioni:

• Senza SCA: La perdita di prior spaziali ha portato a traiettorie distorte e bordi sfocati nelle linee sottili.
• Senza CGA: La frammentazione del contesto spaziale ha causato una fusione errata dei dettagli e sfocatura nei pattern ripetitivi.
• Modello Completo: La combinazione di entrambi i moduli ha prodotto il PSNR più elevato, confermando i loro ruoli complementari.

Significato e Limitazioni

Il documento afferma che CASPA rappresenta un avanzamento significativo nella preservazione digitale del patrimonio culturale, specificamente per l'arte Thangka. Risolvendo il compromesso tra consapevolezza del contesto globale e fedeltà geometrica locale, il modello offre una soluzione robusta per il ripristino di strutture complesse non locali e linee direzionali che storicamente sono state difficili da gestire per i modelli basati su Transformer.

Gli autori notano anche il potenziale di generalizzazione del modello, applicandolo con successo ai affreschi di Dunhuang e agli affreschi medievali delle chiese europee con risultati solidi, suggerendo una vasta applicabilità nel restauro di antichi murales.

Tuttamente, il documento riconosce modestamente alcune limitazioni:

• Micro-strutture Uniche: Il modello presenta un eccessivo smoothing su dettagli isolati e unici (ad esempio, specifici tratti oculari) che mancano di riferimenti globali da sfruttare per il modulo CGA.
• Intersezioni Complesse: Linee densamente intrecciate in modo non ortogonale (ad esempio, sopracciglia) possono soffrire di sfocatura a causa delle direzioni di campionamento fisse orizzontali e verticali del modulo SCA.

Il lavoro futuro proposto esplora metodi di campionamento più flessibili e prior generativi esterni per affrontare questi specifici casi limite.