Simon-SR: Spatially Adaptive Modulation and Visual Prompt Adaptation for Text-Reinforced Super-Resolution

Sintesi Tecnica: Simon-SR: Modulazione Spazialmente Adattiva e Adattamento di Prompt Visivi per la Super-Risoluzione Rinforzata dal Testo

Problematica
La Super-Risoluzione da Immagine Singola (SISR) mira a ricostruire immagini di alta qualità a partire da input a bassa risoluzione. Sebbene l'apprendimento profondo abbia fatto progressi nel campo, la natura mal posta del problema spesso risulta in output eccessivamente levigati, in particolare a tassi di sottocampionamento estremi (es. ×16). I metodi esistenti a singola modalità, che spesso si affidano ad architetture avversarie, faticano con la distorsione strutturale e gli artefatti a causa della mancanza di supervisione esterna. Al contrario, i recenti approcci multi-modali che sfruttano le prior semantiche testuali affrontano sfide significative: sono sensibili a prior testuali errati, richiedono annotazioni umane costose e spesso soffrono di bias semantici durante la fusione testo-immagine, portando a un'attenzione insufficiente sui dettagli critici o all'allucinazione di caratteristiche implausibili.

Metodologia
Gli autori propongono Simon-SR, un framework multi-modale per la SISR che tratta il testo non come prior fissi di verità fondamentale (ground-truth), ma come variabili semantiche latenti e apprendibili, ottimizzate congiuntamente con il ripristino dell'immagine. Il framework opera in due fasi sequenziali:

1. Apprendimento di Prompt Contrastivo (CPL):
   Invece di fare affidamento su annotazioni testuali predefinite, Simon-SR estrae la semantica visiva a livello di istanza da immagini non annotate utilizzando encoder CLIP congelati. Il modello apprende un insieme di prompt (formulati come "[X] [X]...") associati a ogni istanza di immagine. Questi prompt sono ottimizzati minimizzando una perdita contrastiva ($L_{con}$) che allinea le caratteristiche testuali apprese con le caratteristiche visive estratte dall'encoder di immagini CLIP. Questo processo consente al modello di derivare ancore semantiche direttamente dai dati dell'immagine, evitando i bias semantici inerenti alle annotazioni umane o ai modelli linguistici di grandi dimensioni pre-addestrati.

2. Raffinamento Spazialmente Adattivo Guidato dal Prompt (PSAR):
   I prompt appresi vengono iniettati nella pipeline di ripristino dell'immagine tramite Blocchi di Raffinamento Progressivo Consapevoli del Testo (PTRBlock). All'interno di questi blocchi, viene impiegato un nuovo meccanismo di Raffinamento Spazialmente Adattivo Guidato dal Prompt. Questo modulo utilizza un modulatore di attenzione incrociata per calcolare le correlazioni spaziali tra il contenuto visivo e i prompt testuali.

   • Le caratteristiche visive sono proiettate in uno spazio di query, mentre le caratteristiche testuali sono proiettate in uno spazio di key.
   • La mappa di attenzione spaziale risultante codifica la rilevanza di specifiche regioni dell'immagine rispetto al testo.
   • Una trasformazione affine viene applicata alle caratteristiche dell'immagine, dove i parametri di scala ($\Delta\Gamma$) e di spostamento ($\Delta B$) sono controllati (gated) da questa mappa di attenzione.
   • Ciò consente al modello di amplificare o sopprimere selettivamente le risposte nelle regioni semanticamente rilevanti, lasciando inalterate le aree irrilevanti, garantendo un potenziamento fine-grained consapevole della semantica senza distorcere la struttura dell'immagine.

La rete viene addestrata utilizzando una combinazione di perdita di ricostruzione ($L_{sr}$), perdita percettiva ($L_{percep}$) e una perdita avversaria ($L_{adv}$) che incorpora le caratteristiche testuali apprese per guidare il discriminatore.

Contributi Chiave
Il documento delinea tre contributi primari:

1. Approccio Basato su Prompt Apprendibili: Un metodo che estrae la semantica testuale da immagini non annotate, eliminando efficacemente la necessità di annotazioni umane e mitigando i bias dei modelli multi-modali di grandi dimensioni pre-addestrati.
2. Meccanismo di Fusione Spazialmente Adattiva: Una nuova strategia di fusione testo-immagine che utilizza trasformazioni affini basate sull'attenzione per migliorare sia la rilevanza semantica che l'utilizzo efficiente degli indizi testuali.
3. Prestazioni allo Stato dell'Arte: Esperimenti estesi che dimostrano prestazioni superiori su molteplici benchmark (CUB, DIV2K, COCO2017) e tassi di sottocampionamento (×4, ×8, ×16).

Risultati Sperimentali
Gli autori hanno valutato Simon-SR contro baseline allo stato dell'arte, inclusi metodi a singola modalità (EDSR, RCAN) e metodi multi-modali (XPSR, CLIP-SR).

• Miglioramenti Quantitativi: Sul dataset CUB alla scala ×16, Simon-SR ha ottenuto un miglioramento massimo di 0.50 dB in PSNR e 0.0133 in SSIM rispetto a CLIP-SR. Sul dataset DIV2K alla scala ×16, ha ottenuto una riduzione di 0.0695 in LPIPS, indicando un realismo percettivo superiore.
• Studi di Ablazione: Gli esperimenti hanno confermato che sia la componente di Apprendimento di Prompt Contrastivo (CPL) che quella di Raffinamento Spazialmente Adattivo Guidato dal Prompt (PSAR) sono essenziali, con il modello completo che supera le configurazioni in cui uno dei due componenti viene rimosso.
• Analisi Qualitativa: I confronti visivi mostrano che, mentre i metodi convenzionali producono immagini eccessivamente levigate e i modelli basati sulla diffusione soffrono di artefatti indotti dal testo, Simon-SR raggiunge un compromesso equilibrato, recuperando dettagli abbondanti pur mantenendo la fedeltà strutturale.

Significatività
Il documento afferma che Simon-SR dimostra l'efficacia dei prompt apprendibili nella super-risoluzione multi-modale. Trattando il testo come una variabile apprendibile piuttosto che come un prior fisso, il framework ottiene una fusione testo-immagine robusta senza l'overhead computazionale e i costi di annotazione associati ai metodi esistenti. Il lavoro evidenzia come l'estrazione efficiente della semantica e la modulazione spazialmente adattiva possano migliorare significativamente il recupero dei dettagli e la qualità percettiva, anche a tassi di sottocampionamento estremi.