GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution

1. Enunciato del Problema

La super-risoluzione di singola immagine (SR) mira a ricostruire immagini ad alta risoluzione (HR) partendo da input a bassa risoluzione (LR). Sebbene l'apprendimento profondo abbia fatto progredire questo campo, i metodi esistenti affrontano sfide significative in scenari reali che coinvolgono degradazioni complesse e sconosciute.

• Limitazioni dei Metodi Diffusivi Correnti: I recenti metodi SR basati sulla diffusione (ad es. StableSR, SeeSR) sfruttano potenti prior generativi derivati da modelli su larga scala da testo a immagine (come Stable Diffusion). Tuttavia, fanno affidamento su condizionamento testuale derivato dalla descrizione o dall'etichettatura delle immagini.
  • Il Divario Semantico: Le descrizioni testuali forniscono solo concetti semantici di alto livello (ad es. "un gatto", "una strada") ma mancano di informazioni visive allineate spazialmente, geometria fine e pattern di texture locali necessari per un ripristino fedele.
  • Perdita di Texture: Gli obiettivi di addestramento esistenti spesso danno priorità alla fedeltà a livello di pixel o alla coerenza semantica, ma non modellano esplicitamente le statistiche della texture (pattern ripetuti e correlazioni delle caratteristiche), portando a risultati eccessivamente lisci o ad artefatti.
• Efficienza: Il campionamento diffusivo multi-step è computazionalmente costoso. Esistono metodi single-step, ma spesso soffrono di eccessivo livellamento o di un recupero limitato dei dettagli a causa della dipendenza da prompt testuali e funzioni di perdita semplificate.

2. Metodologia: GramSR

Gli autori propongono GramSR, un framework SR basato sulla diffusione single-step che affronta i suddetti limiti attraverso due innovazioni principali: la sostituzione del condizionamento testuale con caratteristiche visive dense e l'introduzione di una strategia di addestramento consapevole della texture.

A. Condizionamento delle Caratteristiche Visive

Invece di utilizzare prompt testuali, GramSR condiziona il modello diffusivo su caratteristiche visive dense estratte direttamente dall'input LR.

• Codificatore: Viene utilizzato un codificatore DINOv3 pre-addestrato per estrarre caratteristiche visive a livello di patch ($F_{ViT}$) dall'immagine LR. Queste caratteristiche catturano informazioni gerarchiche dalle texture locali al contesto globale, mantenendo l'allineamento spaziale con l'input.
• Integrazione: Un adattatore MLP leggero proietta queste caratteristiche visive nello spazio di condizionamento della U-Net diffusiva. Il codificatore DINOv3 rimane congelato durante l'addestramento.

B. Strategia di Addestramento LoRA in Tre Fasi

Per disaccoppiare gli obiettivi conflittuali della SR (rimozione delle degradazioni, miglioramento semantico e preservazione della texture), GramSR impiega una strategia di addestramento sequenziale utilizzando tre distinti moduli LoRA (Low-Rank Adaptation) collegati alla U-Net:

1. LoRA a Livello di Pixel ($\Delta\theta_{pix}$):
   • Obiettivo: Rimuovere le degradazioni (rumore, sfocatura, artefatti di downsampling).
   • Perdita: Ottimizzata utilizzando la perdita $\ell_2$ ($L_{MSE}$) per garantire una ricostruzione accurata a livello di pixel e una convergenza stabile.
2. LoRA a Livello Semantico ($\Delta\theta_{sem}$):
   • Obiettivo: Migliorare il realismo percettivo e generare dettagli semanticamente ricchi.
   • Perdita: Ottimizzata utilizzando una combinazione di LPIPS (perdita percettiva) e perdite Classifier Score Distillation (CSD), insieme a $L_{MSE}$. Il LoRA a livello di pixel viene congelato durante questa fase.
3. LoRA a Livello di Texture ($\Delta\theta_{gram}$):
   • Obiettivo: Imporre la coerenza della texture e preservare le statistiche delle caratteristiche del secondo ordine.
   • Meccanismo: Calcola la Matrice di Gram delle caratteristiche DINOv3. La matrice di Gram cattura le correlazioni tra le posizioni spaziali, codificando statistiche globali della texture invarianti rispetto alle disposizioni spaziali locali.
   • Perdita: Minimizza la differenza della norma di Frobenius tra le matrici di Gram dell'output SR e del ground truth ($L_{gram}$).
   • Addestramento: Entrambi i LoRA precedenti vengono congelati; solo il modulo della texture viene addestrato utilizzando una funzione di perdita congiunta che bilancia le perdite a livello di pixel, percettiva e di Gram.

C. Inferenza con Guida Tripla

Durante l'inferenza, il modello consente un controllo flessibile sul processo di ripristino regolando scale di guida indipendenti ($\lambda_{pix}, \lambda_{sem}, \lambda_{gram}$). La previsione finale è una somma ponderata del modello base e dei contributi dei tre LoRA, permettendo agli utenti di bilanciare tra fedeltà strutturale e realismo della texture.

3. Contributi Chiave

1. Condizionamento Visivo rispetto al Testo: Il paper dimostra che sostituire i prompt testuali astratti con caratteristiche visive dense basate su DINOv3 migliora significativamente l'allineamento spaziale e il recupero dei dettagli, colmando il divario tra prior semantici e ripristino a livello di pixel.
2. Allineamento della Matrice di Gram per la Texture: L'introduzione di un LoRA a livello di texture dedicato, ottimizzato tramite perdita della matrice di Gram, modella esplicitamente le statistiche della texture, un componente spesso trascurato nella SR basata sulla diffusione.
3. Disaccoppiamento Sequenziale: La strategia di addestramento in tre fasi separa efficacemente la rimozione delle degradazioni, il miglioramento semantico e l'allineamento della texture, prevenendo interferenze tra gli obiettivi.
4. Efficienza: Il framework opera come modello diffusivo single-step, offrendo prestazioni in tempo reale pur raggiungendo una qualità superiore rispetto ai metodi multi-step.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark standard (DIV2K, RealSR, DRealSR) e confrontato con metodi diffusivi single-step all'avanguardia (SinSR, OSEDiff, PiSA-SR, AdcSR).

• Prestazioni Quantitative:
  • GramSR ha costantemente superato i concorrenti su tutti i dataset.
  • Su RealSR, ha ottenuto il PSNR più alto (26,81) e l'SSIM più alto (76,68), riducendo significativamente gli errori percettivi (LPIPS: 23,05, DISTS: 17,91, FID: 100,71).
  • Ha mostrato una forza particolare su RealSR e DRealSR (dataset reali), dove sono presenti degradazioni complesse, superando il concorrente più vicino (PiSA-SR) con un margine significativo sia nelle metriche di fedeltà che in quelle percettive.
• Analisi Qualitativa:
  • I confronti visivi hanno mostrato che GramSR produce texture più coerenti e meno artefatti rispetto a SinSR (che spesso presenta texture incoerenti) o OSEDiff (che tende a essere eccessivamente liscio).
  • Ha preservato con successo strutture fini e pattern ripetitivi che altri metodi non sono riusciti a ricostruire.
• Studi di Ablazione:
  • Condizionamento Visivo: Sostituire il testo con caratteristiche DINOv3 ha migliorato PSNR/SSIM e ridotto gli errori percettivi.
  • LoRA della Texture: Aggiungere il LoRA basato su Gram ha ulteriormente ridotto LPIPS, DISTS e FID, confermando il suo ruolo nel migliorare il realismo della texture.
  • Strategia di Addestramento: L'approccio sequenziale a tre LoRA ha superato l'addestramento congiunto o le strategie LoRA fuse, dimostrando la necessità di disaccoppiare gli obiettivi.
  • Generalizzazione: Il metodo funziona in modo robusto con vari codificatori visivi (CLIP, SigLIP, DINOv2/v3), con DINOv3-B che offre il miglior compromesso tra capacità di rappresentazione e precisione spaziale.

5. Significato

GramSR rappresenta un cambiamento significativo nel ripristino di immagini basato sulla diffusione, spostandosi dai prior semantici basati sul testo verso prior visivi allineati spazialmente. Modellando esplicitamente le statistiche della texture attraverso l'allineamento della matrice di Gram, affronta un punto cieco critico nei metodi SR generativi attuali. Il framework offre un nuovo paradigma per i modelli diffusivi single-step, dimostrando che una SR efficiente e in tempo reale può ottenere contemporaneamente un recupero strutturale ad alta fedeltà e una generazione realistica della texture. Questo approccio è particolarmente prezioso per le applicazioni reali dove le immagini di input soffrono di degradazioni complesse e sconosciute e dove la preservazione fine della texture è cruciale.