Single Image Super-Resolution via Bivariate `A Trous Wavelet Diffusion

Il paper introduce BATDiff, un modello di diffusione non supervisionato che utilizza una trasformata wavelet bivariate a trous per fornire una guida strutturata cross-scala, migliorando la coerenza delle alte frequenze e riducendo gli artefatti nella super-risoluzione di immagini singole.

L'essenziale

Immagina di avere una foto sfocata e piccola (la tua immagine a bassa risoluzione) e di volerla ingrandire fino a renderla nitida e grande come un poster (alta risoluzione). Il problema è che, quando una foto viene ridotta, perde molti dettagli: i bordi diventano sfocati, le texture spariscono. È come se avessi un puzzle con metà dei pezzi mancanti.

Fino a poco tempo fa, i computer cercavano di "indovinare" i pezzi mancanti basandosi su milioni di altre foto che avevano visto in passato. Il problema? A volte indovinavano cose sbagliate, inventando dettagli che non c'erano mai stati (come un gatto con sei zampe o un edificio con finestre strane).

Gli autori di questo articolo, BATDiff, hanno trovato un modo più intelligente e "pulito" per farlo, senza bisogno di guardare milioni di foto esterne. Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: "Indovinare al buio"

La maggior parte dei metodi attuali cerca di ricostruire l'immagine intera tutta insieme, come se dovessi dipingere un quadro complesso partendo dal nulla. Spesso, i dettagli fini (i capelli, i mattoni, le foglie) vengono creati in modo disordinato, non allineati con la struttura di base. È come se un architetto costruisse i dettagli di un grattacielo senza guardare i piani fondamentali: il tetto potrebbe essere bellissimo, ma non starebbe in piedi.

2. La Soluzione: La "Scala a Pioli" (L'approccio Multiscala)

BATDiff non prova a ricostruire tutto in un colpo solo. Immagina di dover salire su una montagna alta (l'immagine nitida) partendo dalla base (l'immagine sfocata).
Invece di saltare direttamente in cima, BATDiff usa una scala a pioli fatta di onde (chiamata ondelette o wavelet).

• Il primo gradino: Guarda solo la forma generale della montagna (le grandi montagne, i contorni principali).
• Il secondo gradino: Aggiunge le colline e le valli.
• Il terzo gradino: Aggiunge i singoli alberi e le rocce.
• Il gradino finale: Aggiunge i dettagli minuscoli, come l'erba o le foglie.

Questo metodo si chiama trasformata a trous. È come se avessi una rete magica che separa l'immagine in strati: uno per le grandi forme, uno per le forme medie e uno per i dettagli piccoli, ma senza perdere mai la posizione esatta di ogni oggetto (questo è fondamentale per non spostare le cose).

3. Il Segreto: Il "Genitore" e il "Figlio"

Qui arriva la parte più geniale. BATDiff usa una regola di famiglia: il "Figlio" deve ascoltare il "Genitore".

• Quando il computer sta disegnando i dettagli piccoli (il "Figlio"), guarda costantemente quello che ha appena disegnato nel livello più grande (il "Genitore").
• Se il livello "Genitore" dice "qui c'è un muro", il livello "Figlio" non può inventare un fiore che spunta dal muro. Deve disegnare mattoni.
• Questo legame si chiama condizionamento bivariato. È come se un maestro d'arte (il livello grande) tenesse la mano di un apprendista (il livello piccolo) mentre dipinge i dettagli, assicurandosi che non facciano errori grossolani.

4. La Bussola: "Rimani fedele all'originale"

C'è un altro trucco. Mentre il computer ricostruisce l'immagine passo dopo passo, controlla continuamente: "Ehi, questa immagine che sto creando, se la rimpicciolissi, tornerebbe a essere la tua foto sfocata di partenza?".
Se la risposta è no, corregge il tiro. È come avere una bussola che ti dice se ti stai allontanando troppo dal percorso originale. Questo impedisce al computer di "allucinare" cose che non esistono nella foto originale.

In sintesi: Perché è speciale?

• Non ha bisogno di un "corso di laurea" su milioni di foto: Impara direttamente dalla foto che gli dai tu (è "non supervisionato").
• È ordinato: Costruisce l'immagine dal grosso al piccolo, assicurandosi che i dettagli piccoli rispettino la struttura grande.
• È fedele: Non inventa cose strane, ma recupera i dettagli reali che erano nascosti nella sfocatura.

L'analogia finale:
Immagina di dover riparare un antico affresco sbiadito.

• I metodi vecchi provano a ridipingere tutto il muro basandosi su foto di altri affreschi, rischiando di mettere un angelo dove c'era un santo.
• BATDiff invece prende un pennello, guarda le macchie di colore ancora visibili (la struttura grande), e poi, passo dopo passo, riempie i dettagli piccoli (i vestiti, i volti) assicurandosi che ogni pennellata sia coerente con quella precedente e che il risultato finale corrisponda esattamente alla traccia originale che hai sotto gli occhi.

Il risultato? Immagini molto più nitide, con bordi più netti e meno "fantasmi" o errori strani, specialmente quando si tratta di ricostruire texture complesse come edifici o paesaggi urbani.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Single Image Super-Resolution via Bivariate `A Trous Wavelet Diffusion" (BATDiff), presentato da Maryam Heidari, Nantheera Anantrasirichai e Alin Achim dell'Università di Bristol.

1. Il Problema

La Super-Risoluzione a Immagine Singola (SISR) mira a recuperare un'immagine ad alta risoluzione (HR) da una singola osservazione a bassa risoluzione (LR), un problema inverso in cui le informazioni ad alta frequenza sono irrimediabilmente perse.
Sebbene i modelli basati su diffusione (Diffusion Models) abbiano raggiunto lo stato dell'arte, presentano due limiti principali:

• Dominio Spaziale: La maggior parte opera puramente nel dominio spaziale, generando dettagli ad alta frequenza che potrebbero non essere supportati dalle evidenze LR sottostanti, portando ad artefatti.
• Hallucinazione e Coerenza: I modelli supervisionati tendono a iniettare texture specifiche del dataset, mentre l'approccio SISR (che si basa sulle statistiche interne dell'immagine) è meno soggetto a questo, ma soffre comunque di ambiguità nell'osservazione LR. Questo porta a dettagli ad alta frequenza incoerenti o "hallucinati" che non rispettano la struttura globale.
• Mancanza di Dipendenze Cross-Scala: Le formulazioni esistenti raramente modellano esplicitamente le dipendenze statistiche "genitore-figlio" tra le diverse scale di frequenza, cruciali per la stabilità della generazione di texture.

2. Metodologia: BATDiff

Il paper propone BATDiff, un framework di diffusione non supervisionato (senza coppie LR-HR esterne) che integra trasformate wavelet e modelli di diffusione per guidare il processo generativo.

Componenti Chiave:

1. Trasformata `A Trous (Ondelette):

   • Utilizza una trasformata `a trous (non decimata) per costruire una rappresentazione multiscala shift-invariant.
   • Questo approccio preserva la piena risoluzione spaziale a ogni livello di decomposizione, evitando il downsampling che causerebbe allineamenti imprecisi.
   • L'immagine HR viene decomposta in componenti lisci ($c^{(s)}$) e dettagli ($w^{(s)}$) su una griglia comune.

2. Meccanismo di Condizionamento Bivariato Cross-Scala:

   • Il cuore dell'algoritmo è un modulo che modella le dipendenze tra le scale adiacenti durante il processo di diffusione inversa.
   • Invece di denoisare ogni scala indipendentemente, la ricostruzione di una banda di frequenza $s$ è condizionata non solo dal suo stato rumoroso corrente, ma anche dallo stato temporalmente allineato della scala più grezza adiacente ($s-1$).
   • Matematicamente, il modello approssima $p_\theta(x^{(s)}_{t-1} | x^{(s)}_t, x^{(s-1)}_t)$, dove $x^{(s-1)}_t$ agisce come un "genitore" strutturale che guida la generazione dei dettagli fini.

3. Vincolo di Coerenza LR (LR-Consistency):

   • Poiché non c'è supervisione esterna, il modello impone un vincolo di fedeltà all'immagine LR osservata ($y$) ad ogni passo inverso.
   • Dopo ogni passo di denoising, viene applicata una correzione basata sul gradiente per minimizzare l'errore tra l'immagine ricostruita degradata e l'input LR originale: $x \leftarrow x - \eta \nabla \|\mathcal{D}(x) - y\|^2$.

4. Processo di Inferenza:

   • L'inferenza procede da scale grossolane a fini (coarse-to-fine).
   • Si parte da un rumore gaussiano sulla scala più grezza e si procede verso le scale più fini, utilizzando il risultato della scala precedente come condizione per la successiva, mantenendo sempre l'allineamento temporale e spaziale.

3. Contributi Principali

• Meccanismo di Condizionamento Bivariato: Introduzione di una strategia che modella le dipendenze statistiche multiscala all'interno dell'inferenza di diffusione inversa, migliorando la coerenza strutturale.
• Rappresentazione Multiscala Allineata: Utilizzo della trasformata `a trous per creare una rappresentazione multiscala spazialmente allineata, essenziale per un condizionamento cross-scala stabile.
• Framework SISR Non Supervisionato: Sviluppo di un sistema che apprende dalle statistiche interne dell'immagine singola, garantendo coerenza con l'input LR senza richiedere dataset di addestramento accoppiati LR-HR.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (DIV2K, Set5, Set14, Urban100) con fattori di ingrandimento $\times4$ e $\times8$.

• Performance Quantitativa:
  • Su Urban100 (dataset complesso con texture ripetute), BATDiff ha raggiunto 28.53 dB PSNR e 0.8502 SSIM per $\times4$, superando sia metodi basati su GAN/Transformer supervisionati (es. SwinIR, SRFormer) che altri approcci basati su diffusione (es. StableSR, SRDiff).
  • Ha mostrato risultati superiori anche a $\times8$, un regime in cui i metodi supervisionati spesso falliscono a causa della mancanza di generalizzazione.
• Qualità Visiva:
  • Le ricostruzioni presentano bordi più nitidi, contorni più definiti e strutture fini più plausibili rispetto ai baselines.
  • Riduzione significativa degli artefatti di sovra-lisciamento (oversmoothing) e delle incoerenze strutturali tipiche dei modelli generativi.
• Studi di Ablazione:
  • L'analisi ha dimostrato che la combinazione di coerenza LR, trasformata `a trous e condizionamento bivariato è essenziale.
  • Rimuovere il condizionamento bivariato (modello univariato) o usare un genitore non allineato temporalmente degrada significativamente le prestazioni, confermando che il guadagno deriva dall'allineamento temporale delle strutture cross-scala.

5. Significato e Impatto

BATDiff rappresenta un passo avanti significativo nel campo della super-risoluzione generativa:

• Superamento dei Limiti Spaziali: Sposta il paradigma dalla generazione puramente spaziale a una generazione guidata da strutture multiscala, risolvendo il problema della coerenza tra dettagli fini e struttura globale.
• Robustezza Non Supervisionata: Dimostra che è possibile ottenere performance competitive (o superiori) senza dipendere da enormi dataset di addestramento esterni, rendendo il metodo più adatto a scenari reali con degradazioni complesse e sconosciute.
• Nuova Direttiva per la Diffusione: Introduce l'idea di incorporare vincoli strutturali espliciti (dipendenze genitore-figlio wavelet) direttamente nel processo di inferenza della diffusione, offrendo una via promettente per migliorare la stabilità e la fedeltà dei modelli generativi in compiti di restauro immagini.