Sintesi Tecnica: Individualized Exploratory Transformer per la Super-Risoluzione di Immagini

Definizione del Problema

La Single Image Super-Resolution (SISR) mira a ricostruire immagini ad alta risoluzione (HR) a partire da input a bassa risoluzione (LR). Sebbene i metodi basati su Transformer abbiano raggiunto prestazioni allo stato dell'arte grazie alla modellazione di dipendenze a lungo raggio, essi soffrono di elevati costi computazionali a causa della complessità quadratica della standard self-attention. Per mitigare questo problema, gli approcci esistenti tipicamente limitano l'attenzione a gruppi fissi, come finestre locali (es. SwinIR) o categorie semantiche (es. ATD).

Tuttavia, gli autori sostengono che queste strategie di "attenzione raggruppata" trascurano l'asimmetria intrinseca delle somiglianze tra i token. Nella SISR, un determinato token può richiedere informazioni da un vicino distante per ricostruire strutture fini, mentre quel vicino non necessita necessariamente di informazioni dal token originale. Il raggruppamento fisso impone confini rigidi e forza un'aggregazione simmetrica, impedendo ai token di selezionare in modo adattivo i propri vicini più rilevanti, in modo unidirezionale, attraverso l'intera immagine. Questa limitazione porta a un flusso di informazioni ridondante e a una ricostruzione subottimale.

Metodologia: Individualized Exploratory Transformer (IET)

Per affrontare queste limitazioni, il documento propone l'Individualized Exploratory Transformer (IET), incentrato su un nuovo meccanismo di Individualized Exploratory Attention (IEA). A differenza dei metodi a gruppi fissi, l'IEA consente a ogni token di selezionare in modo adattivo e indipendente i propri candidati di attenzione basandosi sulla somiglianza del contenuto, operando in modo asimmetrico.

Componenti Core

1. Individualized Exploratory Attention (IEA)
L'IEA sostituisce la standard self-attention con un processo dinamico che evolve da un'attenzione locale a una globale, consapevole del contenuto, attraverso un raffinamento per livelli (layer-wise). Si compone di tre fasi chiave:

• Inizializzazione: Nel primo blocco, i candidati di attenzione vengono inizializzati utilizzando una strategia di dilatazione. Questa esegue un'attenzione densa all'interno di una piccola regione locale, campionando simultaneamente in modo uniforme e sparso i token da patch $d \times d$ più grandi. Ciò fornisce un insieme diversificato di candidati iniziali, bilanciando il dettaglio locale con un contesto globale grossolano.
• Meccanismo di Propagazione: Nei blocchi successivi, il meccanismo espande il campo ricettivo esplorando connessioni di ordine superiore. Se il token $A$ è simile a $B$, e $B$ è simile a $C$, il meccanismo si propaga per includere $C$ come candidato diretto per $A$ (un vicino a "due salti"). Ciò permette all'ambito dell'attenzione di espandersi semanticamente piuttosto che solo spazialmente.
• Meccanismo di Sparsificazione: Per mantenere l'efficienza computazionale, le connessioni a bassa somiglianza identificate nei livelli precedenti vengono rimosse (pruning). Solo i top-$K$ vicini più simili vengono mantenuti per il livello successivo. Ciò assicura che i candidati di attenzione rimangano rilevanti e che il costo computazionale rimanga lineare rispetto al numero di token ($O(kN)$).

2. Similarity-Fused Feed-Forward Network (SF-FFN)
Gli autori introducono una rete Feed-Forward modificata che sfrutta le relazioni di somiglianza raffinate ottenute dall'IEA. Per ogni token, l'SF-FFN identifica il suo vicino più simile basandosi sugli indici di attenzione correnti, sostituisce il token con questo vicino e fonde le due rappresentazioni utilizzando un MLP head-wise e una convoluzione depthwise. Ciò facilita l'interazione cross-channel tra token altamente correlati, integrando i limiti del modulo di attenzione nella modellazione delle dipendenze cross-channel.

3. Architettura della Rete
L'architettura complessiva di IET segue i design standard dei Transformer per la SR, ma sostituisce i blocchi di attenzione standard con blocchi IEA e i FFN standard con SF-FFN. La codifica posizionale relativa è utilizzata solo nel primo blocco (dove l'attenzione è locale), mentre viene utilizzata la Codifica Posizionale Imparabile (LePE) nei livelli successivi.

Contributi Chiave

1. Individualized Exploratory Attention (IEA): Un meccanismo che consente la selezione dei candidati di attenzione in modo consapevole del contenuto e adattivo al token. Esso espande progressivamente l'insieme dei candidati con nuovi token simili tramite propagazione, pur potando quelli a bassa somiglianza per l'efficienza.
2. Individualized Exploratory Transformer (IET): Una nuova architettura che utilizza l'IEA per catturare in modo flessibile le dipendenze globali senza compromettere l'efficienza computazionale. Modella relazioni asimmetriche, permettendo ai token di selezionare vicini unidirezionali che meglio supportano l'aggregazione delle caratteristiche.
3. Similarity-Fused FFN (SF-FFN): Un componente che potenzia lo scambio di informazioni tra token altamente correlati fondendo le caratteristiche basate sulle mappe di somiglianza raffinate dall'IEA.

Risultati Sperimentali

Gli autori hanno valutato IET sui benchmark standard di SISR (Set5, Set14, BSD100, Urban100, Manga109) con fattori di scala $\times2$, $\times3$ e $\times4$.

• Performance: Sotto budget computazionali comparabili, IET raggiunge prestazioni allo stato dell'arte.
  • Nella configurazione SR standard ($\times2$), IET supera il precedente miglior metodo, PFT, di 0.19 dB su Urban100 e di 0.39 dB rispetto ad ATD.
  • Nella configurazione SR leggera (lightweight), IET-light supera PFT-light di 0.36 dB su Urban100 ($\times2$) e ottiene un guadagno di 0.21 dB rispetto a PFT-light su Urban100 ($\times4$).
  • IET-light richiede solo il 9.1% della complessità computazionale di SwinIR pur superandolo su Set5 e Urban100.
• Studi di Ablazione:
  • Il meccanismo di propagazione è identificato come il principale motore dei guadagni di performance, superando significativamente la semplice inizializzazione basata su dilatazione.
  • La sparsificazione riduce la ridondanza computazionale e migliora leggermente le prestazioni rimuovendo le correlazioni deboli.
  • L'SF-FFN fornisce guadagni marginali ma costanti, con i migliori risultati ottenuti quando posizionato nei blocchi successivi dove le mappe di attenzione sono più stabili.
  • Le prestazioni ottimali si ottengono con un fattore di dilatazione $d=2$ per l'addestramento e $d=3$ per l'inferenza, e un rapporto $k_1/k_2$ di 2 nel passaggio di propagazione.

Significato e Rivendicazioni

Il documento afferma che l'IET proposto dimostra che le relazioni asimmetriche e individualizzate sono cruciali per ripristinare texture complesse e preservare le strutture nella SISR. Passando da confini di gruppo rigidi verso un'esplorazione dei vicini adattiva al token e consapevole del contenuto, il modello raggiunge un'aggregazione delle informazioni più precisa.

Gli autori sottolineano che il loro metodo raggiunge una qualità di ricostruzione superiore (bordi nitidi e texture pulite) mantenendo un'efficienza computazionale comparabile ai metodi di attenzione raggruppata esistenti. Il lavoro suggerisce che la modellazione della natura direzionale della somiglianza permette un compromesso più efficace tra campi ricettivi globali e costo computazionale, offrendo una potenziale direzione per compiti di visione e linguaggio più ampi oltre la super-risoluzione.