Towards Redundancy Reduction in Diffusion Models for Efficient Video Super-Resolution

1. Enunciato del Problema

Sebbene i modelli di diffusione abbiano ottenuto risultati all'avanguardia nella generazione e nel ripristino video, la loro adattamento diretto alla Super-Risoluzione Video (VSR) presenta sfide significative:

• Disallineamento del Compito: La generazione video parte da rumore casuale per sintetizzare struttura e dettaglio. Al contrario, la VSR è un compito di ripristino condizionato in cui l'input a bassa qualità (LQ) contiene già informazioni sostanziali su geometria, movimento e contenuto.
• Ridondanza: Applicare l'intera macchina generativa (progettata per la sintesi da rumore a immagine) alla VSR costringe il modello a eseguire operazioni superflue, come imparare a filtrare informazioni già presenti nell'input. Ciò porta a:
  • Sovraccarico Computazionale: Interazioni di attenzione a lungo raggio non necessarie e passaggi di codifica pesanti (es. encoder VAE, estrattori di prompt).
  • Onere di Apprendimento: Il modello fatica a sopprimere interazioni irrilevanti piuttosto che concentrarsi sul perfezionamento dei dettagli.
• Complessità del Mondo Reale: I video reali soffrono di degradazioni diverse e imprevedibili (sfocatura, rumore, compressione) che sono spesso temporalmente inconsistenti, rendendo difficile l'addestramento.

2. Metodologia: OASIS

Gli autori propongono OASIS (One-step Attention Specialization for Inference Speed), un modello di diffusione a un passo efficiente progettato per mitigare la ridondanza preservando al contempo le conoscenze pre-addestrate.

A. Instradamento per Specializzazione dell'Attenzione (ASR)

Invece di trattare tutte le testine di attenzione in un Diffusion Transformer (DiT) come processori globali identici, OASIS ne analizza i comportamenti intrinseci e li instrada a pattern specifici:

• Osservazione: L'analisi dei DiT pre-addestrati rivela che, mentre alcune testine mostrano un'attenzione globale, altre si comportano costantemente come processori localizzati (attenzione intra-frame o a finestra).
• Meccanismo:
  • Il modello calcola la divergenza KL tra la distribuzione di attenzione globale originale di una testina e alternative localizzate (intra-frame e a finestra).
  • Le testine vengono classificate in base alla somiglianza con i pattern localizzati.
  • Un algoritmo di instradamento assegna testine specifiche alle modalità di attenzione Globale, Intra-frame o a Finestra in base a un rapporto predefinito ($\rho$).
• Vantaggio: Questo riduce la ridondanza prevenendo interazioni a lungo raggio non necessarie che diluiscono i segnali di texture e movimento locali, mantenendo al contempo la capacità del modello di catturare il contesto globale dove necessario.

B. Riduzione della Ridondanza nel Condizionamento

Per ridurre ulteriormente i costi computazionali, OASIS semplifica la pipeline di condizionamento in ingresso:

• Rimozione dell'Encoder VAE: Invece di utilizzare un pesante encoder VAE per mappare il video LQ nello spazio latente, OASIS utilizza una leggera operazione di Pixel-Unshuffle seguita da una Proiezione Lineare. Gli esperimenti dimostrano che ciò preserva le informazioni strutturali (disposizione della scena, confini) in modo paragonabile all'encoder VAE.
• Rimozione dell'Estrattore di Prompt: Poiché il video LQ stesso fornisce un condizionamento sufficiente, l'estrattore di prompt viene omesso e viene utilizzato un prompt vuoto.

C. Strategia di Addestramento Progressivo

Per affrontare l'onere di apprendimento causato dalle semplificazioni architetturali e dalle complesse degradazioni del mondo reale, viene adottata una strategia di apprendimento curriculare in due fasi:

1. Fase 1 (Temporalmente Coerente): Il modello viene addestrato su dati sintetici in cui tutti i fotogrammi di una sequenza video condividono lo stesso tipo e grado di degradazione. Questo stabilisce le capacità fondamentali di ripristino.
2. Fase 2 (Temporalmente Incoerente): L'addestramento si sposta su scenari realistici in cui le degradazioni variano da fotogramma a fotogramma (simulando movimento instabile della telecamera, compressione variabile, ecc.).

• Funzioni di Perdita: Il modello ottimizza una combinazione di:
  • Perdita di Ricostruzione Latente: MSE tra latenti predetti e ground-truth.
  • Perdita Perceptiva: Combina MSE e LPIPS nello spazio dei pixel per migliorare la fedeltà visiva.
  • Perdita Temporale: Utilizza la warping del flusso ottico per imporre la coerenza da fotogramma a fotogramma.

3. Contributi Chiave

1. Architettura OASIS: Un nuovo modello di diffusione a un passo che introduce l'Instradamento per Specializzazione dell'Attenzione (ASR) per assegnare dinamicamente le testine di attenzione a pattern globali o localizzati, riducendo significativamente la ridondanza.
2. Condizionamento Efficiente: Sostituisce pesanti encoder VAE ed estrattori di prompt con proiezioni pixel-unshuffle leggere e prompt vuoti, riducendo drasticamente il sovraccarico computazionale senza sacrificare la fedeltà strutturale.
3. Addestramento Progressivo: Una strategia curriculare che transita da degradazioni temporalmente coerenti a incoerenti, permettendo al modello di gestire efficacemente scenari complessi del mondo reale.
4. Prestazioni All'Avanguardia: Raggiunge qualità di ricostruzione e velocità di inferenza superiori rispetto ai metodi VSR basati su diffusione esistenti.

4. Risultati Sperimentali

• Prestazioni: OASIS ottiene risultati All'Avanguardia (SOTA) su molteplici benchmark (UDM10, SPMCS, YouHQ40, RealVSR, MVSR4x). Si posiziona al primo o secondo posto in 27 metriche su 30 riportate, eccellendo sia nella precisione a livello di pixel (PSNR, SSIM) che nella qualità percettiva (DOVER, CLIP-IQA).
• Efficienza:
  • Accelerazione: OASIS è circa 6,2 volte più veloce della baseline a un passo SeedVR2.
  • Parametri: Utilizza meno parametri (1,42B) rispetto ad altri modelli di diffusione ad alte prestazioni (es. SeedVR2 a 3,4B).
  • Tempo di Esecuzione: Su un video di 33 fotogrammi a 720×1280 (GPU A100), OASIS impiega 4,97 secondi, rispetto ai 30,81 secondi di SeedVR2.
• Studi di Ablazione:
  • ASR: Supera l'attenzione globale uniforme e le baseline a pattern singolo (intra-frame/finestra), dimostrando che l'attenzione ibrida è ottimale.
  • Architettura: La rimozione dell'encoder VAE e dell'estrattore di prompt riduce i MAC e il tempo di esecuzione con una perdita di prestazioni trascurabile.
  • Addestramento: La strategia progressiva (S1+S2) supera significativamente l'addestramento su dati incoerenti da soli, migliorando la coerenza temporale ($E^*_{warp}$).

5. Significato

Questo lavoro affronta un collo di bottiglia critico nell'applicazione dell'IA generativa ai compiti di ripristino: il disallineamento tra i paradigmi di generazione e di ripristino. Identificando e rimuovendo componenti ridondanti (attenzione globale dove è sufficiente quella locale, encoder pesanti dove sono sufficienti semplici proiezioni), OASIS dimostra che:

• I modelli di diffusione possono essere resi altamente efficienti per la VSR senza ri-addestramento da zero o l'uso di risorse computazionali massive.
• L'adattamento architetturale specifico per il compito è più efficace rispetto alla semplice aggiunta di ulteriori moduli a un backbone generativo.
• I modelli di diffusione a un passo sono fattibili per il ripristino video in tempo reale e di alta qualità, colmando il divario tra potenza generativa teorica e implementazione pratica.