Trajectory-aware Shifted State Space Models for Online Video Super-Resolution

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover guardare un vecchio filmato sgranato e sfocato su un telefono, ma vuoi vederlo nitido e in alta definizione mentre lo stai guardando, senza dover aspettare minuti per il caricamento. Questo è il problema che risolve il Video Super-Resolution (VSR) Online: trasformare video a bassa qualità in alta qualità in tempo reale.

Il paper presenta un nuovo metodo chiamato TS-Mamba. Ecco come funziona, usando delle metafore quotidiane.

1. Il Problema: Guardare solo il "passato immediato"

La maggior parte dei metodi attuali per migliorare i video funziona come se tu fossi un ciclista che guarda solo la ruota posteriore della bici che ha davanti.

Come funzionano gli altri: Per ricostruire un'immagine chiara, guardano solo il fotogramma precedente (quello che è successo un millesimo di secondo fa). È come cercare di indovinare il finale di una storia leggendo solo l'ultima frase.
Il limite: Se il movimento è veloce o complesso, guardare solo un attimo indietro non basta. Perdi i dettagli. Inoltre, guardare tanti attimi indietro (il passato remoto) con i metodi attuali è come cercare di leggere 100 libri contemporaneamente: il cervello (il computer) si blocca e diventa lentissimo.

2. La Soluzione: TS-Mamba (Il Detective con la Mappa)

I ricercatori hanno creato TS-Mamba, che è come un detective molto intelligente che non guarda solo il passato immediato, ma ha una mappa del movimento (le "traiettorie").

Ecco i tre trucchi magici che usa:

A. Le "Traiettorie" (Il filo conduttore)

Immagina di lanciare una pallina in aria. Anche se la pallina è sfocata, sai che seguirà una curva precisa.

Cosa fa TS-Mamba: Invece di guardare tutto il video a caso, costruisce delle "traiettorie" invisibili che collegano i punti simili nel tempo. Se un'auto passa sullo schermo, il sistema traccia la sua strada.
Il vantaggio: Invece di cercare informazioni in tutto il video (che sarebbe lento), il sistema sa esattamente dove guardare nel passato remoto per trovare il pezzo di auto che si muove esattamente come quello attuale. È come avere un filo rosso che ti porta direttamente alla risposta giusta.

B. Il "Mamba" (Il corridore veloce)

Il cuore del sistema è una tecnologia chiamata Mamba.

L'analogia: I vecchi metodi per analizzare i video sono come un esploratore che deve visitare ogni singola stanza di un palazzo enorme, una per una. È lento.
Il Mamba: È come un corridore che ha una mappa e sa esattamente quali stanze saltare e quali visitare in linea retta. È velocissimo e consuma pochissima energia, ma riesce a vedere l'intero palazzo (il video intero) senza perdersi.

C. Lo "Shift" (Il gioco degli scacchi)

C'è un piccolo problema: quando il Mamba "scansiona" l'immagine per leggere i dati, a volte perde i dettagli proprio ai bordi, come se saltasse dei tasselli di un mosaico.

La soluzione: I ricercatori hanno inventato un trucco chiamato "Shifted SSMs" (Blocchi SSM spostati).
L'analogia: Immagina di dover leggere una riga di testo su un foglio di carta. Se leggi solo da sinistra a destra, potresti perdere la fine della riga. Ma se, dopo aver letto la prima volta, sposti il foglio di un millimetro verso l'alto e leggi di nuovo, ora vedi i dettagli che prima erano nascosti.
TS-Mamba fa questo: legge il video in un modo, poi lo "sposta" leggermente (come spostare un foglio) e lo rilegge. In questo modo, copre tutti i buchi e ricostruisce un'immagine perfetta senza perdere nulla.

3. Perché è speciale?

Fino ad ora, c'era un compromesso: o avevi video di alta qualità ma il computer si bloccava (metodi lenti), o avevi video veloci ma di bassa qualità (metodi veloci).

TS-Mamba rompe questo compromesso:

È veloce: Riesce a processare il video in tempo reale (perfetto per le videochiamate o le dirette streaming).
È intelligente: Guarda molto indietro nel tempo (fino a 15 fotogrammi prima) ma solo dove serve, grazie alle traiettorie.
Risparmia energia: Rispetto ai metodi migliori attuali, riduce il lavoro del computer di oltre il 22%. È come guidare la stessa auto con la stessa velocità ma spendendo meno benzina.

In sintesi

Immagina di dover riparare un mosaico rotto mentre il pavimento si muove sotto di te.

I vecchi metodi provavano a incollare i pezzi guardando solo il pezzo accanto.
TS-Mamba invece:
1. Disegna una mappa del movimento (Traiettorie).
2. Corre velocemente lungo la mappa (Mamba).
3. Sposta leggermente la sua visuale per assicurarsi di non perdere nessun tassello (Shift).

Il risultato? Video nitidi, fluidi e pronti all'istante, anche su dispositivi con poca potenza. È un passo avanti enorme per guardare i nostri video preferiti in alta definizione, ovunque e in qualsiasi momento.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

La Super-Risoluzione Video (VSR) Online è una tecnica cruciale per applicazioni in tempo reale come videoconferenze e trasmissioni live. L'obiettivo è ricostruire un fotogramma ad alta risoluzione (HR) corrente basandosi solo sul fotogramma a bassa risoluzione (LR) corrente e sui fotogrammi precedenti, senza accesso ai fotogrammi futuri (a differenza della VSR offline).

Le sfide principali identificate nel paper sono:

Limitazione temporale: La maggior parte dei metodi online esistenti utilizza solo il fotogramma precedente immediato per l'allineamento temporale, limitando la capacità di modellare dipendenze a lungo raggio.
Complessità computazionale: I metodi avanzati che sfruttano informazioni temporali a lungo raggio (basati su Transformer, Diffusion o allineamento deformabile complesso) hanno un'alta complessità computazionale, rendendoli inadatti per applicazioni in tempo reale con risorse limitate.
Perdita di continuità spaziale nei modelli SSM: I recenti modelli a spazio di stato (SSM), come Mamba, offrono una complessità lineare e un campo ricettivo globale, ma la loro conversione delle immagini 2D in token 1D tramite scansioni (es. Hilbert) introduce discontinuità spaziali che degradano la qualità della ricostruzione.

2. Metodologia: TS-Mamba

Il paper propone TS-Mamba (Trajectory-aware Shifted Mamba), un nuovo modello online VSR che combina la modellazione di traiettorie a lungo termine con l'efficienza dei modelli Mamba. L'architettura si articola in tre fasi principali:

A. Generazione di Token e Traiettorie

Il sistema estrae i token dai fotogrammi LR correnti e precedenti. Viene costruita una traiettoria per ogni token nel video, che rappresenta il percorso spaziale di un punto nel tempo.

Selezione dei Token: Invece di aggregare tutti i token dei fotogrammi precedenti, il modello seleziona dinamicamente i token più simili lungo le traiettorie generate. Questo permette di focalizzare l'aggregazione sulle informazioni temporali più rilevanti, riducendo il rumore e la complessità.

B. Aggregazione Mamba Shifted Consapevole della Traiettoria (TSMA)

I token selezionati e il token corrente vengono aggregati tramite un modulo speciale chiamato TSMA. Questo modulo affronta il problema della discontinuità spaziale intrinseca alle scansioni SSM attraverso una strategia "Scan-Shift-Scan":

Scansione: Utilizza scansioni di Hilbert per convertire i token spaziotemporali in sequenze 1D.
Shift (Spostamento): Introduce operazioni di spostamento delle finestre (es. Up 1, Up Left 1) basate su quattro direzioni di scansione di Hilbert.
Compensazione: Due rami paralleli di blocchi Shifted SSM (S-SSMs) compensano le perdite di continuità:
- Un ramo compensa le discontinuità intra-finestra (dentro la finestra locale).
- Un ramo compensa le discontinuità inter-finestra (tra le finestre adiacenti).
  Questa architettura garantisce una continuità spaziale superiore rispetto alle scansioni bidirezionali o incrociate standard, mantenendo la complessità lineare.

C. Funzione di Perdita Consapevole della Traiettoria

Viene proposta una nuova funzione di perdita ( $L_{trj}$ ) per supervisionare la generazione delle traiettorie durante l'addestramento. Questa perdita assicura che le traiettorie generate siano accurate, garantendo così la corretta selezione dei token simili e migliorando la qualità finale della ricostruzione.

3. Contributi Chiave

Primo modello VSR online basato su SSM: TS-Mamba è il primo approccio che utilizza modelli a spazio di stato (Mamba) per la VSR online, aggregando informazioni spaziotemporali a lungo raggio a livello di token.
Integrazione di Traiettorie in Mamba: Introduce per la prima volta il concetto di "traiettorie video" all'interno di Mamba per selezionare i token più pertinenti, permettendo un'aggregazione efficiente e mirata.
Blocchi S-SSM Innovativi: Progetta blocchi SSM spostati basati su scansioni di Hilbert e operazioni di shift specifiche per eliminare le discontinuità spaziali, migliorando la continuità locale senza aumentare significativamente la complessità.
Efficienza e Prestazioni: Dimostra che è possibile ottenere prestazioni SOTA (State-of-the-Art) riducendo drasticamente la complessità computazionale rispetto ai metodi esistenti.

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset ampiamente utilizzati: REDS4, Vid4 e Vimeo-90K-T, con degradazioni bicubiche (BI) e di sfocatura (BD).

Prestazioni di Qualità: TS-Mamba raggiunge prestazioni SOTA in termini di PSNR e SSIM rispetto a sei modelli benchmark online (inclusi BasicVSR++, FDAN, KSNet, TMP).
Riduzione della Complessità: Rispetto ai metodi SOTA, TS-Mamba riduce la complessità computazionale (MACs) di oltre il 22.7% (e fino al 36.3% rispetto a TMP), pur mantenendo un numero di parametri simile (~3.0M).
Velocità: Raggiunge una velocità di inferenza di 33.5 FPS su risoluzioni 720p, rendendolo uno dei metodi online più veloci, secondo solo a TMP (che però ha MACs molto più alti).
Analisi di Ablazione: Gli esperimenti confermano che ogni componente (generazione di traiettorie, perdita $L_{trj}$ , rami di compensazione intra/inter-finestra) contribuisce significativamente alle prestazioni finali.

5. Significato e Impatto

Il lavoro di TS-Mamba è significativo perché colma il divario tra l'efficienza computazionale richiesta dalle applicazioni in tempo reale e la necessità di modellare dipendenze temporali a lungo raggio per una ricostruzione video di alta qualità.

Superamento dei limiti CNN/Transformer: Dimostra che i modelli SSM, se opportunamente adattati per gestire la continuità spaziale (tramite shift operations), possono superare i limiti delle architetture basate su CNN (campo ricettivo locale) e Transformer (costo quadratico).
Applicabilità Reale: La combinazione di alta qualità, bassa latenza e ridotta complessità rende TS-Mamba una soluzione ideale per dispositivi edge, streaming live e videoconferenze, dove le risorse di calcolo sono limitate.

In sintesi, TS-Mamba rappresenta un passo avanti fondamentale verso l'efficienza nella super-risoluzione video online, introducendo un nuovo paradigma di aggregazione spaziotemporale basato su traiettorie e scansioni spaziali ottimizzate.