SalFormer360: a transformer-based saliency estimation model for 360-degree videos

Sintesi Tecnica: SalFormer360

Definizione del Problema
La stima della salienza è fondamentale per ottimizzare l'esperienza di trasmissione e visione dei video a 360 gradi (omnidirezionali), in particolare per compiti come la predizione del viewport e l'ottimizzazione dei contenuti. Tuttavia, i metodi esistenti affrontano sfide significative a causa della geometria sferica dei contenuti a 360 gradi, che introduce distorsioni geometriche nelle proiezioni equirettangolari. Inoltre, molti approcci allo stato dell'arte si affidano a tecniche computazionalmente onerose, come le convoluzioni sferiche, le proiezioni cubemap o l'elaborazione di lunghe sequenze temporali (spesso superiori a 10 fotogrammi) e il flusso ottico. Questi metodi comportano spesso un elevato carico computazionale e requisiti di memoria, rendendoli meno adatti all'implementazione in tempo reale su dispositivi con risorse limitate, come i visori per la realtà virtuale (HMD). Inoltre, modellare accuratamente il comportamento visivo umano, specificamente la tendenza a concentrarsi inizialmente al centro dell'inquadratura (Viewing Center Bias), rimane un compito complesso che molti modelli non affrontano pienamente.

Metodologia
Gli autori propongono SalFormer360, un modello di stima della salienza leggero basato su transformer, progettato specificamente per i video a 360 gradi. L'architettura si basa sui seguenti componenti:

1. Encoder (Backbone SegFormer): Il modello utilizza l'encoder di SegFormer, un'architettura basata su transformer originariamente sviluppata per la segmentazione semantica 2D. Gli autori hanno perfezionato questo encoder per gestire i fotogrammi equirettangolari a 360 gradi. Per catturare la dinamica temporale, il modello accetta due fotogrammi in input: il fotogramma corrente ($t$) e un fotogramma precedente ($t-5$). Questi vengono concatenati lungo la dimensione dei canali per formare un input a 6 canali, con i pesi del primo strato convolutivo adattati per accoglierli.
2. Decoder Personalizzato: Un decoder su misura elabora le mappe delle caratteristiche (feature maps) dall'encoder. Esso consiste in una sequenza di strati convoluzionali, normalizzazione del batch (batch normalization), attivazioni ReLU e upsampling bilineare per ricostruire la risoluzione spaziale. Un ultimo strato convolutivo con attivazione sigmoidale genera una mappa di salienza iniziale ($S_{init}$). Durante l'addestramento viene applicato il dropout (30%) per prevenire l'overfitting.
3. Integrazione del Viewing Center Bias (CB): Per tenere conto della tendenza umana a guardare al centro del fotogramma a 360 gradi all'avvio della riproduzione, il modello incorpora un Viewing Center Bias dinamico. Ciò viene ottenuto fondendo la predizione iniziale ($S_{init}$) con una mappa di salienza media pre-calcolata del primo fotogramma (il CB). La fusione è governata da un fattore di ponderazione dipendente dal tempo ($w_t$) definito come:
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   Il peso $w_t$ combina un parametro statico ($\beta_i$) e una funzione di decadimento dinamica ($\delta(t) = e^{-\alpha_i(t/C)^2}$). Ciò consente al modello di bilanciare adattivamente tra il bias a breve termine (forte all'inizio del video) e il bias a lungo termine, con parametri $\alpha_i$ e $\beta_i$ appresi durante l'addestramento per ogni specifico dataset.
4. Funzione di Perdita (Loss Function): Il modello viene addestrato utilizzando una funzione di perdita composita che combina quattro termini: il coefficiente di correlazione lineare di Pearson ($L_{CC}$), la divergenza di Kullback-Leibler ($L_{KL}$), l'errore quadratico medio sferico ($L_{SMSE}$) e la cross-entropy binaria ($L_{BCE}$). La $L_{SMSE}$ applica specificamente pesi sferici per penalizzare maggiormente gli errori vicino all'equatore rispetto ai poli, affrontando le distorsioni di proiezione.

Contributi Chiave

• Architettura Innovativa: Introduzione di SalFormer360, un modello basato su transformer che sfrutta il backbone SegFormer per la stima della salienza a 360 gradi, dimostrando che le architetture di segmentazione possono essere efficacemente riutilizzate per i compiti di salienza.
• Modellazione del Bias di Visione: Integrazione di un meccanismo di Viewing Center Bias apprendibile che si adatta dinamicamente in base all'indice del fotogramma e alle caratteristiche del dataset, migliorando l'accuratezza della predizione riflettendo il comportamento di esplorazione umana.
• Estensione dei Dataset: Gli autori hanno esteso i dataset PVS-HM e VR-EyeTracking generando mappe di salienza ground-truth dai dati di orientamento della testa ed estraendo i fotogrammi RGB, rendendoli più accessibili per la ricerca futura.
• Efficienza: Il modello è progettato per essere leggero, utilizzando solo due fotogrammi per il contesto temporale ed evitando complesse convoluzioni sferiche o calcoli di flusso ottico.

Risultati Sperimentali
Sono stati condotti esperimenti estesi su tre dataset benchmark su larga scala: Sport360, PVS-HM e VR-EyeTracking. Il modello è stato confrontato con una vasta gamma di metodi allo stato dell'arte, inclusi modelli video 2D, modelli di immagini a 360 gradi e modelli video a 360 gradi.

• Prestazioni: SalFormer360 ha superato i metodi esistenti in tutti e tre i dataset. In termini di Coefficiente di Correlazione di Pearson (CC), ha ottenuto miglioramenti dell'8,4% su Sport360, del 2,5% su PVS-HM e del 18,6% su VR-EyeTracking rispetto ai migliori risultati precedentemente riportati.
• Efficienza: Il modello è altamente efficiente, contenendo solo 3,7 milioni di parametri e richiedendo 14,13 MB di archiviazione. Raggiunge un costo computazionale di 1,21 GFLOPs.
• Velocità di Inferenza: Su una GPU NVIDIA L40s, il modello raggiunge un tempo di inferenza medio di 5,1 ms per fotogramma (circa 196 fps), confermando la sua idoneità per applicazioni in tempo reale.
• Studi di Ablazione: Gli esperimenti hanno confermato che sia la componente dinamica ($\delta$) che quella statica ($\beta$) del Viewing Center Bias contribuiscono alle prestazioni, con la loro importanza relativa variabile a seconda del dataset. La combinazione di tutte e quattro le funzioni di perdita ha prodotto le migliori prestazioni complessive.

Significatività e Rivendicazioni
L'articolo afferma che SalFormer360 dimostra il potere rappresentativo delle architetture transformer per la stima della salienza video a 360 gradi, mantenendo al contempo una bassa complessità computazionale. Adattando con successo un encoder di segmentazione 2D e integrando un bias di visione basato sui dati, il modello raggiunge un'accuratezza allo stato dell'arte senza l'oneroso carico computazionale delle convoluzioni sferiche o dell'elaborazione di sequenze lunghe. Gli autori sottolineano che la natura leggera del modello lo rende particolarmente adatto all'implementazione lato edge o lato client, come direttamente sui visori VR, consentendo la stima della salienza in tempo reale per la predizione del viewport e l'ottimizzazione dei contenuti immersivi. Il lavoro suggerisce che mappe di salienza accurate ed efficienti possono migliorare significamente l'efficienza di streaming dei video a 360 gradi, permettendo la trasmissione ad alta qualità delle regioni salienti mentre si riduce la qualità delle aree periferiche.