NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results

Panoramica del Problema

La previsione della salienza video (Video Saliency Prediction) mira a modellare il comportamento del sistema visivo umano (HVS) prevedendo automaticamente le regioni di un video che attireranno l'attenzione. A differenza delle immagini statiche, la salienza video deve gestire complessità temporali, dinamiche di movimento e interazioni audio-visive.
Il problema principale affrontato in questa sfida risiede nella mancanza di dataset su larga scala di alta qualità con annotazioni di fissazione oculare (eye-tracking). La raccolta di dati tramite eye-tracker è costosa e difficile da scalare, limitando la disponibilità di dati di addestramento per modelli moderni basati sul deep learning.

Dataset e Metodologia della Sfida

Gli organizzatori hanno creato un nuovo dataset specifico per la sfida, composto da 2.000 video diversi (oltre 1 milione di frame) con licenza aperta (CC-BY).

• Raccolta Dati: Invece di utilizzare costosi dispositivi eye-tracking, è stato impiegato un metodo di crowdsourcing basato sul tracciamento del mouse. Oltre 5.000 valutatori hanno guardato i video, generando dati di fissazione per oltre 70 persone per ogni video.
• Preprocessing: I dati grezzi sono stati filtrati e processati per migliorare la qualità, avvicinandola a quella ottenuta con eye-tracker professionali.
• Divisione: Il dataset è stato diviso in un set di addestramento (1.200 video) e un set di test (800 video, suddivisi in pubblico e privato).
• Metriche di Valutazione: Le soluzioni sono state valutate utilizzando quattro metriche standard: Coefficiente di Correlazione di Pearson (CC), Similarità (SIM), Area Under the Curve (AUC-Judd) e Normalized Scanpath Saliency (NSS).

Contributi Chiave e Metodi Proposti

La sfida ha visto la partecipazione di oltre 20 team, con 7 squadre che hanno superato la fase finale con revisione del codice. Le soluzioni di punta hanno mostrato una forte tendenza verso l'uso di backbone pre-addestrati su larga scala e modelli di fusione multi-modale.

Ecco i metodi principali delle squadre vincitrici:

1. iLearn (1° Posto):

   • Architettura: Un framework di ensemble multi-esperto basato su InternVideo2 (6B parametri).
   • Innovazione: Utilizza due decoder complementari: uno modula le caratteristiche temporali con prior spaziali (bias centrale), l'altro utilizza una supervisione ausiliaria profonda per apprendere rappresentazioni multi-scala. Le previsioni vengono fuse nello spazio dei logit.
   • Punti di forza: Eccellente gestione di soggetti centrali e dinamiche temporali stabili.

2. CVSP (2° Posto):

   • Architettura: Basata su V-JEPA2 (Vision-JEPA 2), un modello auto-supervisionato per la previsione di video.
   • Innovazione: Sfrutta la teoria della "predictive coding". L'idea è che l'attenzione umana sia guidata dagli errori di predizione (ciò che è inaspettato). Il modello decodifica le rappresentazioni interne di V-JEPA2 per generare mappe di salienza basate su errori di previsione spaziotemporale.

3. ARK MMLAB (3° Posto):

   • Architettura: Modello gerarchico su InternVideo2-1B.
   • Innovazione: Introduce un modulo di attenzione temporale che pesa i frame più salienti prima della decodifica, combinando caratteristiche da quattro livelli di profondità in un decoder gerarchico top-down.

4. Altri Metodi Notevoli:

   • Vertex: Estende il modello TMFI aggiungendo un percorso di aggregazione bottom-up a quello top-down originale, creando un flusso bidirezionale che fonde 8 scale di caratteristiche.
   • AAM (Attend to Anything Model): Un approccio multimodale che integra video, testo e audio. Utilizza spazi iperbolici per modellare le relazioni semantiche gerarchiche e dinamiche di Fokker-Planck per l'evoluzione dell'attenzione nel tempo.
   • SHU-MIIPLab: Propone SSF-DiffNet, un modello di diffusione guidato da stati spaziali (State Space Models) che fonde frame RGB e flusso ottico per la previsione.
   • NTR: Una rete dual-stream che combina un backbone video (per il movimento) e un backbone immagine (per i dettagli spaziali statici), fusi con un prior centrale appreso.

Risultati

• Prestazioni: Le soluzioni migliori hanno ottenuto punteggi significativamente superiori alla baseline (Center Prior). La squadra iLearn ha ottenuto il miglior punteggio medio, con un CC di 0.8280 sul set di test privato.
• Trend Tecnico: I risultati confermano che l'uso di backbone video pre-addestrati su larga scala (come InternVideo2 e V-JEPA2) è fondamentale per ottenere prestazioni di stato dell'arte. Inoltre, l'integrazione di meccanismi di fusione multi-scala e l'uso di prior (come il bias centrale) rimangono strategie efficaci.
• Confronto: Le soluzioni basate su modelli generativi o di previsione (come V-JEPA2 e Diffusion) hanno dimostrato di poter catturare efficacemente le dinamiche temporali complesse.

Significato e Impatto

Questo lavoro è significativo per diversi motivi:

1. Nuovo Standard di Dati: Il dataset di 2.000 video con annotazioni crowdsourced di alta qualità fornisce una risorsa preziosa per la comunità di ricerca, superando i limiti dei precedenti dataset (come DHF1K o Hollywood-2) in termini di dimensioni e diversità.
2. Validazione dei Metodi Crowdsourced: Dimostra che, con un'attenta filtrazione e post-elaborazione, i dati raccolti tramite mouse tracking possono sostituire efficacemente l'eye-tracking costoso per l'addestramento di modelli di salienza video.
3. Avanzamento dello Stato dell'Arte: La sfida ha spinto l'adozione di modelli foundation video (VLMs) e tecniche di apprendimento auto-supervisionato nel campo della salienza, aprendo nuove direzioni per la ricerca futura.
4. Applicazioni Pratiche: I modelli sviluppati hanno implicazioni dirette per la compressione video percettiva, la valutazione della qualità oggettiva, il retargeting di contenuti adattivi e l'interazione uomo-macchina.

Tutti i dati, il codice e le soluzioni sono stati resi pubblici, facilitando la riproducibilità e il progresso futuro nel campo della previsione della salienza video.