NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results

Overzicht

Dit paper presenteert een overzicht van de NTIRE 2026 Challenge gericht op Video Saliency Prediction (voorspelling van visuele aandacht in video's). Het doel van de challenge was het ontwikkelen van automatische methoden om salientiekaarten (aandachtskaarten) te genereren voor video-sequenties. De challenge trok meer dan 20 teams, waarvan er 7 de finale fase haalden na een code-review.

1. Het Probleem en de Dataset

Het fundamentele probleem is het modelleren van het menselijke visuele systeem (HVS) om te voorspellen waar mensen naar kijken in dynamische video's. Traditionele methoden waren vaak beperkt door kleine datasets met dure oogvolgdata (eye-tracking).

• Nieuwe Dataset: Voor deze challenge is een nieuw, open-source dataset samengesteld bestaande uit 2.000 diverse video's (totaal >1 miljoen frames) met een CC-BY licentie.
• Data Collectie: In plaats van dure eye-trackers, werd gebruikgemaakt van crowdsourced muis-tracking. Meer dan 5.000 beoordelaars hebben de video's bekeken en hun aandacht gevolgd met de muis.
• Data Kwaliteit: De muisbewegingen zijn gefilterd en verwerkt om fixatiekaarten te genereren. Deze zijn vervolgens gegauiseerd en genormaliseerd tot salientiekaarten die de waarschijnlijkheidsdichtheid van aandacht representeren. Per video zijn er gemiddeld >70 beoordelaars, wat de dataset robuust maakt.
• Verdeling: De dataset is verdeeld in een trainingsset (1.200 video's) en een testset (800 video's), waarbij de testset verder is opgesplitst in een publieke (300 video's) en een private subset (500 video's) voor de definitieve evaluatie.

2. Methodologie en Toegangstechnieken

De deelnemende teams gebruikten geavanceerde deep learning-architecturen, vaak gebaseerd op grote voorgeöefende video-modellen (foundation models). De winnende en hoogst geklasseerde methoden zijn als volgt:

• iLearn (1e plaats):

  • Architectuur: Een multi-expert ensemble-framework gebaseerd op de InternVideo2 backbone.
  • Techniek: Ze gebruiken twee complementaire decoders. Expert 1 gebruikt een temporale attentiekaart met ruimtelijke prioren (centrum-bias), terwijl Expert 2 een multi-scale decoder gebruikt met diepe hulp-supervisie.
  • Fusie: De voorspellingen worden in de logit-ruimte geënsambleerd (gemiddeld na inverse sigmoid) om de uiteindelijke salientiekaart te genereren.
  • Training: Twee-fasen training waarbij de backbone eerst vaststaat en later wordt fijngefineerd met LoRA (Low-Rank Adaptation).

• CVSP (2e plaats):

  • Architectuur: Gebaseerd op V-JEPA2 (Video Joint Embedding Predictive Architecture).
  • Theorie: Gebaseerd op predictive coding: het menselijk brein richt zich op onverwachte bewegingen of fouten in voorspellingen. Omdat V-JEPA2 is getraind om gemaskeerde video-regio's te voorspellen, leert het impliciete fysica en objectpermanence.
  • Implementatie: De interne representaties van V-JEPA2 worden gebruikt als basis voor een 3D-convolutie-decoder met multi-scale skip-connections om salientie te voorspellen op basis van voorspellingsfouten.

• ARK MMLAB (3e plaats):

  • Architectuur: Een hiërarchisch model op basis van InternVideo2.
  • Techniek: Het extrahert multi-level spatiotemporale features en gebruikt een Feature Upsampling Module en een Temporal Attention mechanisme om de belangrijkste frames te benadrukken. Een hiërarchische decoder voegt deze features top-down samen.

• Andere Opvallende Methodes:

  • Vertex: Breidt het bestaande TMFI-model uit door een bottom-up aggregatiepad toe te voegen aan het bestaande top-down fusieproces, wat leidt tot 8 schalen van features in plaats van 4.
  • AAM: Een multimodaal model dat visuele, auditieve en tekstuele inputs combineert. Het gebruikt hyperbolische ruimte voor hiërarchisch leren en Fokker-Planck Dynamics om de evolutie van aandacht over de tijd te modelleren.
  • SHU-MIIPLab: Een Diffusion Model (SSF-DiffNet) dat RGB-frames en optische flow combineert via State Space Models (Mamba-architectuur) voor het genereren van salientiekaarten.
  • NTR: Een Dual-Stream Network dat een video-stroom (voor beweging, R(2+1)D) combineert met een frame-stroom (voor ruimtelijke details, ConvNeXt), gefuseerd met een Gaussische centrum-bias prior.

3. Resultaten

De prestaties werden gemeten met vier standaardmetrieken:

1. Pearson's Correlation Coefficient (CC)
2. Similarity (SIM)
3. Area Under the Curve (AUC-Judd)
4. Normalized Scanpath Saliency (NSS)

• Top Prestaties: Het team iLearn behaalde de eerste plaats met een CC-score van 0.8280 op de private testset, gevolgd door CVSP (0.8272).
• Vergelijking met Baseline: De organisa-tie-baseline (een simpele "Center Prior" die alleen het midden van het beeld benadrukt) scoorde aanzienlijk lager (CC ~0.41), wat aantoont dat de geavanceerde modellen de complexe dynamiek van visuele aandacht veel beter begrijpen.
• Modelgrootte: De winnende modellen variëren in grootte van enkele miljoenen parameters (NTR: 64M) tot zeer grote modellen (iLearn: 6880M parameters), waarbij de grotere modellen over het algemeen beter presteerden dankzij de kracht van voorgeöefende backbones.

4. Belangrijkste Bijdragen

1. Grootste Open Video Saliency Dataset: De release van een dataset van 2.000 video's met data van >5.000 mensen, wat een nieuwe standaard zet voor het veld.
2. Validatie van Crowdsourcing: Het paper bevestigt dat hoogwaardige salientiedata kan worden verkregen via crowdsourced muis-tracking, mits er adequate filtering en post-processing wordt toegepast.
3. State-of-the-Art Methodes: Het paper documenteert de overgang van traditionele CNN's naar het gebruik van grote voorgeöefende video-foundation models (zoals InternVideo2 en V-JEPA2) en generatieve modellen (Diffusion) voor salientie-taken.
4. Multimodaliteit en Dynamiek: De resultaten tonen aan dat het integreren van audio, tekst en complexe temporale dynamica (via predictive coding of Fokker-Planck dynamics) de prestaties aanzienlijk verbetert.

5. Significatie en Toekomstperspectief

Deze challenge en de gepresenteerde methoden zijn van groot belang voor diverse toepassingen:

• Video Compressie: Salientiegeleide codering kan bits toewijzen aan belangrijke gebieden.
• Kwaliteitsbeoordeling: Objectieve kwaliteitsmeting van video-inhoud.
• Content Retargeting: Het automatisch aanpassen van video-inhoud voor verschillende schermformaten.
• VR/AR: Optimalisatie van 360° video-streaming.

De bevindingen suggereren dat de toekomst van video salientie ligt in het gebruik van grote, voorgeöefende multimodale modellen die niet alleen kijken naar pixelverschillen, maar ook naar semantische betekenis, beweging en voorspellende patronen in de wereld. Alle data en code zijn openbaar beschikbaar gesteld via GitHub om verdere research te stimuleren.