NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results

以下是基于论文《NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results》的详细技术总结：

1. 问题背景 (Problem)

视频显著性预测（Video Saliency Prediction）旨在模拟人类视觉系统（HVS），自动预测用户在观看视频时注意力集中的区域。该技术在多媒体压缩、客观质量评估、自适应内容重定向、媒体增强以及沉浸式内容（如 360°视频）的优化编码中具有重要应用。

然而，现有的视频显著性数据集存在局限性：

• 数据规模小：传统数据集（如 Hollywood-2, DHF1K）通常只有几百到一千多个视频，且标注人数较少。
• 采集成本高：高质量的眼动追踪（Eye-tracking）设备昂贵且难以大规模扩展。
• 数据多样性不足：缺乏涵盖多种场景、时长和视角的多样化视频数据。

NTIRE 2026 挑战赛旨在解决上述问题，通过构建大规模、多样化的视频显著性数据集，并推动基于深度学习（特别是大模型）的预测方法研究。

2. 核心贡献与数据集 (Key Contributions & Dataset)

主要贡献：

• 发布新数据集：构建了一个包含 2,000 个 多样化视频的新数据集，总帧数超过 100 万帧。
• 大规模众包标注：利用众包鼠标追踪技术（Crowdsourced Mouse Tracking），收集了超过 5,000 名 评估者的注视数据。每个视频平均有超过 70 名评估者。
• 数据质量提升：通过参与者筛选、注视数据过滤及后处理技术，显著提升了众包数据的质量，使其接近专业眼动仪的数据水平。
• 开源：所有数据、代码及基准模型均已公开（GitHub 链接见论文）。

数据集细节：

• 来源：基于 YouTube 的公开视频（CC-BY 许可），包括 FineVideo 等数据集。
• 预处理：统一为 FullHD 分辨率，30 FPS，使用 libx264 编码，音频标准化为 EBU R128 标准。
• 划分：训练集 1,200 个视频，测试集 800 个视频（其中 300 个为公开测试子集，500 个为私有测试子集）。

3. 方法论 (Methodology)

本次挑战赛吸引了 20 多支队伍，最终 7 支队伍进入决赛并通过了代码审查。获胜方案普遍采用了大规模预训练视频骨干网络（Large Pretrained Video Backbones）结合多尺度时空建模的策略。

主要获奖团队的方法论如下：

• iLearn (冠军)：

  • 架构：基于共享的 InternVideo2 骨干网络，采用多专家集成框架（Multi-expert Ensemble）。
  • 创新点：设计了两个互补的解码器。
    • Expert 1：利用深层特征生成显式的时间注意力图，结合空间先验（中心偏置）和 FiLM 调制。
    • Expert 2：采用多尺度解码，引入深度辅助监督（Deep Auxiliary Supervision）和时序门控机制。
  • 融合：在 Logit 空间对两个专家的预测进行平均，再投影回概率空间。

• CVSP (亚军)：

  • 架构：基于 V-JEPA2（一种自监督视频预测模型）的骨干网络。
  • 核心思想：基于预测编码理论（Predictive Coding），认为显著性区域对应于模型预测误差最大的区域（即违反物理直觉或预期的部分）。
  • 实现：利用 V-JEPA2 学习到的隐式物理理解（如物体恒常性），通过 3D 卷积解码器将时空特征映射为显著性图。

• ARK MMLAB (季军)：

  • 架构：基于 InternVideo2 的层次化模型。
  • 创新点：提取多层级时空特征，通过特征上采样模块对齐分辨率，并引入时序注意力机制（Temporal Attention）动态强调关键帧，最后通过层次化解码器融合特征。

• 其他优秀方案：

  • Vertex：扩展了 TMFI 模型，引入了自底向上（Bottom-up）的特征聚合路径，与原有的自顶向下融合形成双向增强，增加了特征尺度。
  • AAM：提出了“关注任意事物模型”（Attend to Anything Model），利用双曲空间（Hyperbolic Space）进行层级语义学习，并融合音频、文本和视觉模态，使用 Fokker-Planck 动力学建模注意力的时空演化。
  • SHU-MIIPLab：提出了 SSF-DiffNet，一种基于状态空间模型（State Space Model, Mamba）驱动的扩散模型，利用光流和 RGB 帧引导去噪过程。
  • NTR：采用双流网络，结合预训练的视频骨干（R(2+1)D）捕捉运动线索和图像骨干（ConvNeXt）捕捉静态细节，并融合高斯中心先验。

4. 实验结果 (Results)

• 评估指标：使用了四个广泛认可的指标：皮尔逊相关系数 (CC)、相似度 (SIM)、Judd 曲线下面积 (AUC-Judd) 和归一化扫描路径显著性 (NSS)。
• 排名情况：
  • iLearn 以综合排名第一的成绩获胜，其 CC 值达到 0.8280（私有测试集）。
  • CVSP 紧随其后，CC 值为 0.8272。
  • ARK MMLAB 排名第三。
  • 所有参赛模型的性能均显著优于基线方法（Center Prior，仅基于中心偏置的高斯分布）。
• 关键发现：
  • 使用大规模预训练视频基础模型（如 InternVideo2, V-JEPA2）作为骨干网络是取得高性能的关键。
  • 多尺度时空特征融合、自监督学习表示以及集成策略（Ensemble）能有效提升预测精度。
  • 众包鼠标追踪数据经过严格处理后，足以支撑训练高性能的显著性预测模型。

5. 意义与影响 (Significance)

• 推动数据建设：该挑战证明了通过改进的众包方法可以低成本构建大规模、高质量的视频显著性数据集，为未来研究提供了宝贵资源。
• 技术范式转移：结果展示了从传统的低层视觉特征或轻量级 CNN 向大规模预训练视频基础模型（Foundation Models）转变的趋势。利用自监督学习获得的通用时空表征，显著提升了显著性预测的泛化能力。
• 应用价值：更准确的视频显著性模型将直接受益于视频压缩（减少非显著区域带宽）、视频质量评估、VR/AR 内容优化以及人机交互系统。
• 社区贡献：通过公开数据集和代码，降低了研究门槛，促进了学术界和工业界在视频理解领域的合作与创新。

总结来说，NTIRE 2026 视频显著性预测挑战赛不仅发布了一个高质量的大规模数据集，还确立了基于预训练大模型和复杂时空建模的新一代显著性预测技术路线，为该领域的未来发展指明了方向。