NTIRE 2026 비디오 saliency(주목도) 예측 챌린지: 방법론 및 결과 요약

1. 문제 정의 (Problem)

비디오 saliency 예측은 인간의 시각 시스템 (HVS) 이 어떻게 장면 내에서 특정 영역에 주의를 집중하는지를 모델링하여, 자동으로 주의도 맵 (saliency map) 을 생성하는 과제입니다.

• 핵심 목표: 입력 비디오 프레임의 각 픽셀이 사용자의 주의를 끌 확률 분포를 추정하는 연속적인 saliency 맵을 생성하는 것.
• 응용 분야: 지각 기반 비디오 압축, 객관적 화질 평가, 적응형 콘텐츠 리타게팅, 미디어 향상, 360° 콘텐츠 및 3D 메시 단순화 등.
• 기존 한계: 기존 데이터셋 (Hollywood-2, DHF1K 등) 은 안구 추적 (eye-tracking) 장비의 고비용과 확장성 문제로 인해 데이터 크기가 제한적이었습니다. 또한, 기존 방법들은 복잡한 시공간 (spatiotemporal) 패턴이나 오디오 정보를 효과적으로 통합하는 데 한계가 있었습니다.

2. 데이터셋 및 평가 방법 (Dataset & Evaluation)

• 새로운 데이터셋 (NTIRE 2026 Saliency Dataset):
  • 규모: 2,000 개의 다양한 비디오 (총 100 만 프레임 이상) 로 구성됨.
  • 라이선스: CC-BY 오픈 라이선스.
  • 데이터 수집: 5,000 명 이상의 크라우드소싱 평가자가 참여한 마우스 추적 (mouse tracking) 을 통해 fixation 데이터를 수집. 각 비디오당 평균 70 명 이상의 평가자 데이터 보유.
  • 전처리: FullHD 해상도, 30fps, libx264 코덱, EBU R128 표준에 따른 오디오 정규화 등을 적용.
  • 품질 향상: 기존 크라우드소싱 기법을 기반으로 필터링 및 후처리 과정을 개선하여 안구 추적 장비 수준의 데이터 품질을 달성.
• 평가 지표: 4 가지 널리 사용되는 지표를 사용.
  • 피어슨 상관계수 (CC), 유사도 (SIM), AUC-Judd, 정규화된 스캔패스 saliency (NSS).
  • 최종 순위는 4 가지 지표의 평균 랭킹을 기준으로 결정.
• 데이터 분할: 학습용 1,200 개, 공개 테스트용 300 개, 비공개 테스트용 500 개 (최종 평가용).

3. 주요 방법론 및 팀별 접근법 (Methodology & Teams)

총 20 개 팀이 참가하여 7 개 팀이 최종 코드 리뷰를 통과했습니다. 상위권 팀들의 주요 기법은 다음과 같습니다.

• 1 위 (iLearn Team):

  • 기반 모델: InternVideo2 (6B) 백본 공유.
  • 핵심 기술: 두 개의 상보적인 디코더 (Expert 1 & 2) 를 활용한 앙상블.
    • Expert 1: 최심층 특징을 기반으로 한 명시적 시간적 주의 맵 생성 및 공간적 편향 (center bias) 적용.
    • Expert 2: 다중 스케일 특징 융합 및 심층 보조 감독 (deep auxiliary supervision) 활용.
  • 결합: 두 예측을 로짓 (logit) 공간에서 평균화하여 최종 맵 생성.

• 2 위 (CVSP Team):

  • 기반 모델: V-JEPA2 (Self-supervised video model).
  • 핵심 기술: 예측 코딩 (Predictive Coding) 이론 기반. V-JEPA2 가 학습한 시공간 예측 오차를 saliency 의 원천으로 활용.
  • 구조: V-JEPA2 백본에서 추출한 특징을 3D 컨볼루션 디코더와 경량 자기 주의 (self-attention) 모듈을 통해 디코딩.

• 3 위 (ARK MMLAB Team):

  • 기반 모델: InternVideo2-1B.
  • 핵심 기술: 계층적 (Hierarchical) 구조.
    • 시각 인코더에서 추출한 다중 깊이 특징을 정렬.
    • 시간적 주의 (Temporal Attention) 메커니즘을 통해 가장 중요한 프레임을 강조.
    • 상향식 (Bottom-up) 특징 업샘플링 모듈과 하향식 (Top-down) 디코더를 결합.

• Vertex Team:

  • 기반 모델: TMFI (Transformer-based Multi-scale Feature Integration) 확장.
  • 핵심 기술: 기존 TMFI 의 상향식 (Top-down) 융합에 하향식 (Bottom-up) 특징 집계 경로를 추가한 양방향 설계.
  • 효과: 4 개 스케일에서 8 개 스케일로 특징 수준 확장 및 가중치 학습을 통한 효율적 융합.

• AAM Team:

  • 핵심 기술: Attend to Anything Model.
  • 특징: 오디오, 텍스트, 시각 정보를 통합한 멀티모달 접근.
  • 기법: 하이퍼볼릭 공간 (Hyperbolic space) 에서의 위계적 함의 학습 (Hierarchical Entailment Learning) 과 Fokker-Planck 동역학 (FPD) 모듈을 사용하여 시공간 매니폴드 상에서의 주의 진화를 모델링.

• SHU-MIIPLab Team:

  • 기반 모델: SSF-DiffNet (State Space Fusion-driven Diffusion Network).
  • 핵심 기술: RGB 프레임과 광학 흐름 (Optical Flow) 을 입력으로 하는 확산 (Diffusion) 모델.
  • 구조: 상태 공간 모델 (Mamba 기반) 을 활용한 조건 생성 네트워크와 노이즈 제거 네트워크의 협업.

• NTR Team:

  • 기반 모델: 듀얼 스트림 (Dual-Stream) 네트워크.
  • 구조: 비디오 스트림 (R(2+1)D-18, Kinetics-400 사전학습) 과 프레임 스트림 (ConvNeXt-Tiny, ImageNet 사전학습) 을 결합.
  • 특징: 사전학습된 가중치를 활용하여 추가 전학습 없이도 대규모 시공간 및 이미지 사전 지식 활용.

4. 주요 결과 (Results)

• 성능: 1 위 팀 (iLearn) 은 CC 0.8280, SIM 0.6927 등의 높은 점수를 기록하며 Baseline (Center Prior) 보다 압도적인 성능을 보였습니다.
• 트렌드:
  • 대규모 사전학습 백본 (Large Pretrained Backbones): InternVideo2, V-JEPA2 등 대규모 비디오 foundation 모델을 백본으로 사용하는 것이 성능 향상의 핵심이었습니다.
  • 다중 스케일 시공간 모델링: 저수준의 공간적 세부 사항과 고수준의 시맨틱 정보를 모두 포착하기 위한 계층적 특징 융합이 필수적이었습니다.
  • 앙상블 및 멀티모달: 여러 모델의 예측을 결합하거나 오디오/텍스트 정보를 통합하는 접근법이 유효했습니다.

5. 의의 및 기여 (Significance)

1. 대규모 고품질 데이터셋 공개: 5,000 명 이상의 평가자 데이터를 기반으로 한 2,000 개의 비디오로 구성된 새로운 오픈 데이터셋을 공개하여, 향후 비디오 saliency 연구의 표준 벤치마크를 제시했습니다.
2. 기술적 진보 확인: 최신 foundation 모델 (V-JEPA, InternVideo 등) 과 확산 모델, 상태 공간 모델 (Mamba) 이 비디오 saliency 예측에 효과적으로 적용될 수 있음을 입증했습니다.
3. 크라우드소싱 기법 고도화: 안구 추적 장비 없이도 마우스 추적을 통해 고품질의 saliency 데이터를 대량으로 수집할 수 있는 프로세스를 정립하고 검증했습니다.
4. 미래 연구 방향 제시: 복잡한 시공간 맥락 이해, 멀티모달 정보 통합, 그리고 효율적인 추론을 위한 모델 설계에 대한 중요한 통찰을 제공했습니다.

이 챌린지는 비디오 saliency 예측 분야에서 최신 딥러닝 기법의 적용 가능성을 검증하고, 향후 더 정확한 인간 시각 행동 모델링을 위한 기반을 마련했다는 점에서 큰 의의가 있습니다.