SalFormer360: a transformer-based saliency estimation model for 360-degree videos

기술 요약: SalFormer360

문제 정의
주목도(Saliency) 추정은 360도(전방위) 비디오의 뷰포트 예측 및 콘텐츠 최적화와 같은 작업을 위해 전송 및 시청 경험을 최적화하는 데 매우 중요합니다. 그러나 기존 방법들은 등방위 투영(Equirectangular Projection)에서 발생하는 기하학적 왜곡으로 인해 360도 콘텐츠의 구형 기하 구조로 인한 상당한 문제에 직면해 있습니다. 또한, 많은 최신 기술들은 구형 컨볼루션(Spherical Convolutions), 큐브맵 투영, 또는 10 프레임을 초과하는 긴 시계열 데이터 및 광학 흐름(Optical Flow) 처리와 같이 계산 비용이 많이 드는 기술에 의존합니다. 이러한 방식은 높은 계산 오버헤드와 메모리 요구 사항을 발생시켜, 헤드 마운트 디스플레이(HMD)와 같이 자원이 제한된 장치에서의 실시간 배포에 적합하지 않습니다. 또한, 인간의 시선 행동, 특히 초기 프레임의 중심부에 집중하는 경향(Viewing Center Bias)을 정확하게 모델링하는 것은 여전히 복잡한 과제이며, 많은 모델들이 이를 충분히 다루지 못하고 있습니다.

방법론
저자들은 360도 비디오를 위해 설계된 경량 트랜스포머 기반 주목도 추정 모델인 SalFormer360을 제안합니다. 이 아키텍처는 다음 구성 요소들을 기반으로 구축되었습니다:

1. 인코더 (SegFormer 백본): 모델은 원래 2D 의미론적 분할(Semantic Segmentation)을 위해 개발된 트랜스포머 기반 아키텍처인 SegFormer의 인코더를 활용합니다. 저자들은 360도 등방위 프레임을 처리할 수 있도록 이 인코더를 미세 조정(Fine-tuning)했습니다. 시계열 역학을 포착하기 위해, 모델은 현재 프레임($t$)과 이전 프레임($t-5$) 두 개를 입력으로 받습니다. 이들은 채널 차원을 따라 결합되어 6채널 입력을 형성하며, 초기 컨볼루션 레이어의 가중치는 이를 수용하도록 조정되었습니다.
2. 커스텀 디코더: 맞춤형 디코더는 인코더의 특징 맵(Feature maps)을 처리합니다. 이는 컨볼루션 레이어, 배치 정규화(Batch Normalization), ReLU 활성화 함수, 그리고 공간 해상도를 재구성하기 위한 쌍선형 업샘플링(Bilinear Upsampling)의 시퀀스로 구성됩니다. 시그모이드 활성화 함수가 적용된 최종 컨볼루션 레이어는 초기 주목도 맵($S_{init}$)을 생성합니다. 과적합을 방지하기 위해 훈련 중 드롭아웃(30%)이 적용됩니다.
3. 시청 중심 편향(Viewing Center Bias, CB) 통합: 재생 시작 시 360도 프레임의 중심을 바라보는 인간의 경향을 고려하기 위해, 모델은 동적인 시청 중심 편향을 통합합니다. 이는 첫 번째 프레임의 평균 주목도 맵(CB)과 초기 예측값($S_{init}$)을 융합함으로써 달성되며, 융합은 다음과 같이 정의된 시간 의존적 가중치($w_t$)에 의해 제어됩니다:
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   여기서 가중치 $w_t$는 정적 파라미터($\beta_i$)와 감쇠하는 동적 함수($\delta(t) = e^{-\alpha_i(t/C)^2}$)의 조합입니다. 이를 통해 모델은 단기적 편향(비디오 시작 시 강함)과 장기적 편향 사이에서 적응적으로 균형을 맞출 수 있으며, 파라미터 $\alpha_i$와 $\beta_i$는 각 특정 데이터셋에 대해 훈련 중에 학습됩니다.
4. 손실 함수: 모델은 피어슨 선형 상관 계수($L_{CC}$), 쿨백-라이블러 발산($L_{KL}$), 구형 평균 제곱 오차($L_{SMSE}$), 그리고 이진 교차 엔트로피($L_{BCE}$)의 네 가지 항을 결합한 복합 손실 함수를 사용하여 훈련됩니다. $L_{SMSE}$는 투영 왜곡을 해결하기 위해 극지방보다 적도 부근의 오류에 더 큰 가중치를 부여하는 구형 가중치를 적용합니다.

주요 기여

• 새로운 아키텍처: SegFormer 백본을 활용하여 360도 주목도 추정을 수행하는 트랜스포터 기반 모델인 SalFormer360을 도입하여, 분할(Segmentation) 아키텍처가 주목도 작업에 효과적으로 재용도 변경될 수 있음을 입증했습니다.
• 시청 편향 모델링: 프레임 인덱스와 데이터셋 특성에 따라 동적으로 조정되는 학습 가능한 시청 중심 편향 메커니즘을 통합하여, 인간의 탐색 행동을 반영함으로써 예측 정확도를 향상시켰습니다.
• 데이터셋 확장: 저자들은 머리 방향 데이터로부터 그라운드 트루스(Ground-truth) 주목도 맵을 생성하고 RGB 프레임을 추출함으로써 PVS-HM 및 VR-EyeTracking 데이터셋을 확장하여, 향후 연구에서 더 쉽게 접근할 수 있도록 했습니다.
• 효율성: 모델은 두 개의 프레임만을 사용하여 시계열 맥락을 활용하고 구형 컨볼루션이나 광학 흐름 계산을 피하도록 설계되어 매우 가볍습니다.

실험 결과
세 가지 대규모 벤치마크 데이터셋인 Sport360, PVS-HM, VR-EyeTracking에 대해 광범위한 실험이 수행되었습니다. 모델은 2D 비디오, 360도 이미지, 360도 비디오 모델을 포함한 다양한 최신 기술들과 비교되었습니다.

• 성능: SalFormer360은 세 가지 데이터셋 모두에서 기존 방법들을 능가했습니다. 피어슨 상관 계수(CC) 측면에서, 기존 최고 보고된 결과 대비 Sport360에서는 8.4%, PVS-HM에서는 2.5%, VR-EyeTracking에서는 **18.6%**의 향상을 달お성했습니다.
• 효율성: 모델은 매우 효율적이며, 단 370만 개의 파라미터를 포함하고 14.13 MB의 저장 공간을 필요로 합니다. 또한 1.21 GFLOPs의 계산 비용을 달성합니다.
• 추론 속도: NVIDIA L40s GPU에서 모델은 프레임당 평균 5.1 ms(약 196 fps)의 추론 시간을 달성하여 실시간 애플리케이션에 대한 적합성을 확인했습니다.
• 절제 연구(Ablation Studies): 실험을 통해 동적($\delta$) 및 정적($\beta$) 구성 요소 모두가 시청 중심 편향의 성능에 기여하며, 그 상대적 중요성은 데이터셋마다 다르다는 것이 확인되었습니다. 네 가지 손실 함수를 모두 결합했을 때 최적의 전체 성능을 보였습니다.

의의 및 주장
본 논문은 SalFormer360이 낮은 계산 복잡도를 유지하면서 360도 비디오 주목도 추정을 위한 트랜스포머 아키텍처의 표현력을 입증한다고 주장합니다. 2D 분할 인코더를 성공적으로 적응시키고 데이터 기반의 시청 편향을 통합함으로써, 모델은 구형 컨볼션이나 긴 시퀀스 처리와 같은 무거운 계산 부담 없이 최첨단 정확도를 달성했습니다. 저자들은 모델의 경량 특성이 VR 헤드셋과 같은 에지 측 또는 클라이언트 측 배포에 특히 적합하여, 뷰포트 예측 및 몰입형 콘텐츠 최적화를 위한 실시간 주목도 추정을 가능하게 한다고 강조합니다. 이 연구는 정확하고 효율적인 주목도 맵이 주목도가 높은 영역은 고품질로 전송하고 주변부 영역은 낮추는 방식을 통해 360도 비디오의 스트리밍 효율성을 크게 향상시킬 수 있음을 시사합니다.