Pioneering Perceptual Video Fluency Assessment: A Novel Task with Benchmark Dataset and Baseline

1. 문제 정의 (Problem)

• 배경: 비디오 품질 평가 (VQA, Video Quality Assessment) 는 공간적 왜곡 (노이즈, 색상 등) 과 시간적 왜곡 (모션 불일치, 프레임 끊김 등) 을 모두 고려하여 전반적인 품질 점수를 산출합니다.
• 한계: 기존 VQA 모델은 공간적 왜곡에 매우 민감하지만, 시간적 요소 (Temporal Factors) 인 '유동성 (Fluency)'을 정확히 분리하여 평가하지 못합니다. 인간의 시각 시스템 (HVS) 은 비디오 시청 시 공간적 왜곡보다 시간적 왜곡 (예: 카메라 흔들림, 재생 끊김) 에 더 민감하게 반응함에도 불구하고, 기존 모델들은 이를 종합적인 점수로만 통합하여 시간 관련 하위 작업 (적응형 프레임 레이트 인코딩, 프레임 보간 등) 에 활용하기 어렵습니다.
• 목표: 비디오의 시간적 품질을 독립적인 지각 작업으로 정의하고, 이를 정량적으로 평가하는 새로운 패러다임인 비디오 유동성 평가 (Video Fluency Assessment, VFA) 를 제안합니다.

2. 방법론 (Methodology)

가. 벤치마크 데이터셋: FluVid

• 구성: 4,606 개의 자연 발생 (in-the-wild) 비디오로 구성된 대규모 데이터셋입니다.
• 수집 원칙:
  1. 컴포넌트 다양성: 유동성에 영향을 미치는 세 가지 주요 요소 (전경 움직임, 배경 변화, 카메라 궤적) 를 모두 포괄하도록 분류하여 수집했습니다.
  2. 편향 제거: 콘텐츠 카테고리 (10 가지 장면), 해상도, 프레임 레이트, 촬영 조건 등을 다양하게 분포시켜 편향을 최소화했습니다.
• 주관적 평가 (Human Study):
  • ITU-R 규정을 기반으로 한 5 단계 절대 등급 (ACR) 기준 (Bad, Poor, Fair, Good, Excellent) 을 시각 전문가 20 명이 정립했습니다.
  • 실험실 환경에서 20 명의 전문가가 각 비디오를 반복 시청하며 평균 의견 점수 (MOS) 를 부여했습니다.
  • 기존 VQA 데이터셋과 달리 유동성 (Fluency) 에 초점을 맞춘 미세한 (fine-grained) 주석을 제공합니다.

나. 베이스라인 모델: FluNet

• 아키텍처: Patch Embedding, T-PSA(시간 순열 자기 주의) 를 포함한 인코더, VFA 헤드로 구성됩니다.
• 핵심 기술: T-PSA (Temporal Permuted Self-Attention)
  • 기존 VQA 모델은 제한된 프레임 수 (예: 16 프레임) 로 인해 장기적인 프레임 간 상호작용을 포착하지 못합니다.
  • FluNet 은 T-PSA를 도입하여 입력 프레임을 늘리면서도 계산 비용을 낮춥니다.
  • 동작 원리: K, V(키, 값) 행렬의 채널을 압축하고, 시간 토큰을 채널 차원으로 순열 (Permute) 하여 자기 주의 (Self-Attention) 를 계산합니다. 이를 통해 공간적 해상도는 유지하면서 시간적 윈도우 크기 (Temporal Window) 를 크게 확장 (예: 32 프레임 → 128 프레임) 하여 장기적인 유동성 패턴을 학습합니다.
• 학습 전략 (Self-Supervised Learning):
  • 유동성 점수 라벨이 부족한 문제를 해결하기 위해, 고품질 '앵커 비디오'에서 프레임을 무작위로 삭제/복제하여 다양한 유동성 수준의 비디오 쌍을 생성합니다.
  • 순위 학습 (Ranking Loss): 생성된 비디오들의 유동성 순서를 맞추도록 학습시킨 후, 소량의 라벨이 있는 FluVid 데이터로 파인튜닝하여 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 패러다임 제안: 기존 VQA 가 시간적 품질을 제대로 평가하지 못함을 규명하고, 이를 독립적인 작업인 VFA로 정의했습니다.
2. 대규모 벤치마크 데이터셋 (FluVid) 구축: 유동성 중심의 주관적 평가 기준을 최초로 정립하고, 4,606 개의 비디오와 전문가 MOS 를 포함한 데이터셋을 공개했습니다.
3. 포괄적인 벤치마크 평가: 6 개의 VQA 모델과 17 개의 오픈소스 대규모 멀티모달 모델 (LMM) 을 FluVid 에서 평가하여, 현재 방법론들이 유동성 인식에 심각한 결함이 있음을 입증했습니다.
4. 성능이 우수한 베이스라인 모델 (FluNet) 개발: T-PSA 와 순위 기반 학습 전략을 통해 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • 기존 VQA 모델 (Fast-VQA, DOVER 등) 과 LMM 들은 FluVid 에서 SRCC(스피어만 순위 상관 계수) 0.64~0.62 수준을 기록했습니다. 이는 공간적 품질은 잘 평가하지만 시간적 유동성에는 한계가 있음을 보여줍니다.
  • 특히 이미지 기반 LMM 들은 프레임 단위로 평가 후 평균을 내는 방식 때문에 시간적 역동성을 파악하는 데 매우 취약했습니다.
• FluNet 성능:
  • 제안된 FluNet 은 SRCC 0.774, PLCC 0.770을 기록하여 기존 SOTA 모델 (Fast-VQA) 보다 SRCC 기준 약 4.9%p, PLCC 기준 5.4%p 향상된 성능을 보였습니다.
  • FluNet++(LSVQ 데이터셋으로 사전 학습 추가) 은 SRCC 0.816, PLCC 0.821로 더 높은 성능을 달성했습니다.
• 효율성: T-PSA 를 통해 계산 비용 (GFLOPs) 을 낮추면서도 시간적 윈도우를 확장하여 장기적 상호작용을 효과적으로 학습했습니다.

5. 의의 및 향후 전망 (Significance)

• QoE 향상: 스트리밍, 게이밍, 라이브 커머스 등 다양한 분야에서 사용자의 경험 (QoE) 을 개선하기 위해 유동성 최적화 (예: 적응형 프레임 레이트, 프레임 보간) 를 위한 정확한 지표 제공.
• 생성형 AI: 텍스트/이미지-to-비디오 생성 모델의 보상 함수 (Reward) 로 활용되어 생성된 비디오의 자연스러움과 유동성을 향상시키는 데 기여.
• 연구 방향 전환: 기존 VQA 패러다임의 한계를 지적하고, 시간적 품질에 특화된 새로운 연구 방향 (데이터셋, 평가 기준, 모델 아키텍처) 을 제시하여 커뮤니티에 로드맵을 제공했습니다.

이 논문은 비디오 품질 평가 분야에서 시간적 유동성을 독립적이고 정량적으로 평가할 수 있는 첫 번째 체계적인 프레임워크를 제시했다는 점에서 의의가 큽니다.