LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

기술 요약: LongVQUBench

문제 정의
장기 비디오 품질 이해(Long-term Video Quality Understanding, LVQU)를 평가하는 것은 거대 시각-언어 모델(Large Vision-Language Models, LVLMs)에게 여전히 미해결 과제로 남아 있습니다. 최근의 LVLM들은 의미론적 비디오 이해와 단기 추론 능력에서는 강력한 성능을 보여주었으나, 장기간에 걸친 지각적 충실도(perceptual fidelity), 시간적 일관성(temporal coherence), 그리고 누적된 저하(cumulative degradation)를 평가하는 견고한 메커니즘은 부족합니다. 기존의 비디오 품질 벤치마크(예: LIVE-VQA, KoNViD-1k)는 주로 고립된 왜곡이 포함된 짧은 클립에 집중되어 있어, 긴 형태의 콘텐츠에 내재된 시간적 연속성과 맥락적 역동성을 포착하지 못합니다. 반대로, 긴 비디오 벤치마크(예: LongVideoBench, Video-MME)는 지각적 품질보다는 의미론적 이벤트 이해를 우선시합니다. 결과적으로, LVLM이 분 단위에서 시간 단위에 이르는 비디오 스팬(span) 전반에 걸쳐 지각적 품질에 대해 어떻게 추론하는지를 평가할 수 있는 통합된 프레임워크가 부재한 상황입니다.

방법론: LongVQUBench
이러한 격차를 해소하기 위해, 저자들은 LVLM의 LVQU 능력을 평가하기 위해 설계된 종합적인 벤치마크인 LongVQUBench를 소개합니다.

• 데이터셋 구성: 이 벤치마크는 영화, 다큐멘터리, 감시 영상, 1인칭 시점(egocentric) 녹화물, 애니메이션 등에서 추출한 1,200개 이상의 다양한 비디오로 구성됩니다. 비디오 길이는 몇 분에서 거의 2시간까지 다양합니다. 데이터셋에는 1,500개의 객관식 및 개방형 질문이 포함되어 있습니다.
• 왜곡 전략: 통제된 평가를 보장하기 위해, 본 벤치마크는 "니들 왜곡(needle distortion)" 접근 방식을 사용합니다. 고품질의 소스 비디오를 분할하고, 특정 공간적(예: 블러, 노이즈) 및 시간적(예: 플리커, 프레임 드롭) 왜곡을 다양한 강도로 희소하게 삽입합니다. 이를 통해 실제적인 저하 패턴을 시뮬레이션하면서 정밀한 정답(ground-truth) 정렬을 가능하게 합니다.
• 계층적 평가 프레임워크: 본 벤치마크는 서로 다른 시간적 범위에 걸친 추론을 평가하기 위해 점진적으로 복잡해지는 세 가지 평가 단계를 정의합니다:
  1. 국소 이벤트 품질 이해 (LQU): 시간적으로 경계가 뚜렷한 단일 왜곡 이벤트(예: 5~20초간의 블러)를 탐지, 분류 및 위치를 파악하는 데 중점을 둡니다. 질문은 탐지, 위치 파악, 분류, 심각도 평가 및 개방형 추론을 다룹니다.
  2. 교차 이벤트 품질 추론 (CQR): 비디오 전반에 걸쳐 분산된 여러 왜곡 이벤트를 비교, 연관 및 통합하는 모델의 능력을 평가합니다. 이 단계는 서로 다른 저하된 세그먼트 간의 상대적 심각도, 누적 효과 및 시간적 관계에 대한 추론을 테스트합니다.
  3. 전역 품질 이해 (GQU): 비디오 전체 기간에 대한 총체적인 지각적 판단을 평가합니다. 이는 시간적 트렌드, 안정성, 지배적인 저하 요인 및 시간에 따른 품질의 진화에 대한 추론을 요구합니다.
• 니들 왜곡 질의응답 (NDQA): 세 단계 모두에 내장된 이 패러다임은 미세한 지각적 민감도를 조사하기 위해 희소한 아티팩트(artifact)를 도입합니다. 객관적 인식을 위한 객관식 질문(MCQ)과 설명적 추론을 위한 개방형 질문을 모두 활용합니다.

실험 설정
저자들은 GPT-5, Gemini-3, Qwen-VL-Max와 같은 독점 모델, 오픈 소스 모델(LLaVA-NeXT-Video, Qwen3-VL, VQA2 등), 그리고 에이전트 기반 LVLM(DeepVideoDiscovery, VideoAgent)을 포함한 14개의 최첨단 LVLM을 평가했습니다. 실험은 프레임 샘플링 추론 파이프라인을 사용하여 제로샷(zero-shot) 설정 하에 수행되었습니다. 40% 검증 / 60% 테스트 분할의 층화 추출법을 사용하였으며, 검증 과정을 통해 최적의 프레임 샘플링 예산을 결정했습니다.

주요 결과
광범위한 실험은 장기 비디오 품질 이해에 있어 현재 LVLM의 상당한 한계를 드러냅니다:

• 복잡도에 따른 성능 저하: 추론 깊이가 LQU에서 CQR, 그리고 마지막으로 GQU로 증가함에 따라 성능이 일관되게 하락합니다. 예를 들어, GPT-5는 CQR에서 81.2%를 달성했으나 GQU에서는 65.8%로 떨어졌습니다.
• 샘플링 증가의 제한적 이득: 샘플링되는 프레임 수를 늘려도 수익 체감(diminishing returns) 현상이 나타납니다. 일부 모델(예: GPT-5)은 더 높은 프레임 수로부터 완만하게 이득을 얻지만, 다른 모델(예: VQA2)은 매우 적은 프레임(8 프레임)에서 가장 좋은 성능을 보여, 단순히 시간적 커버리지를 늘리는 것이 추론의 병목 현상을 해결하지 못함을 시사합니다.
• 독점 모델 vs 오픈 소스 모델: 일반적으로 독점 모델이 리더보드를 점유하며, GPT-5가 69.5%의 최고 전체 정확도를 달 기록했습니다. 그러나 선두 모델들조차 전역 품질 추론에는 어려움을 겪습니다.
• 에이전트 모델: 에이전트 방식 중에서는 DeepVideoDiscovery가 독점 모델에 근접하는 경쟁력 있는 성능(전체 66.0%)을 보였으며, 단순한 에이전트들은 크게 뒤처졌습니다. 이는 효과적인 프레임 탐색 및 추론 전략이 에이전트 기반 품질 이해에 있어 매우 중요하다는 것을 시사합니다.
• 개방형 추론: 개방형 답변의 관련성 점수(relevance scores)는 높았으나(예: GPT-5: 88.9%), 완결성 점수(completeness scores)는 낮았습니다(예: GPT-5: 45.8%). 이는 모델들이 품질 평가에 대한 포괄적인 설명을 생성하는 데 어려움을 겪고 있음을 나타냅/니다.

의의 및 주장
저자들은 LongVQUBench를 LVLM의 장기 비디오 품질 이해를 체계적, 계층적, 설명 가능하게 평가하기 위한 기초적인 단계로 규정합니다. 본 논문은 이 벤치마크가 긴 형태의 비디오에 대해 지각적 충실도, 시간적 일관성, 멀티모달 추론을 통합하는 최초의 통합 테스트베드를 구축한다고 주장합니다. 실험 결과는 현재의 LVLM이 장거리 시간적 통합 및 지각적 귀속(perceptual attribution) 능력이 제한적임을 강조하며, 장기 지각 추론이 향-후 연구를 위한 핵심적인 미해결 과제임을 식별합니다. 본 연구는 지각 모델링과 시간적 추론을 인간 수준의 긴 형태 비디오 이해로 발전시키는 것을 목표로 합니다.