기술 요약: VidNum-1.4K

문제 정의

현재의 시각-언어 모델(Vision-Language Models, VLMs)은 비디오 이해 측면에서 상당한 진전을 이루었으나, 한 가지 중요한 과학적 질문이 남아 있다: 이 모델들이 역동적인 장면을 이해하기 위해 진정으로 안정적인 "세계 모델(world model)"을 구축하고 있는가, 아니면 단순히 암기된 데이터셋의 사전 지식(priors)과 피상적인 상관관계에 의존하고 있는가? 기존의 벤치마크들은 비디오 이해를 다루고 있지만, 수치적 추론(numerical reasoning) 측면에서는 파편화되어 있다. 표준 비디오 QA 데이터셋(예: TGIF-QA, NExT-QA)은 카운팅(counting)을 명시적인 정량적 난이도 계층이 없는 의미론적 작업의 부수적인 하위 집합으로 취급한다. 반대로, 전용 반복 카운팅 벤치마크(예: QUVA Repetition, Countix)는 회귀 작업으로서 반복되는 동작의 주기 추정에 집중하며, 다단계 논리적 연역, 이벤트 간의 일관성, 또는 빈번한 샷 컷(shot cuts)을 가로지르는 추론 능력을 평가하는 데는 실패한다. 비디오 내에서의 구성적 수치 추론(compositional numerical reasoning), 즉 모델이 시간적 증거에 기반하여 산술 연산, 비교, 논리적 연역을 수행해야 하는 상황을 평가하기 위한 종합적인 프로토콜이 명확히 부재하다.

방법론: VidNum-1.4K 벤치마크

이러한 공백을 메우기 위해 저자들은 독립적인 비디오 클립을 기반으로 한 **1,379개의 엄격하게 인간이 주석을 달은 객관식 질문(MCQs)**으로 구성된 종합 벤치마크인 VidNum-1.4K를 소개한다.

데이터 구축

본 벤치마크는 데이터 품질을 보장하고 편향을 방지하기 위해 약 300명의 풀타임 주석 작업자를 네 개의 격리된 그룹으로 나눈 엄격하고 완전한 수동 다단계 파이프라인을 통해 구축되었다:

1. 소스 수집: 비디오는 5개의 거시적 카테고리(지식, 생활 기록, 스포츠, 예술적 퍼포먼스, 영화 및 TV)와 다양한 세부 시나리오(예: 항공, 생물학, 일상생활)를 아우르는 글로벌 풀에서 선별되었다.
2. 생성 및 검증: 그룹 A는 모델이 언어적 사전 지식을 사용하는 것을 방지하기 위해 "시각적 묘사 전용" 정책을 강제하며(예: "크리스티아누 호날두"와 같은 고유 명사 대신 "빨간 유니폼을 입은 남성" 사용) 시각적 증거에 엄격히 기반하여 질문을 생성했다. 그룹 B는 이러한 질문들에 직접 답해봄으로써 사소하거나 비디오 입력 없이도 풀 수 있는 항목들을 걸러냈다.
3. 감사: 그룹 C와 D는 정답의 정확성을 확인하고, 타임스탬프를 정교화하며, 모호성을 제거하기 위해 전체적인 검토 및 최종 감사를 수행하여 최종 "골드 스탠다드(Gold Standard)" 세트를 완성했다.

계층적 구조

본 벤치마크는 점진적인 인지 및 지각 요구 사항을 테스트하도록 설계된 3단계 계층 구조로 구성된다:

• 레벨 1: 동질적 카운팅 (Homogeneous Counting): 기본적인 시각적 그라운딩(grounding)과 객체 영속성에 초점을 맞춘다. 모델은 최소한의 제약 조건 하에서 단일 유형의 객체, 동작 또는 이벤트를 세어야 하며, 이는 연속적인 움직임 중에도 "내부 카터(internal counter)"를 유지할 것을 요구한다(예: 카메라가 팬(pan)하는 동안 문을 추적하기).
• 레벨 2: 제약 및 이질적 카운팅 (Constrained and Heterogeneous Counting): 여러 엔티티 유형 간의 구별이나 다중 속성 제약으로 정의된 단일 엔티티(예: 특정 견종의 개 세기)를 요구함으로써 복잡성을 높인다. 이 단계는 수치적 일관성을 유지하기 위해 시간적 간극과 샷 컷을 가로지르는 강력한 재식별(re-identification) 능력을 테스트한다.
• 레벨 3: 구성적 수치 추론 (Compositional Numerical Reasoning): 비교, 계산, 추정 및 순차적 정렬을 포함한 고차원적 인지 능력을 평가한다. 이러한 작업은 시간적 증거에 엄격히 기반한 다단계 산술 연산을 필요로 한다(예: 특정 시간 창을 분리하고, 특정 제약 조건 하의 플레이어를 세고, 그 결과를 논리적으로 비교하기).

평가 프로토콜

저자들은 두 가지 프로토콜을 사용하여 다양한 최첨단(SOTA) 오픈 소스 및 폐쇄형 VLM들을 평가했다:

1. 직접 답변 (NoCoT): 모델이 최종 선택지를 직접 제공한다.
2. 제로샷 생각의 사슬 (Zero-shot Chain-of-Thought, CoT): 모델이 답을 내리기 전에 중간 관찰 내용과 계산 단계를 명시하도록 프롬프트를 제공한다.
   시각적 입력은 프레임 샘플링 전략(48초 미만 비디오는 1 FPS, 더 긴 비디오는 48개의 균등한 프레임)을 사용하여 표준화되었다.

주요 기여

1. VidNum-1.4K 벤치마크: 수치적 추론 및 "세계 이해" 능력을 평가하기 위해 특별히 설계된, 다양하고 전용된 비디오 QA 벤치마크를 도입하였으며, 지각에서 구성적 추론에 이르는 독특한 3단계 계층 구조를 특징으로 한다.
2. 종합적 실증 평가: 대표적인 오픈 소스 및 폐쇄형 VLM에 대한 엄격한 평가를 통해 상당한 성능 격차를 드러내고 현재 아키텍처의 구체적인 병목 구간을 식별하였다.

결과

평가 결과, 테스트된 모든 모델에서 현저한 추론 격차가 나타났다:

• 전반적인 성능: 가장 발전된 폐쇄형 모델인 Gemini-1.5-pro조차 CoT 설정에서 60% 정확도 임계치를 간신히 달성했다. 대표적인 오픈 소스 계열(예: InternVL 시리즈)은 일반적으로 25%~45% 범위에서 성능을 보이며 크게 고전했다.
• 작업별 병목 현상:
  • 레벨 3 민감도: 생각의 사슬(CoT) 프롬프팅은 레벨 3(구성적) 추론의 결정적인 촉매제 역할을 했으며, 이는 모델이 원시적인 지각적 그라운딩 능력은 갖추고 있으나 명시적인 가이드 없이는 논리적 집계에서 실패함을 시사한다.
  • 동작 vs 객체/이벤트: 동작 기반 카운팅은 객체나 이벤트 카운팅보다 지속적으로 낮은 점수를 기록했으며, 이는 역동적인 동작의 연속적이고 유동적인 경계를 추적하는 데 어려움이 있음을 나타낸다.
  • 수치적 일관성: 멀티 샷(multi-shot) 비디오의 포함은 심각한 일관성 부족을 드러냈는데, 모델들이 장면 컷 사이에서 횟수를 놓치거나 중복 계산하는 경우가 빈번했다.
• 스케일링 동작: InternVL3 시리즈(8B에서 78B 파라미터) 분석에 따르면, 모델 용량을 키울수록 특히 레벨 3 추론에서 일반적인 성능 향상(CoT 적용 시 정확도가 48.8%에서 57.1%로 상승)이 나타났다. 그러나 레벨 1과 레벨 2의 성능은 정체되거나 미미하게 개선되었는데, 이는 미세한 인스턴스 추적과 크로스 샷 재식별이 파라미터 스케일링만으로는 쉽게 해결되지 않는 근본적인 지각적 병목임을 시사한다.
• CoT 트레이드오프: CoT는 일반적으로 복잡한 작업에서 정확도를 높여주지만, 이전에 정답이었던 직접 답변이 오답이 되는 "이득과 퇴보의 공존(gain-with-regression)" 현상을 유발한다. 이는 현재 모델들이 견고한 인과적 추론보다는 불안정한 휴리스틱 "직관"에 의존하고 있음을 나타낸다.

의의

본 논문은 VidNum-1.4K를 차세대 수치 비디오 지능을 위한 까다로운 진단 테스트베드로 자리매김한다. 연구 결과는 현재의 VLM들이 실제 세계의 멀티미디어 콘텐츠가 가진 본질적인 복잡성, 특히 시간적 역동성과 구성적 논리를 다룰 수 있는 안정적인 "내부 세계 모델"이 결여되어 있음을 보여준다. 파편화된 시간적 맥락과 다단계 추론 요구 사항을 결합함으로써, 이 벤치마크는 이러한 약점을 노출시키는 엄격한 스트레스 테스트 역할을 하며, 보다 신뢰할 수 있고 물리적으로 근거 있는 비디오 이해 모델의 개발을 유도하는 것을 목표로 한다.