기술 요약: 저주파 트랩: 비디오-언어 모델의 단순 이벤트 장부 기록 실패

문제 정의

실제 세계의 비디오 벤치마크는 이벤트 수, 비율, 지속 시간, 시각적 복잡성 및 의미론 등 여러 변수가 얽혀 있어 특정 실패 모드를 분리해내기가 어렵습니다. 기존의 프로그래밍 방식 벤치마크들이 더 나은 제어력을 제공하긴 하지만, 대개 최종 정답만을 점수화하며, 모델이 이벤트를 놓쳤는지, 타이밍을 혼동했는지, 시퀀스의 추적을 놓쳤는지, 혹은 집계 과정에서만 오류를 범했는지를 감사(audit)하는 데 실패합니다. 결과적으로, 최종 정답 정확도 지표는 모델의 취약한 시간적 접근성이나 취약한 추론 능력을 은폐할 수 있으며, 템포 부하(temporal load)가 증가함에 따라 모델이 기초적인 이벤트 장부 기록(bookkeeping) 단계에서 실패하고 있다는 사실을 가릴 수 있습니다.

방법론

저자들은 시각적 복잡성으로부터 시간적 추론 능력을 분리하기 위해 설계된 통제된 평가 프레임워크인 **트레이스 기반 파라메트릭 프로파일링(trace-grounded parametric profiling)**을 도입합니다.

통제된 태스크 공간

본 연구는 공간적 궤적과 타이밍에 대한 프레임 단위의 정밀한 제어를 보장하기 위해 Manim 애니메이션 엔진을 사용하여 프로그래밍 방식으로 생성된 비디오를 활용합니다. 세 가지 별도의 도메인이 평가됩니다:

1. Bounce Ball: 튀어 오르는 공의 벽면 접촉 횟수 세기.
2. Blinking: 시각적 객체의 온-펄스(on-pulses) 세기 (일시적 이벤트).
3. State Machine: 범주적 상태 전이 세기 (지속적 이벤트).

실험 파라미터

본 프레임워크는 렌더링, 의미론, 태스크 규칙을 고정한 상태에서 두 개의 직교하는 파라미터를 체계적으로 변화시킵니다:

• 이벤트 수 ($N$): 0에서 12까지.
• 이벤트 빈도 ($F$): 0.5 Hz에서 4.0 Hz까지.
• 지속 시간: 모든 클립은 24초로 고정됩니다. 활성 이벤트 시퀀스는 약 $N/F$ 초 동안 지속되며, 나머지 부분은 정적 프레임으로 채워집니다.

그라운드 트루스(Ground Truth) 및 지표

모든 비디오는 이벤트 타임스탬프, 상태 변화, 누적 횟수를 포함하는 **실행 가능한 그라운드 트루스 트레이스(executable ground-truth trace)**와 쌍을 이룹니다. 이를 통해 단순 최종 정답 정확도를 넘어 세밀한 평가가 가능합니다. 주요 지표는 다음과 같습니다:

• 최종 정답 일치도 (Acc): 보고된 횟수가 $N$과 일치하는지 여부.
• 트레이스 정밀도 ($P$) 및 재현율 ($R$): 모델이 보고한 타임스탬프와 속도 상대적 윈도우 $\delta(F) = 1/(2F)$ 내에서의 그라운드 트루스 간의 정렬도.
• 시각적 관찰 비율 (VOR): 보고된 이벤트 수와 실제 이벤트 수($M/N$)의 비율로, 과잉 보고 또는 과소 보고를 나타냄.
• 우연한 정답률 (ACR): 낮은 충실도의 트레이스에도 불구하고 최종 횟수가 정확한 경우.
• 추론 실패율 (RFR): 트레이스는 충실하지만(높은 F1) 최종 횟수가 틀린 경우.

평가 대상 모델

주요 평가는 Gemini 3.6 Flash (약 1 FPS 입력 수신)와 Qwen3-VL-235B (2 FPS 입력 수신)에 초점을 맞춥니다. 보충적인 교차 시스템 체크에는 다양한 규모의 Qwen3-VL 및 InternVL3.5가 포함됩니다.

주요 기여

1. 통제된 평가 프레임워크: 단일 집계 점수를 대신하여 이벤트 수($N$)와 빈도($F$)에 따라 매핑된 능력 표면(capability surfaces)을 제공합니다.
2. 트레이스 기반 벤치마크: 모델이 보고한 이벤트를 실행 가능한 그라운드 트루스와 대조하여, 근거가 뒷받침된 정확한 카운트인지 아니면 충실한 이벤트 복구인지 구분합니다.
3. 타겟팅된 개입: 밀도 높은 샘플링, 이벤트 중심 키프레임(오라클 증거), 다양한 프롬프팅 전략(Chain-of-Thought 등)을 통해 오류 원인을 진단합니다.
4. 자연 영상 전이: 통제된 환경에서 관찰된 실패 패턴이 실제 반복 이벤트 비디오(TransRAC 데이터셋)에서도 지속되는지 검증합니다.

결과

단계적 시간적 실패

결과는 이벤트 표현 방식(지속적 vs 일시적)에 따른 "단계적" 실패 패턴을 보여줍니다:

• 지속적 이벤트 (State Machine): Gemini 3.6 Flash는 0.5 Hz 및 1.0 Hz에서 $N=12$까지 안정적으로 카운트합니다. 빈도가 높아짐에 따라 성능이 저하되어, 1.5 Hz에서는 $N=2$로 떨어집니다.
• 일시적 이벤트 (Blinking): 신뢰할 수 있는 양수 영역이 존재하지 않습니다. 모델은 낮은 카운트와 빈도에서도 일시적 이벤트를 일관되게 접근하는 데 실패합니다.
• 고부하 체제 (High-Load Regime): 높은 카운트와 높은 빈도 조건에서는 단 **0.2%**의 최종 카운트만이 정확하며, 모델은 실제 이벤트의 **18.1%**만을 복구합니다.

시각적 접근성 vs 추론

• 샘플링 밀도: 샘플링 레이트를 1 FPS에서 4 FPS로 높였을 때 Bounce Ball 정확도가 19.6%에서 29.3%로 향상되었습니다. 그러나 보고된 시퀀스가 그라운드 트루스와 일치하는 경우는 **3.7%**에 불과했습니다. 이는 추가적인 프레임이 (우연한 정답성을 통해) 최종 점수를 높일 수는 있지만, 충실한 이벤트 복구를 만들어내지는 못함을 시사합니다.
• 오라클 키프레임 (Oracle Keyframes): 이벤트 중심 키프레임을 제공하여 (탐색 부담을 제거) $N \le 5$인 경우 정확도를 68.6%까지 높였으나, $N \ge 6$인 경우 성능이 붕괴되었습니다. 이는 시각적 접근성이 병목 구간이긴 하지만, 이벤트가 완벽하게 국지화(localized)되더라도 **유지 및 누적(retention and accumulation)**이 여전히 제한 요소임을 시사합니다.
• 프롬프팅 전략: 다양한 프롬프팅 기법(Direct Answer, Structured Trace, Multi-Turn, CoT, Role Prompting)은 유사하게 제한적인 이득만을 보였으며, 신뢰할 수 있는 작동 영역을 확장하지 못했습니다.

트레이스 수준 진단

• 저부하 (Low Load): 모델은 종종 과잉 보고(VOR > 1)와 우연한 정답성을 보입니다. 즉, 타임스탬프를 놓치거나 환각을 일으켰음에도 최종 카운트는 정확합니다.
• 고부하 (High Load): 주요 실패 모드는 과소 보고(VOR < 1) 및 누락으로 전환됩니다. 모델은 발생하는 이벤트보다 적은 수를 보고하며, 보고된 몇 안 되는 이벤트들은 시간적으로는 정확할 수 있으나 불완전합니다.
• 집계 오류 (Aggregation Errors): 0이 아닌 Reasoning Failure Rate (RFR)는 모델이 이벤트 시퀀스를 성공적으로 복구하더라도(높은 트레이스 F1), 이를 최종 카운트로 올바르게 집계하는 데 실패할 수 있음을 나타냅니다.

자연 영상 전이

TransRAC 데이터셋에 대한 평가는 카메라 움직임과 노이즈가 있는 자연 영상에서도 낮은 이벤트 카운트($N \le 4$)에 성공가 집중되는 현상이 지속됨을 확인시켜 주며, 이러한 실패 패턴이 도메인 전반에 걸쳐 견고함을 입증합니다.

의의 및 주장

본 논문은 최종 정답 정확도만으로는 시간적 추론을 제대로 규명할 수 없다고 주장합니다. 모델은 추측하거나 환각된 이벤트를 집계함으로써 정답에 도달할 수 있으며, 이는 근본적인 시간적 시퀀스 추적 능력의 결여를 은폐합니다.

저자들의 주장은 다음과 같습니다:

1. 이벤트 표현이 중요하다: 이벤트가 지속적인지 일시적인지에 따라 초기 증거에 대한 접근성이 결정됩니다.
2. 시각적 접근은 필요조건이지만 충분조건은 아니다: 프레임 밀도를 높이거나 오라클 키프레임을 제공하는 것이 성능을 개선하지만, 시퀀스 길이와 유지력에 의해 설정된 경계를 제거하지는 못합니다.
3. 단계적 실패: 실패 과정은 세 단계로 나뉩니다: 첫째, 이벤트에 접근하기; 둘째, 시퀀스를 유지하기; 셋째, 카운트를 집계하기.
4. 평가의 전환: 트레이스 기반 프로파일링은 비디오 평가를 단순 집계 지표에서 시간적 추론이 구체적으로 어디서 실패하는지(접근 vs 유지 vs 집계), 그리고 보고된 증거가 실제로 최종 답변을 뒷받침하는지에 대한 상세한 진단으로 전환합니다.

본 연구는 현재의 VLM들이 템포 부하가 증가함에 따라 기초적인 이벤트 장부 기록(bookkeeping)에 어려움을 겪고 있으며, 이러한 한계는 고급 프롬프팅이나 시각적 샘플링을 늘려도 지속된다는 결론을 내립니다.