기술 요약: 접지(Grounding) 없는 정확도

문제 정의

비디오 거대 언어 모델(LLM) 평가의 지배적인 가정은 벤치마크 정확도가 높을수록 시각적 이해 능력이 강력하다는 것이다. 본 논문은 이러한 가정이 잘못되었음을 지적하며, 벤치마크 정확도가 진정한 시각적 접지와 언어적 사전 지식(텍스트만으로 해결 가능한 문제)의 활용을 혼동하고 있다고 주장한다. 선행 연구들이 일부 비디오 질문이 시각 정보 없이도 답해질 수 있다는 점을 밝혀냈으나, 본 연구는 이 현상을 질문 단위로 정량화하거나 정확도와 시각적 의존성이 서로 독립적인 축임을 통계적으로 증명하지 못했다. 결과적으로, 리더보드의 개선은 시공간적 추론의 진전이 아니라 더 나은 언어 모델링의 신호일 수 있다.

방법론

저자들은 **시각적 의존성 격차(Visual Dependency Gap, VDG)**를 도입한다. 이는 원본 비디오 조건과 블랙 스크린 조건(텍스트와 선택지는 유지하되 모든 프레임을 검은색 이미지로 대체한 상태) 사이의 정답 여부 차이로 정의되는 질문 단위 진단 지표이다.
$$VDG(q) = \mathbb{1}[\text{correct}_{\text{original}}] - \mathbb{1}[\text{correct}_{\text{black}}]$$
본 연구는 2~78B 파라미터 규모의 20개 비디오 LLM을 대상으로 하며, 10개의 아키텍처 패밀리(Qwen, InternVL, LLaVA와 같은 오픈 웨이트 모델 및 GPT-4o, Gemini와 같은 독점 API 모델 포함)를 세 가지 벤치마크(Video-MME, MVBench, EgoSchema)에 걸쳐 평가한다.

주요 실험 프로토콜은 다음과 같다:

1. 맥네마р 분리 테스트(McNemar Dissociation Testing): 이진 정답 여부에 대해 쌍을 이룬 맥네마르 검정을 적용하여, 모델이 전체 정확도와 독립적으로 시각적 의존성에서 차이를 보이는지 결정한다.
2. 4단계 조건 진단 사다리(Four-Condition Diagnostic Ladder): 시각적 의존성을 분해하기 위해 저자들은 네 가지 조건에서 모델을 테스트한다: (1) 블랙 스크린, (2) 단일 프레임(반복), (3) 셔플된 프레임(다양한 콘텐츠, 시간적 순서 없음), (4) 원본 비디오. 이를 통해 공간 인식, 프레임 다양성, 시간적 순서의 기여도를 분리한다.
3. 압축 강건성 분석(Compression Robustness Analysis): 다양한 CRF 레벨(18–38)로 H.264 재인코딩을 수행하여, 총체적 정확도의 안정성이 양방향 정답 반전(answer flip)을 은폐하는지 테스트한다.
4. FPS 절제 연구(FPS Ablation): 프레임 레이트를 0.5에서 24 FPS까지 변화시켜 프레임 희소성이 낮은 시간적 추론 점수의 원인이 아닌지 검증한다.

주요 기여

1. 정확도와 접지의 통계적 분리: 쌍을 이룬 맥네마르 검정을 사용하여, 정확도와 시각적 의존성이 통계적으로 분리 가능하다는 것을 입증한다. 예를 들어, MVBench에서 InternVL2-8B는 원본 비디오에서 Qwen2-VL-7B보다 성능이 우수하지만($p=0.0003$), 블랙 스크린에서는 통계적으로 구별되지 않는다($p=0.53$).
2. 태스크 유형별 VDG 스펙트럼: 저자들은 태스크 유형에 따른 안정적인 시각적 의존성 계층 구조를 확립한다. **속성 인지(Attribute Perception)**는 가장 시각적으로 접지된 범주인 반(VDG $\approx$ 0.41)인 반면, **시간적 추론(Temporal Reasoning)**은 언어 전용 베이스라인에 근접한다(VDG $\approx$ 0.06). 이 순위는 20개 모델과 세 가지 벤치마크에서 일관되게 유지된다.
3. 시각적 신호의 분해: 진단 사다리는 프레임 다양성(여러 개의 서로 다른 프레임을 관찰함)이 시각적 이득의 대부분을 제공하는 반면, 시간적 순서는 16개 오픈 웨이트 모델에서 거의 제로에 가까운 정확도 기여도를 보임을 밝혀낸다.
4. 압축 강건성의 환상: H.264 압축 하에서의 평탄한 정확도 곡선은 진정한 모델의 강건함이 아니라 양방향 상쇄(정답에서 오답으로 변한 질문과 오답에서 정답으로 변한 질문이 서로 상쇄됨)에 의한 결과물임을 보여준다. 압축에 민감한 질문들은 불균형적으로 시각적 접지력이 높다.

주요 결과

• 분리(Dissociation): 원본 비디오에서 최고의 성능을 보이는 모델이 반드시 블랙 스크린에서도 더 높은 성능을 보이는 것은 아니며, 이는 리더보드 순위가 시각적 능력보다는 언어적 사전 지식 활용을 반영함을 나타낸다.
• 시간적 추론 실패: 모든 모델에서 시간적 순서는 미미한 정확도 이득만을 제공한다. 시간적 추론 태스크의 VDG는 0에 가까우며, 이는 현재의 벤치마크들이 시간적 이해를 효과적으로 테스트하지 못하고 있음을 시사한다.
• 프레임 다양성 지배: "다양성 델타"(셔플된 프레임 대 단일 프레임의 정확도 이득)가 지배적인 시각적 신호(범위: +0.075 ~ +0.185)인 반면, "시간적 델타"(원본 대 셔플된 프레임)는 0에 가깝다.
• 세대적 퇴보(Generational Regression): 스케일링이 일반적으로 VDG를 개선하지만(예: Qwen2.5-VL이 3B에서 7B로 스케일링될 때 VDG가 0.210에서 0.297로 증가), 최신 Qwen3-VL 시리즈는 VDG의 퇴보를 보인다(예: Qwen3-VL-8B의 VDG는 0.107인 반면 Qwen2.5-VL-7B는 0.297). 이는 블랙 스크린 정확도(강한 언어적 사전 지식)는 높아졌음에도 불구하고, 프레임 다양성 추출 능력($\Delta_{diversity} \approx 0.034$)의 붕괴 때문인 것으로 분석된다.
• 양자화 아티팩트: 대규모 모델(예: InternVL2.5-78B)이 4비트 양자화를 거치면 음수 또는 0의 VDG를 보일 수 있으며, 이는 해당 모델의 벤치마크 정확도가 전적으로 언어적 사전 지식에 의해 구동됨을 의미한다.
• 교차 벤치마크 일반화: VDG 티어 분류 체계(지각 > 행동 > 시간/언어)는 학습 데이터와 비디오 소스가 겹치지 않는 EgoSchema에서의 태스크 유형 성능을 성공적으로 예측하며, 이는 지표의 일반화 가능성을 확인시켜 준다.

의의 및 주장

본 논문은 **벤치마크 정확도가 시각적 접지의 불충분한 대리 지표(proxy)**라고 주장한다. 저자들은 학계가 진정한 시각적 이해가 아닌 언어적 사전 지식의 활용을 최적화하는 방향으로 흐를 위험이 있다고 경고한다. VDG를 표준 감사 도구로 도입함으로써, 본 논문은 다음을 목표로 한다:

• 시각적 입력을 실제로 사용하는 모델과 텍스트를 통해 문제를 해결하는 모델을 구분한다.
• 현재의 "시간적 추론" 벤치마크가 시간적 이해를 거의 테스트하지 못하고 있음을 드러낸다.
• 압축에 대한 "강건성"이 모델의 능력이 아닌 벤치마크 구성에 의한 환상임을 강조한다.

저자들은 VDG를 모델의 능력을 측정하는 도구가 아니라, **벤치마크의 타당성(validity)**을 진단하는 도구로 정의한다. 결론적으로, 비디오 벤치마크가 시각적으로 접지된 능력을 측정하려면 단순히 총체적 정확도를 넘어, 질문이 시각적 입력을 요구하도록 만드는 VDG와 같은 진단법을 포함해야 한다고 주장한다. 코드와 주석은 이러한 감사를 용이하게 하기 위해 공개적으로 제공된다.