기술 요약: 정확도에서 시각적 의존성으로: 교통 비디오 QA에서의 모달리티 붕괴 감사 및 필터링

1. 문제 정의

비디오 질의응답(VideoQA)의 높은 벤치마크 정확도가 모델이 시각적 증거를 활용하고 있음을 보장하지는 않습니다. 교통사고 분석 영역에서 정답은 이론적으로 장면 특유의 시각적 단서(예: 차량 간 상호작용, 시간적 역학, 인과 구조)에 의존해야 합니다. 그러나 모델은 종종 모달리티 붕괴(modality collapse) 현상을 보이며, 이는 모델이 시각적 입력을 무시한 채 텍스트 숏컷(textual shortcuts), 언어적 사전 지식(language priors), 또는 데이터셋 특유의 아티팩트(artifacts)에 의존하여 정답을 맞히는 현상을 의미합니다.

이러한 실패 모드는 교통사고 분석과 같은 안전이 중요한 응용 분야에서 특히 치명적입니다. 왜냐면 시스템은 단순히 어노테이션 아티팩트를 이용하는 것이 아니라, 시각적 장면을 이해함으로써 성공해야 하기 때문입니다. 본 논문은 현재의 벤치마크들이 진정한 시각적 추론과 숏컷 활용을 구분하는 데 실패하고 있다고 주장합니다. 높은 정확도는 비디오 입력이 제거되거나 더 많은 프레임을 추가했을 때 성능이 저하되는 상황에서도 달성될 수 있기 때문입니다.

2. 방법론

저자들은 데이터셋 및 인스턴스 수준 모두에서 모달리티 붕괴를 감사하고 필터링하기 위한 진단 프레임워크를 제안합니다.

2.1 데이터셋 수준 진단

저자들은 벤치마크 전반의 시각적 의존성을 정량화하기 위해 두 가지 지표를 도입합니다.

• 블라인드 갭 (Blind Gap, BG): 텍스트 전용 정확도가 무작위 확률을 얼마나 초과하는지를 측정합니다.
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  높은 BG는 해당 벤치마크가 텍스트만으로도 해결 가능하다는 것을 나타냅니다.
• 시각적 이득 (Visual Gain, VG): 비디오 입력을 추가했을 때 얻는 한계 이득을 측정합니다.
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  양(+)의 VG는 유용한 시각적 증거가 있음을 나타내며, 음(-)의 VG는 비디오 입력이 오히려 성능을 저하시키거나 무시되고 있음을 시사합니다.

2.2 인스턴스 수준 숏컷 진단

숏컷 행동을 유발하는 특정 질문을 식별하기 위해, 저자들은 각 질문 $q$에 대해 연속적인 **숏컷 점수 ($S(q)$)**를 정의합니다.

• 텍스트 증거 점수 ($T(q)$): 텍스트 전용 대규모 언어 모델(LLM)의 확신도와 정답 여부를 측정합니다. 이는 일련의 텍스트 전용 모델들의 확신도 가중치가 적용된 정답 예측 평균으로 계산됩니다.
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• 시각적 필요성 점수 ($V(q)$): 비디오를 추가했을 때 정답에 할당된 확률이 증가하는지를 측정합니다.
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  여기서 $\Delta_m(q)$는 비디오가 추가되었을 때 정답에 대한 확률 변화량입니다.
• 숏컷 점수 ($S(q)$): 이 신호들을 결합합니다:
  $$S(q) = T(q) - V(q)$$
  높은 $S(q)$는 숏컷에 취약한 질문(높은 텍스트 해결 가능성, 낮은 시각적 필요성)을 나타내며, 낮거나 음수인 $S(q)$는 시각적으로 유용한 질문을 나타냅니다.

2.3 숏컷 인식 필터링

저자들은 $S(q) \leq \tau$인 질문만을 유지함으로써 데이터셋의 "그라운디드(grounded)" 서브셋을 구축할 것을 제안합니다. 이 필터링은 별도의 학습이 필요 없는 연속적인 방식이며, 데이터 커버리지와 숏컷 취약 샘플 제거 사이의 트레이드오프를 허용합니다.

3. 주요 기여

1. 교통 비디오 QA 벤치마크 감사: 오픈 웨이트 시각-언어 모델(VLM)과 텍스트 전용 LLM을 사용하여 네 가지 공개 벤치마크(MM-AU, VRU-Accident, SUTD-TrafficQA, AccidentBench)를 감사했습니다.
2. 진단 지표: 데이터셋 수준에서 모달리티 붕괴를 정량화하기 위한 Blind Gap 및 Visual Gain을 도입했습니다.
3. 숏컷 점수: 보조 학습 없이 숏컷 취약 질문을 식별하기 위해 텍스트 전용 확신도와 시각적 필요성 신호를 결합한 새로운 연속형 인스턴스 수준 지표를 제안했습니다.
4. 필터링 프레임워크: 숏컷 편향을 줄이고 시각적 그라운딩 지표를 개선하는 "그라운디드" 평가 서브셋을 생성하는 방법을 제시합니다.

4. 실험 결과

저자들은 여러 VLM(예: InternVL, Qwen-VL, LLaVA-OneVision)과 텍ks 전용 LLM을 네 가지 벤치마크에 대해 평가했습니다.

• 벤치마크 간 격차:
  • MM-AU: 극심한 모달리티 붕괴를 보입니다. 비디오를 제거하면 일관되게 정확도가 향상되었으며, 더 많은 프레임(최대 256개)을 추가할수록 성능이 더욱 저하되었습니다. Blind Gap은 높았으며(최대 40.33%), 모든 VLM에 대해 Visual Gain이 음수였습니다. 텍스트 전용 LLM이 VLM의 성능과 일치하거나 이를 능가했습니다.
  • VRU-Accident: 양의 Visual Gain을 보였으나, 여전히 높은 Blind Gap(최대 25%)을 나타내어 부분적인 텍스트 해결 가능성을 보였습니다.
  • SUTD-TrafficQA: 가장 강력한 시각적 의존성을 보였으며, 낮은 Blind Gap(<9%)과 일관되게 양수인 Visual Gain(~11-12%)을 기록했습니다.
  • AccidentBench: 낮은 Blind Gap과 완만한 Visual Gain을 보이며 두 극단 사이의 중간 형태를 나타냈습니다.
• 필터링 효능:
  • MM-AU와 VRU-Accident에 숏컷 점수 필터($\tau = 0.1$)를 적용했을 때 Blind Gap이 유의미하게 감소하였고, 음수였던 Visual Gain이 양수로 전환되었습니다.
  • MM-AU의 경우, 필터링을 통해 BG는 25.70%에서 10.38%로 감소했고, VG는 -0.24%에서 7.42%로 전환되었습니다.
  • 이진 필터링 베이스라인(LLM-Inspector, B-Clean)은 효과가 덜했습니다. 예를 들어, B-Clean은 숏컷과 함께 시각적으로 유용한 질문까지 제거하여 강한 음수의 Visual Gain을 초래했습니다.
• 근본 원인 분석: 본 논문은 반복적인 텍스트 패턴과 답변 구문(예: 수백 번 등장하는 특정 문장 구조)이 MM-AU에서 숏컷을 유발하는 주요 동인임을 확인했습니다.
• 학습 영향: 교통 데이터로 모델을 미세 조정(Fine-tuning)하면 비디오 정확도는 향 향상되었으나, 반드시 시각적 그라운딩이 개선되지는 않았습니다(표준 서브셋에서 BG와 VG가 평탄하거나 음수 유지). 이는 정확도 향상이 반드시 진정한 시각적 추론을 의미하는 것은 아님을 시사합니다.

5. 의의 및 주장

본 논문은 벤치마크 정확도 그 자체만으로는 안전이 중요한 VideoQA의 발전을 평가하기에 불충분하다고 주장합니다. 연구 결과는 다음을 밝혀냈습니다:

• 널리 사용되는 여러 교통 사고 벤치마크가 모델로 하여금 시각적 증거 대신 텍스트 숏컷을 활용하여 성공하게 만듭니다.
• 시각적 그라운딩 평가를 위해서는 Blind Gap 및 Visual Gain과 같은 지표를 통한 측정이 필수적입니다.
• 제안된 숏컷 점수는 추가 학습 없이도 시각적 증거 활용 능력을 더 잘 반영하는 평가 서브셋을 큐레이션할 수 있는 실용적인 메커니즘을 제공합니다.
• 향ual 데이터셋 구축 시, 모델이 고빈도 패턴을 악용하는 것을 방방지하기 위해 반복적인 질문 형식과 동일한 답변 구문을 피해야 합니다.

저자들은 멀티모달 시스템이 안전이 중요한 도메인에서 신뢰받기 위해서는, 단순히 최종 정확도 점수가 아니라 시각적 증거에 의존하는 능력에 대해 평가받아야 한다고 결론짓습니다.