Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

기술적 요약: 비디오-LLM 의 방향성 운동 맹점 진단 및 극복

문제: 방향성 운동 맹점
시간적 비디오 이해 분야에서 빠른 진전이 이루어졌음에도 불구하고, 비디오 대형 언어 모델 (Video-LLM) 은 부호화된 이미지 평면 운동 방향을 지각하는 데 근본적인 실패를 보입니다. 단일 객체가 엄격하게 왼쪽, 오른쪽, 위, 아래로만 이동하는 단순한 합성 비디오에서, 대부분의 Video-LLM 은 객체의 외관 (예: 색상) 을 정확하게 식별하더라도 무작위 확률 (25%) 에 근접하는 성능을 보입니다. 저자들은 이 현상을**방향성 운동 맹점 (directional motion blindness)**이라고 명명합니다.

기계적 분석을 통해 저자들은 근본 원인이 시각적 지각의 부재가 아니라**방향 바인딩 간극 (direction binding gap)**임을 진단합니다. 운동 방향 정보는 비전 인코더에서 프로젝터를 거쳐 LLM 은닉 상태에 이르기까지 Video-LLM 파이프라인 전반에 걸쳐 선형적으로 접근 가능한 상태로 남아 있음을 입증합니다. 그러나 최종 읽기 토큰 (readout token) 은 이러한 내부 신호를 올바른 언어적 답변 옵션 (예: 지각된 "왼쪽" 신호를 텍스트 옵션 "Left"에 매핑) 에 신뢰성 있게 바인딩하지 못합니다. 이 간극은 다양한 아키텍처와 규모에 걸쳐 지속되므로, 이러한 모델들이 지각 신호를 언어 수준의 응답으로 변환하는 방식에 구조적 한계가 있음을 시사합니다.

방법론
본 논문은 이 간극을 해결하기 위해 통제된 진단 프레임워크와 훈련 전용 솔루션을 제시합니다.

1. MODIRECT 데이터셋 패밀리:
   운동 방향 이해를 격리하고 평가하기 위해 저자들은 MODIRECT라는 데이터셋 패밀리를 도입했습니다. 이는 세 가지 하위 집합으로 구성됩니다:

   • MODIRECT-INST: 가장 단순한 합성 도메인 (Primitive-on-Syn) 에서 파생된 지시 튜닝 데이터셋으로, 방향 관련 쿼리에 대한 모델 훈련에 사용됩니다.
   • MODIRECT-SYNBENCH: 통제된 합성 벤치마크로, $2 \times 2$ 요인 설계 (전경: Primitive 대 Cutout; 배경: Synthetic 대 Real) 를 갖습니다. 이를 통해 도메인 내 성능과 도메인 외 (OOD) 일반화를 엄격하게 평가할 수 있습니다.
   • MODIRECT-REALBENCH: 기존 데이터셋 (Something-Something-V2, KTH, TOMATO) 에서 선별된 실세계 벤치마크로, 훈련 중 실세계 방향 지도가 없는 상태에서 자연스러운 비디오로의 전이성을 테스트합니다.

2. 진단 분석:
   저자들은 운동 방향 신호를 추적하기 위해 선형 프로빙 (linear probing) 과 개념 벡터 분석 (평균 차이) 을 사용합니다.

   • 결과: 소스 도메인 (Primitive-on-Syn) 에 대한 지시 튜닝은 해당 특정 도메인에 대한 바인딩 간극을 성공적으로 해소하지만, 복잡한 OOD 도메인 (예: Cutout-on-Real) 에서는 성능이 크게 저하됩니다.
   • OOD 실패의 근본 원인: 운동 방향 개념 벡터 분석 결과, 튜닝 후 도메인 간에 *방향 (표현 공간 내 방향)*이 정렬되기는 하지만, 복잡한 시각 환경에서 **신호의 크기 (magnitude)**가 급격히 감소함이 드러났습니다. 모델은 올바른 방향 구조를 학습하지만, 신호가 언어 헤드가 신뢰성 있게 읽기에는 너무 약해집니다.

3. DeltaDirect:
   크기 결핍을 해결하기 위해 저자들은 프로젝터 수준에서 적용되는 훈련 전용 보조 목적 함수인 DeltaDirect를 제안합니다.

   • 메커니즘: DeltaDirect 는 특징이 LLM 에 들어가기 전에 인접 프레임 특징 차이 ($\delta_t = F_{t+1} - F_t$) 로부터 정규화된 2 차원 운동 벡터를 예측합니다.
   • 지도 학습: 합성 데이터에서 분석적으로 이용 가능한 운동 벡터를 지도 학습 대상으로 사용합니다. 이 손실 함수는 프로젝터 출력이 더 강력한 부호화된 변위 신호를 전달하도록 장려합니다.
   • 추론: 훈련 후 보조 브랜치는 폐기되므로, 모델 아키텍처, 입력 형식 및 디코딩 절차는 변경되지 않습니다.

주요 기여

1. 방향성 운동 맹점의 식별: 본 논문은 Video-LLM 이 강력한 외관 인식에도 불구하고 기본적인 부호화된 운동 방향을 구별하지 못함을 규명하며, 이를 지각 실패가 아닌 방향 바인딩 간극으로 진단합니다.
2. 일반화 실패의 진단: 개념 벡터 분석을 통해 저자들은 지시 튜닝이 도메인 간 방향 정렬을 이루지만 복잡한 시각 조건에서 신호 크기를 유지하지 못하여 OOD 일반화 간극을 초래함을 보여줍니다.
3. MODIRECT 와 DeltaDirect: 운동 방향을 위한 통제된 데이터셋 패밀리와 추론을 변경하지 않으면서 운동 신호를 강화하는 진단 기반 프로젝터 수준 목적 함수 (DeltaDirect) 의 도입.

결과

• 합성 성능: MODIRECT-SYNBENCH 에서 지시 튜닝만으로도 정확도가 약 26% 에서 약 79% 로 향상되었습니다. DeltaDirect 를 추가하면 평균이 **85.4%**로 더 크게 상승했으며, 가장 어려운 도메인 (Cutout-on-Real) 에서 11.2 포인트의 유의미한 향상을 보였습니다.
• 실세계 전이: 훈련 중 실세계 비디오를 보지 않았음에도, DeltaDirect 는 MODIRECT-REALBENCH 에서 베이스라인 (vanilla baseline) 대비 실세계 운동 방향 정확도를 21.9 포인트 향상시켰습니다 (43.1% 에서 65.0% 로).
• 일반 비디오 이해: DeltaDirect 는 표준 일반 비디오 이해 벤치마크 (예: MVBench, NExT-QA) 에서 성능을 유지하거나 향상시켜, 운동 지도 학습이 광범위한 비디오 능력을 희생하지 않음을 입증했습니다.
• 확장성: 이 접근법은 다양한 백본 (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) 과 훈련 방식 (LoRA 및 전체 미세 조정) 에서 효과적입니다.

의의 및 주장
본 논문은 Video-LLM 의 운동 방향 실패가 시각 데이터나 모델 용량의 부족 때문이 아니라, 내부 지각 신호를 언어적 출력에 바인딩하는 특정 실패 때문이라고 주장합니다. 복잡한 도메인에서의 "크기 결핍"으로 이 실패를 국소화함으로써, 저자들은 진단 기반 지도 학습이 지각 - 언어 간극을 해소할 수 있는 유효한 경로라고 논증합니다. DeltaDirect 는 시각 - 언어 인터페이스에서 운동 벡터를 명시적으로 지도 학습함으로써 일반 비디오 능력을 유지하면서 운동 이해를 크게 향상시킬 수 있음을 보여주며, 향후 Video-LLM 이 모델이나 데이터셋의 단순한 확장 이상으로 이러한 표적 개입의 혜택을 받을 수 있음을 시사합니다. 이 연구는 실세계 평가에서 종종 얽혀 있는 특정 지각 원시 (primitives) 를 진단하기 위한 통제된 합성 벤치마크의 중요성을 강조합니다.