기술 요약: 비디오-LLM 에서 시간의 화살 추적

문제 제기

인간은 물리적 비가역성에 기반하여 비디오가 정방향인지 역방향인지 판단하는 시간의 화살 (AoT) 작업을 거의 완벽하게 수행하는 반면, 최첨단 비디오 대형 언어 모델 (Video-LLM) 은 우연 수준을 약간 상회하는 성능만 보여줍니다. 이 성능 격차는 중요한 진단적 질문을 제기합니다. 즉, 이 실패는 비전 백본이 시간 정보를 인코딩하지 못하기 때문인지, 아니면 비디오-LLM 아키텍처의 다른 부분 (예: 프로젝터 또는 LLM) 에 병목 현상이 존재하기 때문인지입니다. 일반적으로 비전 인코더와 프로젝터를 통해 LLM 을 결합하는 현재 비디오-LLM 들은 실제 세계의 역학을 이해하는 데 필수적인 시간 추론에 어려움을 겪고 있습니다.

방법론

저자들은 비디오-LLM 파이프라인 내에서 시간 정보가 어디에 인코딩되고, 보존되며, 손실되는지 격리하기 위해 체계적이고 구성 요소별 추적 접근법을 사용합니다. 본 연구는 다음 세 가지 연구 질문 (RQ) 을 중심으로 구성됩니다:

1. RQ1: 시간 정보를 비전 인코더가 인코딩할 수 있는가?

• 접근법: 저자들은 비전 인코더를 LLM 에서 분리하고 "주의 기반 프로빙 (attentive probing)" 기법을 사용합니다. 정지된 비전 인코더 위에 비디오 방향 (정방향/역방향) 을 예측하기 위해 경량 주의 기반 분류기를 훈련시킵니다.
• 인코더 비교: 프레임 중심 인코더 (비디오를 개별 프레임으로 처리하고 시간적 단서를 위해 위치 임베딩에 의존함, 예: Qwen2VL, DINOv2) 와 프레임 간 시간적 역학을 명시적으로 모델링하는 비디오 중심 인코더 (예: VJepa, InternVideo2) 를 비교합니다.
• 결과: 명시적 시간 모델링을 갖춘 비디오 중심 인코더는 강력한 AoT 신호를 성공적으로 인코딩하여 프로빙에서 약 85-88% 의 정확도를 달성합니다. 반면, 프레임 중심 인코더는 치명적으로 실패하여 우연 수준 (~50%) 에 머뭅니다.

2. RQ2: 시간 정보를 LLM 으로 효과적으로 전달할 수 있는가?

• 접근법: 저자들은 비전 특징을 LLM 토큰으로 매핑하는 구성 요소인 프로젝터와 인코더의 층별 역동성을 분석하여 "정보 병목 현상"을 조사합니다.
• 프로젝터 분석: 세 가지 프로젝터 설계를 비교합니다:
  • Q-Former: 학습 가능한 쿼리 토큰을 사용하여 비전 표현에 주의합니다.
  • 시간 압축 MLP: 프로젝션 전에 시간 차원을 따라 특징을 풀링합니다.
  • 시간 보존 MLP: 공간 차원 ($H' \times W'$) 만 풀링하면서 시간 차원 ($T'$) 을 보존합니다.
• 층별 분석: 인코더의 서로 다른 층 (특히 InternVideo2 Stage 1 대 Stage 2) 의 표현을 프로젝터를 거쳐 LLM 으로 추적합니다.
• 결과:
  • 프로젝터 병목 현상: Q-Former 는 시간 정보를 방해하여 강력한 비디오 중심 인코더를 사용하더라도 성능이 우연 수준으로 붕괴됩니다. 시간 보존 MLP 는 Q-Former 와 시간 압축 MLP 보다 훨씬 우수한 성능을 보여주며, 프로젝션 중 시간 해상도를 보존하는 것이 중요함을 시사합니다.
  • 언어 정렬의 영향: 비디오만으로 사전 훈련된 Stage 1 인코더는 초기~중간 층에서 명시적 시간 정보를 보존하는 반면, CLIP 스타일 훈련을 통해 언어와 정렬된 Stage 2 인코더는 시간 전달성에서 저하를 보입니다. Stage 2 의 시간 정보는 덜 명시적이 되어 시간 보존 프로젝터가 있더라도 LLM 이 디코딩하기 어려워집니다.

3. RQ3: AoT 감독이 광범위한 시간 추론을 개선할 수 있는가?

• 접근법: 저자들은 시간 인식 비디오 인코더 (InternVideo2 Stage 1), 시간 보존 MLP 프로젝터, 그리고 LLM 을 결합한 비디오-LLM 을 구축합니다. 그런 다음 일반 지시어 튜닝과 함께 AoT 감독(정방향/역방향 분류) 으로 이 모델을 미세 조정합니다.
• 평가: 일반 비디오 벤치마크 (MVBench, Video-MME) 와 비교하여 일반 능력의 저하가 없는지 확인하면서, AoT 벤치마크 (AoT P P B) 와 광범위한 시간 추론 벤치마크 (VITATECS-Direction, TVBench) 에서 모델을 테스트합니다.

주요 기여

1. 시간 인코딩 진단: 비디오 중심 인코더에서의 명시적 시간 모델링이 강력한 AoT 신호를 인코딩하기에 충분함을 입증한 반면, 프레임 중심 인코더는 이 작업에 근본적으로 부적절함을 보였습니다.
2. 아키텍처 병목 현상 식별: 프로젝터 설계를 주요 병목 현상으로 식별했습니다. 구체적으로 Q-Former 아키텍처는 시간 흐름을 방해하는 반면, 시간 보존 MLP는 시간 정보를 LLM 으로 전달하는 데 필수적입니다.
3. 언어 정렬의 영향: CLIP 스타일 언어 정렬 (Stage 2 훈련) 은 순수 비디오 중심 사전 훈련 (Stage 1) 에 비해 시간 정보를 덜 명시적으로 만들고 LLM 으로 전달하기 어렵게 만든다는 것을 밝혔습니다.
4. 성능 돌파: 제안된 비디오-LLM 은 AoT P P B 벤치마크에서 인간 성능 (89.2%) 을 능가하는 98.1% 의 정확도를 달성했습니다.
5. 일반화: AoT 감독이 일반 비디오 이해를 해치지 않으면서 광범위한 시간 추론 작업을 개선하는 효과적인 훈련 신호로 작용함을 보였습니다 (VITATECS-Direction 에서 최대 +6.0 점 향상).

결과

• 프로빙: 비디오 중심 인코더 (예: VJepa-H) 는 AoT 프로빙에서 88.8% 의 정확도를 달성한 반면, 프레임 중심 인코더 (예: Qwen2.5VLViT) 는 50.7% 에 머물렀습니다.
• VQA 성능: 강력한 비디오 중심 인코더를 사용함에도 불구하고 표준 비디오-LLM(예: Q-Former 를 사용하는 InternVideo2VL) 은 AoT VQA 에서 우연 수준 (50.0%) 의 성능을 보였습니다.
• 프로젝터 제거 실험: InternVideo2 Stage 1 에서 Q-Former 를 시간 보존 MLP 로 교체한 결과, AoT VQA 정확도가 50.0% 에서 95.1% 로 향상되었습니다.
• 최종 모델: 제안된 모델 (Stage 1 인코더 + 시간 보존 MLP + AoT 감독) 은 AoT P P B 에서 **98.1%**를 달성했습니다.
• 광범위한 작업: 이 모델은 VITATECS-Direction 을 6.0 점, TVBench 를 1.3 점 향상시켰습니다. 일반 벤치마크 (MVBench, Video-MME) 의 성능은 안정적으로 유지되어 성장이 시간 추론에 특화되었음을 나타냅니다.

의의

본 논문은 현재 비디오-LLM 의 시간 추론 실패가 비전 백본의 시간 인코딩 부족 때문만이 아니라, 부적절한 프로젝터 설계와 언어 정렬의 부작용으로 인한 정보 전달의 실패 때문이라고 주장합니다. 아키텍처를 통해 "시간의 화살"을 추적함으로써 저자들은 이러한 실패에 대한 기계론적 설명을 제공하고, 이를 극복하기 위한 실용적인 아키텍처 원칙 (비디오 중심 인코더 + 시간 보존 프로젝터) 을 제안합니다. 이 연구는 물리적 비가역성 (AoT) 에 대한 명시적 감독이 멀티모달 모델의 시간 추론 능력을 향상시키는 실현 가능하고 효과적인 전략임을 시사합니다.