기술 요약: TORM - 비디오-언어 모델의 시공간 추론을 위한 내부화 모델링

문제 정의

비디오 추론 작업은 모델이 프레임 간 운동, 시간적 순서, 그리고 진화하는 시각적 상태를 추적해야 합니다. 대규모 비전-언어 모델 (LVLM) 이 정적 이미지 이해에서 성공을 거두었음에도 불구하고, 이를 비디오로 확장하는 것은 여전히 어렵습니다. 기존 접근법은 종종 텍스트 기반 사고 연쇄 (Chain-of-Thought, CoT), 반복된 프레임 재삽입, 시간적 분해, 또는 외부 도구 사용을 통한 추론의 외부화에 의존합니다.

이 논문은 이러한 외부 파이프라인의 중요한 한계를 지적합니다:

1. 비효율성: 추론 시 지연 시간과 엔지니어링 복잡성을 크게 증가시킵니다.
2. 정보 손실: 풍부하고 연속적인 시간 - 시각적 증거를 이산적인 텍스트 토큰으로 직렬화하거나 반복적으로 재인코딩하게 하여, 미세한 동적 정보가 손실될 수 있습니다.
3. 상충 관계: 풍부한 중간 시각 - 시간적 정보 보존 (추론에 유익함) 과 추론 효율성 (테스트 시 명시적 증거 생성 또는 검색으로 인해 저해됨) 사이에는 근본적인 긴장 관계가 존재합니다.

방법론: TORM

저자들은 LVLM 이 명시적 텍스트 CoT 나 외부 도구 대신 제한된 연속 잠재 궤적을 통해 추론하도록 가르치는 2 단계 프레임워크인 TORM(내부화 모델링을 통한 시공간 추론, Spatial-Temporal reasOning via inteRnalized Modeling) 을 제안합니다. 핵심 직관은 시각적 추론이 언어화되기 전에 숨겨진 상태 내에서 암묵적으로 발생할 수 있다는 것입니다.

핵심 아키텍처

TORM 은 표준 비디오 - 질문 - 답변 생성 과정에 $K$개의 잠재 토큰 (실험에서는 $K=8$로 설정) 을 포함하는 짧은 잠재 시뮬레이션 세그먼트를 추가합니다.

• 추론: 모델이 특수한 <|latent_start|> 토큰을 생성하면 "잠재 시뮬레이션 모드"에 진입합니다. 이산적인 텍스트 토큰을 예측하는 대신, 디코더는 연속적인 숨겨진 상태 (잠재 토큰) 를 생성하여 후속 단계의 입력 임베딩으로 피드백합니다. <|latent_end|>가 생성될 때까지 이 과정이 계속되며, 그 후 최종 답변을 위해 일반 텍스트 디코딩이 재개됩니다. 이 과정은 고정된 지연 시간을 보장하기 위해 제한됩니다.
• 외부 도구 부재: 다른 방법들과 달리 TORM 은 추론 중 비디오를 재생성하거나 프레임을 재삽입하거나 외부 도구를 호출하지 않습니다.

데이터 파이프라인

모델이 추론을 내부화하도록 훈련시키기 위해 저자들은 각 QA 쌍에 대해 세 가지 정렬된 신호를 포함하는 훈련 시퀀스를 구성합니다:

1. 키프레임: 소스 비디오에서 추출된 질문 관련 프레임.
2. 생각 비디오 (Thought Video): 질문과 관련된 운동 및 상태 변화를 시각화하는 짧은 생성형 동적 비디오 (교사 CoT 계획과 Wan 2.1 과 같은 비디오 생성 모델을 사용하여 생성됨).
3. 답변: 목표 답변 토큰 시퀀스.

2 단계 훈련 전략

훈련 과정은 잠재 공간을 먼저 고정시킨 후 추론을 내부화하기 위해 두 단계로 나뉩니다:

• 1 단계: 잠재 기반 지도 학습 (Latent-Grounded Supervised Training)

  • 모델은 예측된 잠재 상태 ($z_i$) 를 생성된 생각 비디오의 특징 ($g_i$) 과 정렬하도록 훈련됩니다.
  • 생각 비디오가 인코딩되고, 그 특징이 고정된 잠재 슬롯 수 ($K$) 에 맞게 풀링됩니다.
  • 손실 함수는 잠재 상태와 생각 - 비디오 특징 간의 거리를 최소화하기 위해 표준 답변 - 토큰 교차 엔트로피 ($L_{ans}$) 와 MSE 손실 ($L_{latent}$) 을 결합합니다.
  • 목표: 명시적 텍스트 CoT 지도 학습 없이 동적 시각적 증거에 잠재 슬롯을 고정합니다.

• 2 단계: 답변 전용 통합 (Answer-Only Consolidation)

  • 직접적인 잠재 지도 학습 (MSE 손실) 이 제거됩니다.
  • 모델은 잠재 슬롯이 입력 시퀀스에 남아있는 상태에서 답변 - 토큰 손실 ($L_{ans}$) 만으로 훈련됩니다.
  • 목표: 1 단계에서 학습된 추론 행동을 모델이 내부화하도록 장려하여, 명시적 목표 없이도 추론을 위해 잠재 과정이 자기 조직화되고 견고하도록 만듭니다.

주요 기여

1. TORM 프레임워크: 명시적 텍스트 CoT 나 무거운 도구 기반 추론 없이 연속 잠재 공간에서 내부 동적 시뮬레이션을 수행하는 비디오 추론 프레임워크.
2. 2 단계 훈련 전략: 잠재 정렬과 생각 - 비디오 지도 학습 (1 단계) 및 답변 중심 통합 (2 단계) 을 결합하여 시공간 추론을 내부화하는 새로운 접근법.
3. 생각 - 비디오 지도 학습 파이프라인: 생성된 동적 흔적, 키프레임, 그리고 QA 주석을 정렬하여 잠재 비디오 추론을 훈련시키는 확장 가능한 방법.
4. 효율성과 성능: 도구 중심 또는 비디오 생성 기반 파이프라인에 비해 추론 오버헤드를 크게 줄이면서도 높은 정확도를 달성할 수 있음을 입증.

실험 결과

저자들은 TORM 을 VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso, MMVU의 6 개 벤치마크에서 평가했습니다.

• 성능: TORM 은 모든 벤치마크에서 표준 지도 미세 조정 (SFT) 베이스라인 (예: Qwen2.5-VL-7B-SFT) 보다 일관되게 우수한 성능을 보였습니다. 또한 비싼 테스트 시간 계산 파이프라인에 의존하는 전문 모델 (예: LongVT, Video-Thinker) 과도 맞먹거나 능가하는 성능을 보였습니다.
  • 예시: VideoMME 에서 TORM 은 61.0% 의 정확도를 달성하여 SFT 베이스라인 (55.4%) 을 능가했으며, 오픈소스 백본을 사용하면서도 GPT-4o(71.9%) 와 Gemini-1.5-Pro(75.0%) 와 같은 독점 모델과 경쟁했습니다.
  • 예시: MMVU 에서 TORM 은 65.9% 를 달성하여 Video-R1(64.2%) 과 Qwen2.5-VL-CoT(60.0%) 보다 우수한 성능을 보였습니다.
• 지연 시간: TORM 은 추론 지연 시간을 대폭 줄였습니다.
  • LongVT 와 Video-Thinker 는 항목당 약 15~17 초가 소요되었습니다.
  • TORM 은 반복된 프레임 검색 및 외부 도구 호출을 피함으로써 항목당 약 0.47 초 (초당 2.14 항목) 로 처리하여 약 30 배의 속도 향상을 이루었습니다.
• 절대 실험 (Ablation Studies):
  • 잠재 크기: 8 개의 잠재 토큰 예산이 가장 좋은 균형을 제공했습니다. 더 큰 예산 (16 또는 256) 은 성능을 저하시켰으며, 이는 중복된 시각 토큰을 유지하는 것보다 컴팩트한 잠재 궤적이 더 효과적임을 시사합니다.
  • 훈련 단계: 1 단계 (고정) 와 2 단계 (통합) 모두 필요했습니다. 어느 한 단계만 사용하면 성능이 저하되었습니다.
  • 검색 분석: 프로브 실험은 학습된 잠재 상태가 텍스트 표현보다 비디오 특유의 시간 정보를 더 잘 유지하여, 텍스트의 29% 대비 동일 비디오 검색에서 71% 의 Hit@1 을 달성했음을 보여주었습니다.

중요성과 주장

이 논문은 TORM 이 비디오 - 언어 모델에서 효율적인 네이티브 시각적 추론을 향한 실용적인 단계임을 주장합니다. 동적 추론의 부담을 추론 시 도구 오케스트레이션에서 내부화된 잠재 과정으로 전환함으로써, TORM 은 추론 품질과 계산 효율성 사이의 상충 관계를 해결합니다.

저자들은 다음과 같은 점을 강조합니다:

• 동적 시각적 증거는 잠재 상태를 가르치기 위해 훈련 중에만 사용됩니다.
• 추론 시, 모델은 새로운 비디오를 생성하거나 외부 도구를 호출하지 않고 컴팩트하고 고정된 예산의 잠재 궤적을 통해 학습된 행동을 재사용합니다.
• 이 접근법은 LVLM 이 외부 추론 파이프라인의 지연 시간과 복잡성을 피하면서 단일 모델 디코딩 과정의 효율성으로 복잡한 시공간 추론 작업을 처리할 수 있게 합니다.

이 논문은 훈련의 품질이 생성된 생각 비디오에 의존하며, 현재 평가가 다중 선택 QA 에 초점을 맞추고 있다는 한계를 인정합니다. 향후 연구는 개방형 추론과 다른 아키텍처를 위한 것으로 제안됩니다.