기술 요약: TimeLens2

문제 정의

비디오 멀티모달 거대 언어 모델(MLLM)은 비디오 콘텐츠를 설명하는 능력을 입증해 왔으나, 지지 근거가 비디오 내의 언제 발생하는지를 식별하는 데에는 자주 실패합니다. 시간적 접지(temporal grounding)가 없으면 비디오 출력은 검증 불가능한 상태로 남게 되며, 사용자는 타임라인을 수동으로 검색해야 하는 번거로움을 겪게 됩니다. 본 논문은 "일반론적 비디오 시간적 접지(generalist video temporal grounding)"를 핵심 과제로 정의합니다. 즉, 다양한 비디오 길이, 도메인, 질의 형태(선언적 vs 의문형), 그리고 시점(3인칭 vs 1인칭 시점)에 걸쳐 가변적인 카디널리티를 가진 증거 구간 집합을 예측할 수 있게 하는 것입니다.

저자들은 기존 방식들이 두 가지 구조적 불일치 문제를 겪고 있다고 주장합니다:

1. 감독 불일치(Supervision Mismatch): 긴 비디오 레이블은 종종 취약한 단일 패스 전역 주석(one-pass global annotations)에 의존하며, 이는 유사한 발생 사례를 혼동하거나, 반복되는 증거를 놓치거나, 부정확한 경계를 생성합니다. 또한, 많은 데이터셋이 짧은 비디오와 단일 구간 답변에 집중되어 있어, 긴 컨텍스트에서의 다중 구간 접지의 복잡성을 해결하지 못합니다.
2. 최적화 불일치(Optimization Mismatch): 표준적인 다음 토큰 예측(next-token prediction)은 타임스탬프 구문은 학습하지만, 명시적인 구간 수준의 목적 함수는 결여되어 있습니다. 시간적 IoU(tIoU)를 보상으로 사용하는 강화 학습(RL) 방법은 "근접 실패(near misses)"와 먼 거리의 오류를 구분하지 못하며(분리된 예측에 대해 모두 0의 보상을 할당함), 예측값과 타겟의 카디널리티가 다르거나 파편화되어 일대일 대응이 깨지는 경우 매칭에 어려움을 겪습니다.

방법론

TimeLens2는 감독과 최적화 전 과정에서 시간적 증거를 제1순위의 구간 집합(first-class interval set)으로 취급함으로써 이러한 문제들을 해결합니다. 이 접근 방식은 확장 가능한 데이터 구축 파이프라인과 새로운 학습 프레임워크라는 두 가지 주요 구성 요소로 이루어집니다.

1. TimeLens2-93K: 확장 가능한 데이터 구축

긴 비디오 주석의 신뢰성 문제를 극복하기 위해, 저자들은 취약한 전역 주석을 신뢰할 수 있는 단일 및 다중 구간 감독으로 변환하는 단계별 증거 검증 파이프라인을 제안합니다. 이 파이프라인은 34,867개의 다양한 유튜브 비디오(1분 미만부터 1시간 이상까지 지속 시간별 계층화)를 다음 6단계를 통해 처리합니다:

• 계층적 캡셔닝(Hierarchical Captioning): 비디오를 콘텐츠 기반 경계를 사용하여 20~60초 클립으로 나눕니다. 대규모 MLLM(Qwen3-VL)이 문맥을 위한 전역 캡션과 특정 동작을 위한 세그먼트 캡션을 생성하여 타임스탬프가 찍힌 시맨틱 인덱스를 만듭니다.
• 질의 합성(Query Synthesis): 질의 생성기(Kimi-K2.5)가 이 캡션들을 사용하여 선언적 질의를 생성하고 지지 세그먼트를 선택하여 거친 제안(coarse proposals)을 형성합니다.
• 이중 에이전트 로컬 접지(Dual-Agent Local Grounding): 두 개의 독립적인 에이전트(Qwen3-VL-30B 및 TimeLens-8B)가 비디오 클립에서 제안된 증거를 직접 재국지화(relocalize)하여, 구간 집합 또는 빈 집합을 반환합니다. 이를 통해 텍스트 매칭을 검증 가능한 시각적 결정으로 변환합니다.
• 합의 및 검증(Consensus & Verification):
  • 시간적 합의(Temporal Consensus): 병합된 구간 집합이 높은 IoU(>0.9)를 가질 때만 인스턴스를 유지하여 재현성을 보장합니다.
  • 시맨틱 검증(Semantic Verification): 텍스트-비디오 임베딩 유사도 체크(임계값 >0.5)를 통해 증거가 질의와 시맨틱하게 관련이 있는지 확인합니다.
• 경계 정밀화(Boundary Refinement): 검증된 경계 주변의 ±3초 영역을 관찰하여 전환 지점을 날카롭게 다듬고, 지터(jitter)를 처리하기 위해 1초 이하의 간극을 병합합니다.

이 과정을 통해 23,793개의 비디오에 걸친 93,232개의 접지 인스턴스(12,091개의 다중 구간 예시 포함)로 구성된 TimeLens2-93K 코퍼스를 생성합니다.

2. 모델 학습: 능력 습득 및 기하학적 교정

학습 전략은 '탐색하는 법'을 배우는 것과 '경계를 교정하는 법'을 배우는 것을 분리합니다:

• 롱 컨텍스트 지도 미세 조정(Long-Context SFT): 모델(Qwen3-VL 백본 기반)을 TimeLens2-93K, TimeLens-100K, Ego4D-NLQ로 미세 조정합니다. 학습은 모델이 방해 요소들 사이에서 희소한 증거를 격리하도록 전체 비디오 컨텍스트를 강조합니다. 견고함을 보장하기 위해 모델은 다양한 지시문 구문과 응답 형식(JSON, 자연어 등)에 노출됩니다.
• 시간적 Wasserstein 보상을 이용한 강화 학습(Reinforcement Learning with Temporal Wasserstein Reward):
  • 롤아웃 가이드 마이닝(Rollout-Guided Mining): 모델이 여러 오프-폴리시(off-policy) 완성을 생성하며, 평균 tIoU가 낮은 예시의 가중치를 높여 해결되지 않은 오류에 대한 최적화에 집중합니다.
  • 보상 설계: 저자들은 복합 보상 $R = R_{tIoU} + R_{TW} - 1_{invalid}$를 도입합니다.
    • $R_{tIoU}$: 병합된 지지 구조(이미 회복된 타겟 지지 구조)의 중첩을 측정합니다.
    • $R_{TW}$ (Temporal Wasserstein): 병합된 예측 및 타겟 구간 지지 구조 위의 균등 분포 간 정확한 1-Wasserstein 거리($W_1$)를 계산합니다. 이는 분리된 예측과 불균등한 카디널리티에 대해 매칭이 필요 없는 조밀한 피드백을 제공하며, "먼 거리의 오류"보다 "근접 실패"에 더 높은 순위를 부여합니다.
    • $1_{invalid}$: 파싱 불가능한 출력을 처벌합니다.

주요 기여

1. TimeLens2-93K: 긴 비디오의 품질 병목 현상인 주석 문제를 해결하며, 신뢰할 수 있는 단일 및 다중 구간 시간적 접지 감독을 생성하는 단계별 증거 검증 파이프라인을 제공합니다.
2. Temporal Wasserstein 보상: 병합된 구간 지지에 대한 정확한 $W_1$ 거리에 기반한 매칭 프리(matching-free) 보상입니다. 이는 분리되거나 카디널리티가 다른 예측에 대해 단계적인 피드백을 제공하여, tIoU가 발생하는 "제로 보상 정체(zero-reward plateau)" 문제를 해결합니다.
3. 일반론적 성능: 긴 비디오, 다중 구간, 질문 형태, 1인칭 시점 접지를 아우르는 7개의 벤치마크에서 SOTA(State-of-the-Art) 성능을 달이는 컴팩트한 2B, 4B, 8B 모델을 입증했습니다.

실험 결과

TimeLens2는 Charades-STA, ActivityNet Captions, QVHighlights, VUE-TR, VUE-TR-V2, MomentSeeker, Ego4D-NLQ의 7개 벤치마크에서 평가되었습니다.

• 성능:
  • TimeLens2-2B는 7개 벤치마크 모두에서 크기가 유사한 모든 오픈 소스 베이스라인을 능가하며, 평균 44.5 mIoU를 달성했습니다(백본인 Qwen3-VL-2B 대비 14.2 포인트 향상).
  • TimeLens2-4B 및 TimeLens2-8B는 여러 지표에서 최대 397B 파라미터를 가진 오픈 소스 모델(예: Qwen3.5-397B) 및 독점 시스템(예: Gemini 2.5 Pro)을 능가하는 SOTA 결과를 달성했습니다.
  • 4B 모델은 평균 13.0 mIoU 포인트의 개선을 보였으며, 특히 긴 비디오(VUE-TR) 및 질문 형태(MomentSeeker) 설정에서 큰 폭의 상승을 기록했습니다.
• 어블레이션 통찰(Ablation Insights):
  • 데이터 품질: 점진적 큐레이션 파이프라인(합의, 검증, 정밀화)은 데이터셋 크기를 7/8로 줄이면서도 성능을 크게 높여(42.0에서 45.8 mIoU로), 품질이 양보다 중요하다는 것을 증명했습니다.
  • 보상 설계: Temporal Wasserstein 보상($R_{TW}$)은 RL에서 "전부 0인 tIoU" 그룹의 75.8%를 구제하여, tIoU가 실패하는 지점에서 필수적인 학습 신호를 제공했습니다. 이는 특히 다중 구간 시나리오에서 MUSEG의 매칭된 NGIoU보다 0.6 평균 mIoU 더 우수한 성능을 보였습니다.
  • 롱 컨텍스트: 패킹된 시퀀스 길이를 100K 토큰으로 늘리는 것이 가장 좋은 결과를 냈으며, 특히 VUE-TR-V2와 같은 긴 비디오 벤치마크에서 성능을 향상시켰습니다.

의의

본 논문은 비디오 MLLM이 비디오 아카이브에 대한 신뢰할 수 있는 인터페이스가 되기 위해서는, 그 출력이 특정 순간으로 추적 가능해야 한다고 주장합니다. TimeLens2는 시간적 접지를 특화된 검색 작업에서 일반론적 비디오 MLLM의 네이티브하고 감사 가능한(auditable) 능력으로 전환합니다. 감독부터 최적화에 이르기까지 증거를 구간 집합으로 일관되게 취급함으로써, 이 프레임워크는 컴팩트한 모델이 복잡하고 실제적인 접지 시나리오에서 훨씬 더 큰 시스템을 능가할 수 있게 합니다. 이 연구는 신뢰할 수 있는 긴 비디오 접지를 위해서는 규모뿐만 아니라, 증거를 검증하고 기하학적 오류를 처벌하는 방식에 대한 근본적인 재설계가 필요함을 강조합니다.