1. 문제 정의 (Problem)

비디오 이해 (Video Understanding) 분야에서 멀티모달 대규모 언어 모델 (MLLM) 은 "무엇이 (What)" 일어나는지는 잘 이해하지만, "언제 (When)" 일어나는지를 정확히 파악하는 비디오 시간적 정렬 (Video Temporal Grounding, VTG) 작업에서는 여전히 한계를 보입니다.
기존 연구들은 VTG 성능 향상을 위한 다양한 아키텍처와 학습 전략을 제안했으나, 데이터의 품질 문제와 평가 기준의 신뢰성 부재로 인해 실제 모델의 성능을 정확히 측정하거나 개선하는 데 어려움을 겪고 있습니다. 특히 기존 벤치마크는 노이즈가 많고, 오픈소스 모델과 폐쇄형 (Proprietary) 모델 간의 성능 비교가 왜곡되는 경향이 있었습니다.

2. 방법론 (Methodology)

TimeLens 는 VTG 성능을 극대화하기 위해 **데이터 품질 (Data Quality)**과 **알고리즘 설계 (Algorithmic Design)**라는 두 가지 핵심 차원에서 체계적인 조사를 수행했습니다.

A. 데이터 품질 개선 (Data Quality)

1. TimeLens-Bench (신뢰할 수 있는 평가 벤치마크):

   • 기존 주요 벤치마크 (Charades-STA, ActivityNet Captions, QVHighlights) 의 데이터 품질을 분석하여 심각한 오류 (중복 쿼리, 존재하지 않는 이벤트, 부정확한 타임스탬프 등) 를 발견했습니다.
   • 엄격한 품질 기준 (쿼리 명확성, 이벤트 존재 여부, 고유성, 정확도) 을 적용하여 수동으로 데이터를 재주석 (Re-annotation) 하고 교차 검증을 수행했습니다.
   • 이를 통해 기존 벤치마크에서 오픈소스 모델이 부풀려진 점수를 받거나 폐쇄형 모델이 과소평가되던 문제를 해결한 TimeLens-Bench를 구축했습니다.

2. TimeLens-100K (고품질 학습 데이터셋):

   • 기존 학습 데이터의 노이즈를 해결하기 위해 자동화된 재주석 파이프라인을 구축했습니다.
   • 고급 멀티모달 모델을 활용하여 비디오 내 이벤트를 식별하고, 명확한 쿼리와 정확한 타임스탬프를 생성하여 약 10 만 개의 고품질 VTG 학습 데이터를 구축했습니다.

B. 알고리즘 설계 및 최적화 (Algorithmic Design)

1. 시간 표현 (Time Representation):

   • 복잡한 시각적 오버레이나 위치 임베딩 방식보다, **인터リーブ된 텍스트 인코딩 (Interleaved Textual Encoding)**이 가장 효과적이었습니다. 즉, 각 프레임의 시각 토큰 앞에 텍스트 토큰으로 타임스탬프 (예: "10.2s") 를 삽입하는 방식이 성능과 단순성 면에서 우수했습니다.

2. 학습 패러다임 (Training Paradigm):

   • Thinking-free RLVR (검증 가능한 보상 강화학습): "생각 (Thinking)" 과정을 거치는 방식보다, 직접 답변을 생성하는 Thinking-free RLVR이 VTG 과업 (지각 중심) 에 더 효과적이고 효율적이었습니다.
   • SFT(지도 미세조정) 선행 학습이나 복잡한 사고 과정은 불필요하거나 오히려 성능을 저하시킬 수 있음을 발견했습니다.

3. RLVR 학습 레시피 (Training Recipes):

   • Early Stopping: 보상 (Reward) 이 평평해지기 시작할 때 학습을 중단하는 것이 과학습을 방지하고 성능을 극대화합니다.
   • Difficulty-based Sampling: 모델의 현재 능력에 비해 충분히 높은 난이도를 가진 샘플을 선별하여 학습시키는 것이 성능 향상에 결정적입니다.

3. 주요 기여 (Key Contributions)

• TimeLens-Bench: 기존 VTG 벤치마크의 신뢰성 문제를 폭로하고, 수동 정제를 통해 재설계한 고품질 평가 벤치마크를 공개했습니다.
• TimeLens-100K: 자동화된 파이프라인을 통해 구축된 대규모 고품질 학습 데이터셋을 제공합니다.
• TimeLens 모델: 위 데이터와 알고리즘적 통찰 (인터リーブ 텍스트 인코딩, Thinking-free RLVR, 난이도 기반 샘플링 등) 을 기반으로 개발된 MLLM 패밀리입니다.
• Best Practices: VTG 과업을 위한 데이터 품질 관리 및 학습 전략에 대한 체계적인 가이드라인과 통찰을 제시했습니다.

4. 실험 결과 (Results)

• 벤치마크 재평가: TimeLens-Bench 에서 기존 오픈소스 모델들의 성능이 크게 하락한 반면, 폐쇄형 모델 (GPT-5, Gemini-2.5-Pro 등) 의 성능이 상대적으로 더 잘 드러났습니다. 이는 기존 벤치마크가 왜곡된 평가 기준이었음을 증명합니다.
• SOTA 달성: TimeLens 모델 (TimeLens-7B, TimeLens-8B) 은 오픈소스 모델 중 최고 성능을 기록했을 뿐만 아니라, GPT-5 및 Gemini-2.5-Flash와 같은 선두 주자 폐쇄형 모델을 능가하는 성능을 보였습니다.
• 효율성: Thinking-free RLVR 방식을 통해 SFT 나 Thinking-based RLVR 대비 더 적은 계산 비용으로 더 높은 성능을 달성했습니다.

5. 의의 및 중요성 (Significance)

• VTG 연구의 새로운 기준: 비디오 시간적 정렬 연구에서 데이터 품질과 평가의 신뢰성이 얼마나 중요한지를 재조명했습니다.
• 효율적인 MLLM 학습 전략: 복잡한 사고 과정 없이도, 지각 (Perception) 과 정밀한 시간 인식에 집중하는 Thinking-free RLVR이 비디오 정렬 과업에 최적임을 입증했습니다.
• 오픈소스 생태계 강화: 오픈소스 모델이 폐쇄형 상용 모델을 능가할 수 있음을 보여주며, 코드, 데이터, 모델을 모두 오픈소스로 공개하여 향후 연구의 기반을 마련했습니다.

요약하자면, TimeLens 는 **"데이터의 질이 알고리즘의 질을 결정한다"**는 전제하에, 깨끗한 데이터와 효율적인 학습 전략을 결합하여 비디오 시간적 정렬 분야에서 새로운 기준 (SOTA) 을 제시한 연구입니다.