How Should Video LLMs Output Time? An Analysis of Efficient Temporal Grounding Paradigms

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대형 언어 모델 (MLLM) 이 비디오 시간적 정렬 (질문에 해당하는 비디오의 시작 및 종료 시간 찾기) 의 핵심 백본으로 부상하고 있습니다.
• 문제점:
  1. 비교의 어려움: 기존 연구들은 출력 형식 (텍스트 숫자 생성, 토큰 생성, 연속적 디코딩 등) 을 서로 다른 아키텍처, 데이터, 학습 전략과 결합하여 특정 출력 설계의 영향을 고립시키기 어렵습니다.
  2. 효율성 고려 부족: 엣지 디바이스나 모바일과 같은 리소스 제약 환경에서의 배포가 중요해지고 있으나, 출력 형식과 시스템 효율성 (추론 지연, 학습 처리량 등) 간의 트레이드오프에 대한 체계적인 연구가 부족합니다.
  3. 모델 스케일 의존성: 기존 연구는 주로 7B(70 억) 파라미터 이상의 대형 모델에 의존하여, 경량화 모델 (Compact Models) 에서 어떤 출력 형식이 최적인지 명확하지 않았습니다.

2. 방법론 (Methodology)

저자들은 **통제된 실증 연구 (Controlled Empirical Study)**를 수행하여 출력 형식만 변수로 하고 나머지는 고정했습니다.

• 비교 대상 (3 가지 출력 패러다임):

  1. 텍스트 숫자 생성 (Text Numeral Generation): MLLM 의 자연어 생성 능력을 이용해 시간을 텍스트 숫자 (예: "52.0 to 63.0 seconds") 로 직접 생성합니다. (예: VTimeLLM 스타일)
  2. 시간 토큰 생성 (Temporal Token Generation): 어휘부에 전용 시간 토큰을 도입하고, 이를 시퀀스로 생성합니다. (예: TRACE 스타일)
  3. 연속 시간 디코딩 (Continuous Temporal Decoding): 은닉 상태를 통해 시간의 확률 분포를 예측하고 기대값을 계산하여 연속적인 시간을 도출합니다. (예: DisTime 스타일)

• 실험 설정:

  • 백본 (Backbone): 0.5B 에서 8B 까지 다양한 크기의 경량 MLLM (SmolVLM2, FastVLM, Molmo2) 을 사용했습니다.
  • 학습 프로토콜: 모든 패러다임에 대해 동일한 데이터셋 (약 120 만 개 샘플), 동일한 LoRA 미세 조정 (Fine-tuning) 설정, 동일한 시각 인코더를 적용했습니다.
  • 평가 데이터셋: Charades-STA (Moment Retrieval), QVHighlights (Highlight Detection), YouCook2 (Dense Video Captioning).
  • 지표: 정렬 정확도 (mIoU, R1@IoU) 와 시스템 효율성 (추가 파라미터, 학습 처리량, 추론 지연 시간, GPU 메모리 사용량).

3. 주요 기여 (Key Contributions)

1. 통합 미세 조정 비교: 동일한 경량 백본과 학습 설정 하에서 세 가지 패러다임을 최초로 공정하게 비교했습니다.
2. 효율성 인식 분석: 단순 정확도뿐만 아니라 파라미터 오버헤드, 학습 안정성, 추론 결정론적 성질, 계산 비용을 종합적으로 분석하여 실제 배포 가능성을 평가했습니다.
3. 경량 스케일에서의 통찰: 0.5B~8B 스케일에서 패러다임별 성능 차이를 규명하고, 리소스 제약 환경에 최적화된 출력 형식을 제시했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

A. 정확도 측면: 연속적 표현의 우위

• 지배적인 성능: 연속 시간 디코딩 (Continuous Temporal Decoding) 패러다임이 모든 작업과 모델 크기에서 가장 뛰어난 정렬 정확도를 보였습니다.
  • 예: 8B 모델 기준, 연속 디코딩은 Charades-STA 에서 mIoU 57.1% 를 기록한 반면, 텍스트 숫자 생성은 27.5% 에 그쳤습니다.
• 패러다임 배당금 (Paradigm Dividend): 출력 형식의 최적화는 모델 크기 확대 (Scaling) 보다 더 효과적인 성능 향상 경로임을 증명했습니다.
  • 0.5B 크기의 연속 디코딩 모델이 8B 크기의 텍스트 숫자 생성 모델보다 정확도가 훨씬 높았습니다. 이는 단순한 파라미터 증가보다 출력 설계가 더 중요함을 시사합니다.

B. 효율성 측면: Pareto Frontier

• 추론 지연 (Latency):
  • 텍스트/토큰 생성: 자동 회귀 (Auto-regressive) 방식으로 긴 시퀀스를 생성해야 하므로 추론 지연이 매우 높았습니다.
  • 연속 디코딩: 경량 MLP 헤드를 사용하여 한 번의 포워드 패스로 확률 분포를 예측하므로 비자동 회귀 (Non-autoregressive) 방식의 이점으로 인해 가장 낮은 지연 시간을 기록했습니다.
• 파라미터 오버헤드:
  • 연속 디코딩은 MLP 구조로 인해 모델 크기가 커질수록 파라미터가 $O(D^2)$로 증가하지만, 토큰 생성 방식은 $O(D)$로 증가합니다.
  • 그러나 지연 시간 관점에서는 연속 디코딩이 토큰 생성 방식의 순차적 디코딩 병목 현상을 우회하여 전체 시스템 효율성 (정확도 vs 지연) 의 **파레토 최적 (Pareto Frontier)**을 달성했습니다.

C. 실패 사례 분석

• 텍스트/토큰 생성: 시간적 불확실성이 높은 쿼리에서 "시간 환각 (Temporal Hallucination)" 현상이 빈번하게 발생했습니다. 즉, 전혀 관련 없는 시간을 예측하거나 범위를 과도하게 확장/축소했습니다.
• 연속 디코딩: 실패하더라도 예측이 실제 이벤트와 완전히 동떨어지는 환각보다는, 경계선이 약간 흐릿한 "경계 흔들림 (Boundary Jitter)" 형태로 나타났으며, 이는 훨씬 더 안전한 오류 모드입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 배포 가이드라인 제공: 리소스가 제한된 엣지 디바이스 배포를 위해 **연속 시간 디코딩 (Continuous Temporal Decoding)**이 정확도와 효율성 측면에서 가장 이상적인 선택임을 입증했습니다.
• 설계 패러다임의 전환: 단순히 모델을 크게 만드는 것 (Scaling Law) 보다, 출력 공간 (Output Space) 의 설계를 최적화하는 것이 비디오 시간적 정렬 성능을 획기적으로 개선하는 핵심 열쇠임을 강조했습니다.
• 향후 과제: 현재 연속 디코딩 방식은 프레임 단위 중요도 점수 (Saliency Score) 예측 기능이 부족하므로, 이를 보완하여 하이라이트 감지 등 더 다양한 태스크를 지원할 수 있는 아키텍처 확장이 필요함을 지적했습니다.

요약하자면, 이 논문은 비디오 LLM 이 시간을 어떻게 표현하느냐가 모델의 크기보다 더 중요할 수 있음을 보여주며, 경량화되고 효율적인 비디오 이해 시스템을 구축하기 위해서는 '연속 확률 분포 기반의 시간 예측' 방식을 채택해야 함을 강력히 주장합니다.