기술 요약: MLLM 은 말하기 전에 언제를 알고 있다

문제 정의

Video Temporal Grounding(VTG) 은 Multimodal Large Language Models(MLLM) 이 정제되지 않은 비디오 내에서 질의된 이벤트의 시작 및 종료 시간을 국소화하도록 요구합니다. 현대의 MLLM 은 비디오 콘텐츠를 설명하는 데 유창함을 보이지만, 정확한 타임스탬프를 예측하는 능력은 여전히 신뢰할 수 없습니다. 기존 솔루션들은 트레이드오프에 직면해 있습니다: 사후 학습 (post-training) 방법은 성능을 향상시키지만 비용이 많이 드는 시간적 주석과 특수 파이프라인을 필요로 하는 반면, 학습이 필요 없는 대안들은 종종 경계 정밀도를 희생하는 거친 휴리스틱 (예: 세그먼트-캡션 매칭 또는 OCR 스타일의 프레임 읽기) 에 의존합니다. 본 연구는 MLLM 이 진정으로 시간적 국소화 능력을 결여하고 있는지, 아니면 표준 자기회귀적 디코딩이 활용하지 못하는 잠재적 능력을 보유하고 있는지 조사합니다.

방법론

저자들은 모델 파라미터나 아키텍처를 수정하지 않고 내부 주의 (attention) 단서를 활용하여 숨겨진 시간적 신호를 복원하는 추론 시 "읽기 후 재생성 (read-then-regenerate)" 프레임워크를 제안합니다.

1. 시간적 국소화 헤드 (TG-Heads) 의 식별

체계적인 "주의 킥아웃 (attention knockout)" 연구를 통해 저자들은 **Temporal Grounding Heads(TG-Heads)**라고 명명된 주의 헤드의 희소 부분집합을 식별합니다.

• 메커니즘: 개별 헤드의 교차 모달 주의 흐름 (질문에서 비디오로) 을 억제하고 VTG 정확도 하강 (Grounding Contribution Score, GCS) 을 측정함으로써, 오직 소수이고 꼬리가 긴 부분집합의 헤드만이 시간적 국소화에 결정적임을 발견했습니다.
• 발견: 이러한 특정 헤드를 제거하면 성능이 불균형적으로 저하되는데, 이는 MLLM 이 이러한 헤드에 집중된 시간적 국소화를 위한 전문화된 잠재 메커니즘을 포함하고 있음을 시사합니다.

2. 지각 - 생성 간극

이 연구는 모델의 내부 상태와 최종 출력 사이의 중요한 단절을 드러냅니다:

• Prefill 단계: 질의의 초기 처리 동안, TG-Heads 는 정답 구간 (ground-truth interval) 에 정확하게 주의를 집중합니다.
• 디코딩 단계: 모델이 자기회귀적으로 답변 토큰을 생성함에 따라, 주의는 올바른 구간에서 시각적으로 두드러지지만 질의와 무관한 세그먼트 (방해 요소) 나 주의 싱크 (예: 비디오 시작부) 로 이동합니다.
• 가설: 모델은 읽기 단계 동안 올바른 시간을 "알고" 있지만, 관련 없는 시각 토큰에 의한 신호의 희석과 숫자 타임스탬프 토큰으로부터의 의미적 부재로 인해 말하는 단계 동안 이를 "잊어버립니다".

3. 추론 시 읽기 후 재생성 프레임워크

이 간극을 메우기 위해 저자들은 2 단계 프레임워크를 제안합니다:

1 단계: 초기 추론 및 신호 추출

• MLLM 은 기준선 예측을 생성하기 위해 표준 순전파 (forward pass) 를 수행합니다.
• 동시에, 식별된 TG-Heads 의 교차 모달 주의가 prefill 단계 동안 추출됩니다.
• 신호 처리:
  • 엔트로피 기반 집계: 질의 토큰은 주의 엔트로피의 음의 지수함수로 가중치를 부여받습니다. 저엔트로피 (내용이 풍부한) 토큰은 가중치가 상향 조정되고, 고엔트로피 (기능어) 토큰은 하향 조정됩니다.
  • 대조적 편향 제거: 아키텍처 편향 (예: 비디오 시작부의 주의 싱크) 을 제거하기 위해, 모델은 동일한 질의와 함께 "빈 비디오 (zero pixels)"를 처리합니다. 결과적으로 얻어진 "zero-video" 주의 곡선을 원래 신호에서 차감하여 질의 특이적 관련성을 분리합니다.
• 구간 탐지: 편향이 제거된 신호는 임계값을 적용받고, 간극을 메우기 위해 팽창된 후 고주의 시간 구간 $[f_s, f_e]$를 정의하기 위해 확장됩니다.
• 신뢰도 게이트: 기준선 예측이 이미 신뢰할 수 있거나 (디코드 확률 기반) 주의 피크와 일치하는 경우, 2 단계는 생략됩니다.

2 단계: 주의 유도 재추론
신뢰도 게이트가 발동되면, MLLM 은 탐지된 고주의 구간으로 시각적 컨텍스트가 제한되어 다시 호출됩니다. 두 가지 전략이 사용됩니다:

• 하드 크롭: 비디오가 해당 구간으로 잘려지고 모델이 해당 세그먼트를 다시 읽습니다. 이는 대상 이벤트에 대한 프레임당 해상도를 높입니다.
• 소프트 마스크: 원래 비디오 타임라인은 유지되지만, 주의 마스크가 외과적으로 수정되어 구간 외부의 시각 토큰을 보이지 않게 만듭니다 (주의 가중치를 $-\infty$로 설정). 이는 방해 요소를 억제하면서 시간적 컨텍스트를 유지합니다.

주요 기여

1. TG-Heads 의 발견: 범용 MLLM 내의 잠재적 시간적 국소화에 대한 개입 기반 증거를 제공하는 주의 헤드의 희소 집합을 식별했습니다.
2. 지각 - 생성 간극의 규명: MLLM 이 prefill 단계 동안 정확한 시간적 신호를 보유하고 있지만, 관련 없는 프레임에 의한 방해로 인해 자기회귀적 디코딩 동안 이를 상실함을 입증했습니다.
3. 학습 불필요 프레임워크: 파라미터 업데이트나 아키텍처 변경 없이 이러한 숨겨진 신호를 복원하고 여러 모델에 걸쳐 VTG 성능을 향상시키는 플러그 앤 플레이 추론 시 프레임워크입니다.

실험 결과

이 프레임워크는 MiMo-VL-7B, Qwen3-VL-8B, 그리고 VTG 튜닝된 TimeLens-8B 세 가지 MLLM 을 사용하여 세 가지 벤치마크 (QVHighlights-TimeLens, Charades-TimeLens, ActivityNet-TimeLens) 에서 평가되었습니다.

• 성능 향상: 이 방법은 모든 모델과 데이터셋에서 일관되게 성능을 향상시켰습니다.
  • MiMo-VL-7B: QVHighlights-TimeLens 에서 최대 +3.5 mIoU의 개선을 달성했습니다.
  • Qwen3-VL-8B: 최대 +2.5 mIoU의 개선을 달성했습니다.
  • TimeLens-8B: 전문화된 사후 학습 모델조차도 개선 (+0.4 mIoU 등) 을 보였는데, 이는 프레임워크가 미세 조정된 모델에서도 잔류 오류를 수정함을 시사합니다.
• 일반화: 이 접근법은 다양한 모델 규모 (4B 에서 32B) 와 아키텍처에서 효과적으로 작동했습니다.
• 효율성: 최악의 경우 세 번의 순전파 (기준선, zero-video, 재추론) 가 포함되지만, 신뢰도 게이트가 대부분의 샘플 (약 80–90%) 에서 2 단계를 생략하여 효과적인 오버헤드를 관리 가능한 수준으로 유지합니다.

중요성과 주장

본 논문은 범용 MLLM 이 이미 디코딩 과정에 의해 단순히 가려진 시간적 국소화를 위한 잠재적 능력을 보유하고 있다고 주장합니다. 손실되기 전에 내부 주의 단서를 "읽고" 방해 요소가 억제된 컨텍스트에서 답변을 "재생성"함으로써, 이 방법은 값비싼 재학습 없이 이러한 능력을 표면화합니다.

저자들은 이 작업을 더 신뢰할 수 있는 멀티모달 추론을 향한 한 걸음으로 위치시키며, 모델이 주목하는 것과 생성하는 것 사이의 간극은 추론 시 개입을 통해 완화될 수 있는 근본적인 문제라고 제안합니다. 그들은 명시적으로 이 방법이 새로운 능력을 발명하는 것이 아니라 기존에 존재하는 잠재적 능력을 복원하는 것이며, 학습 불필요 휴리스틱이 이전에 달성하지 못했던 세밀한 시간적 국소화를 위한 길을 제공한다고 밝힙니다.