기술 요약: ID-VTG: 이미지로 모호성을 해소하는 비디오 시간적 접지 (Image-Disambiguated Video Temporal Grounding)

문제 정의

비디오 시간적 접지(Video Temporal Grounding, VTG)는 자연어 질의를 기반으로 비디오 내 특정 이벤트 세그먼트를 국지화하는 것을 목표로 합니다. 그러나 기존의 텍스트 중심 방법론들은 시각적으로 유사한 개체들이 유사한 행동을 수행하는 질의를 처리할 때 상당한 한계에 직과합니다. 이러한 경우, 텍스트 설명은 여러 후보를 구별하는 데 필요한 미세한 속성(예: 특정 질감, 얼굴 특징 또는 미묘한 외형 차이)이 부족한 경우가 많습니다. 이는 "남자가 마이크에 대고 말하고 있다"와 같은 텍astual 질의가 여러 명의 서로 다른 개인이나 시간 세그먼트에 대응될 수 있어, 텍스트만으로는 정확한 국지화가 불가능한 참조적 모호성(referential ambiguity)을 초래합니다.

이를 해결하기 위해 저자들은 **이미지-모호성 해소 비디오 시간적 접지(Image-Disambiguated Video Temporal Grounding, ID-VTG)**를 도입합니다. 이 태스크 형식은 텍스트 질의에 참조 이미지($Q_{img}$)를 보완하여 대상 인스턴스를 고유하게 식별합니다. 목표는 텍스트 설명($Q_{text}$)과 의미적으로 일치하면서 동시에 참조 이미지에 묘사된 특정 피사체와 시각적으로 일치하는 시간 세그먼트 $(t_s, t_e)$를 국지화하는 것입니다. 이러한 설정은 감시 카메라나 스포츠 중계와 같이 사용자가 강력한 시각적 사전 지식(사진)은 가지고 있지만, 특정 개인에 대한 텍스트 설명은 번거롭거나 부정확하다고 느끼는 실제 상황을 반영합니다.

방법론: VGD-Agg 프레임워크

저자들은 효율적인 시간적 모델링과 미세한 시각적 매칭 사이의 균형을 맞추기 위해 듀얼 브랜치 fast-slow 아키텍처를 기반으로 한 시각적 가이드 디스앰비구에이션 어그리게이션(Visually-Guided Disambiguation Aggregation, VGD-Agg) 프레임워크를 제안합니다.

1. 듀얼 브랜치 아키텍처

• Fast Branch (빠른 브랜치): SnAG 베이스라인에서 상속되었으며, 고수준의 비디오 시맨틱을 사용하여 예비 시간적 이벤트 프로포절(proposal)을 효율적으로 생성합니다. 이 브랜치는 교차 모달 정렬 없이 장거리 시간적 의존성을 포착하기 위해 트랜스포머 기반의 멀티 스케일 프로포절 인코더를 사용하여 질의와 무관한(query-agnostic) 프로포절 특징을 생성합니다.
• Slow Branch (느린 브랜치): 미세한 구분을 위해 설계되었으며, 비디오 프레임과 참조 이미지 간의 프레임 수준 매칭을 수행합니다. 이 브랜치는 두 가지 학습 가능한 비디오 특화 표현을 도입합니다:
  • 비교 토큰 ($t_c$, Compare Token): 높은 유사성을 가진 방해 요소(distractors)를 나타내는 하드 네거티브 프로토타입입니다. 이는 시각적 질의에 따라 조건화되어, 특정 프레임이 대상 인스턴스를 포함하고 있는지 탐색하는 동적 임계값 역할을 합니다.
  • 억제 값 ($v_d$, Depress Value): 텍스트와 무관한 이벤트의 표현입니다. 텍스트 질의와 무관한 시각적 특징을 집계하여, 대상 이미지가 결여된 프로포절들을 위한 "싱크(sink)" 역할을 수행합니다.

2. 시각 보조 디스앰비구에이션 모듈 (Vision-Assisted Disambiguation Module)

이 모듈은 모호성을 해결하기 위해 Fast 브랜치와 Slow 브랜치를 연결합니다. 이 모듈은 Softmax 기반 경쟁적 어그리게이션(Competitive Aggregation) 메커니즘을 채택합니다:

• 각 프로포절에 대해, 시스템은 비디오 프레임과 비교 토큰 사이의 유사도 점수를 계산합니다.
• 이미지 관련 프로포절 (Image-Relevant Proposals): 프로포절 내의 프레임이 참조 이미지와 높은 친화도(비교 토큰의 점수를 초과)를 보이는 경우, 어텐션 가중치가 해당 프레임을 강조하여 관련 시각적 특징을 집계합니다.
• 이미지 무관 프로포절 (Image-Irrelevant Proposals): 프레임이 이미지와 일치하지 않는 경우(비교 토큰보다 낮은 점수), 어텐션 메커니즘은 억제 값(Depress Value) 쪽으로 이동합니다. 이는 시각적 방해 요소의 특징을 효과적으로 억제하여, 이를 의미적으로 무관한 신호로 밀어냅니다.
• 이 과정을 통해 **디스앰비구에이션된 프로포절 특징(Disambiguated Proposal Features)**이 생성되며, 여기서 대상 인스턴스와 시각적 방해 요소는 특징 공간(feature space)에서 명확히 분리됩니다.

3. 텍스트 가이드 접지 (Text-Guided Grounding)

최종 단계에서는 디스앰비구에이션된 특징을 활용합니다. 텍스트 가이드 접지 헤드는 정제된 시각적 특징을 텍스트 질의와 융합하여 프로포절을 분류하고 시간적 경계를 회귀(regression)합니다.

4. 학습 목적 함수 (Training Objectives)

모델은 가중 합산된 손실 함수의 합을 통해 엔드투엔드(end-to-end)로 학습됩니다:

• 분류 및 회귀 손실 (Classification and Regression Losses): 경계 정제를 위한 표준 Focal Loss 및 DIoU Loss.
• 시각적 매칭 손실 ($L_{sim}$): 엄격한 서수 관계($\bar{s}_{gt} > s_c > \bar{s}_{non-gt}$)를 강제하는 랭킹 기반 힌지 손실(hinge loss)입니다. 이는 정답(ground truth) 세그먼트가 비교 토큰보다 높은 시각적 친화도를 가져야 하며, 비교 토큰은 다시 정답이 아닌 세그먼트보다 높은 점수를 가져야 함을 보장합니다. 이를 통해 비교 토큰이 견고한 결정 경계 역할을 하도록 강제합니다.

주요 기여

1. 태스크 정식화: 텍스트 전용 입력의 한계를 넘어, 참조 이미지를 활용하여 비디오 접지에서의 참조적 모호성을 해결하는 새로운 태스크인 ID-VTG를 도입했습니다.
2. 데이터셋: 두 가지 포괄적인 벤치마크를 구축했습니다:
   • IDVTG-Gym: 유사한 유니폼을 입은 선수들이 참여하는 미세하고 구성적으로 순서가 있는 체조 동작에 초점을 맞추며, 동작의 순서와 시각적 정체성에 대한 추론을 요구합니다.
   • IDIDVTG-InternVid: 다양한 개체(인간, 동물, 가공의 캐릭터)와 강력한 시간적 방해 요소를 포함하는 오픈 월드 데이터셋으로, 제약 없는 환경에서의 강건성을 테스트하도록 설계되었습니다.
3. 방법론적 혁신: 하드 네거티브를 명시적으로 모델링하고 시각적 방해 요소를 억제하여 정밀한 디스앰비구에이션 지향적 접지를 가능하게 하는 비교 토큰과 억제 값을 도입한 VGD-Agg 프레임워크를 제안했습니다.

실험 결과

제안된 접근 방식은 IDVTG-Gym 및 IDVTG-InternVid 벤치마크 모두에서 광범위한 실험을 통해 검증되었습니다.

• 성능: VGD-Agg는 적응된 베이스라인들(RaTSG, UVCOM, CG-DETR, SnAG, ICQ 포함)을 크게 앞지르며 SOTA(State-of-the-art) 성능을 달성했습니다.
  • IDVTG-Gym에서 $R1@0.5$ **61.83%**를 달성했습니다 (강력한 베이스라인인 SnAG의 53.64% 대비).
  • IDVTG-InternVid에서 $R1@0.5$ **51.21%**를 달성했습니다 (SnAG의 44.26% 대비).
• 일반화: 모델은 OOD(Out-of-Distribution) 웹 데이터셋에서도 강력한 강건성을 보여주었으며, 미세 조정 없이도 베이스라인보다 확실한 우위를 유지하여 전이 가능한 시각-의미적 대응 관계를 학습했음을 입증했습니다.
• 어블레이션 연구 (Ablation Studies):
  • Slow Branch 또는 Aggregation 메커니즘을 제거하면 성능이 크게 하락하여, 미세한 시각적 매칭과 특징 분리의 필요성을 확인했습니다.
  • **비교 토큰(Compare Token)**의 중요성이 입증되었습니다. 이를 전역 학습 가능 토큰으로 대체하거나 유사도 손실을 제거하면 성능이 저하되어, 비디오 특화 하드 네거티브 모델링의 필요성을 증명했습니다.
  • 본 방법론은 이미지 품질 저하(밝기 변화, 저해상도)에도 강건함을 보이며, 이러한 조건에서도 베이스라인보다 우수한 성능을 유지했습니다.
• 정성적 분석: 어텐션 가중치 시각화를 통해 비교 토큰이 시각적으로 모호한 영역(하드 네거티브)을 성공적으로 포착하고, 억제 값(Depress Value)이 텍스트와 무관한 배경 노이즈를 효과적으로 억제함을 확인했습니다.

의의

본 논문은 텍스트만으로는 시각적 모호성 때문에 정밀한 국지화가 불충분한 비디오 이해의 핵심적인 격차를 ID-VTG가 해결한다고 주장합니다. 참조 이미지를 엄격한 시각적 제약 조건으로 통합함으로써, 제안된 방법은 복잡한 다중 인스턴스 시나리오에서 대상 인스턴스를 신뢰성 있게 식별할 수 있게 합니다. 이 연구는 멀티모달 비디오 접생을 위한 새로운 벤치마크를 확립하며, 특화된 디스앰비구에이션 메커니즘(비교 토큰 등)을 통해 이미지 질의를 명시적으로 활용하는 것이 실제 응용 분야에서 견고하고 미세한 시간적 접지를 달성하는 데 필수적임을 보여줍니다.