Beyond Caption-Based Queries for Video Moment Retrieval

이 논문은 캡션 기반 쿼리로 훈련된 기존 비디오 모멘트 검색 모델이 검색 쿼리 환경에서 성능이 저하되는 원인을 분석하고, '액티브 디코더 쿼리 붕괴' 문제를 해결하기 위해 아키텍처를 개선하여 검색 쿼리, 특히 다중 모멘트 검색에서 성능을 크게 향상시켰음을 보여줍니다.

핵심

1. 문제: "완벽한 레시피"만 가르친 요리사

지금까지 개발된 비디오 검색 기술들은 **'캡션 (자막)'**이라는 데이터를 기반으로 훈련되었습니다.

• 현재 방식: 사람이 비디오를 다 본 뒤, "노란색 유니폼을 입은 남자가 골키퍼를 제치고 강력한 발사로 골을 넣는 장면"처럼 매우 상세하고 구체적인 설명을 적어줍니다.
• 실제 사용자: 하지만 실제 사용자가 검색창에 입력하는 말은 훨씬 더 단순하고 모호합니다. 예를 들어, **"골이 들어간 순간은 언제야?"**라고 묻습니다.

비유하자면:

한 요리사 (AI) 가 "빨간 토마토 2 개, 다진 마늘 3 쪽, 올리브 오일 1 큰술을 넣고 5 분간 볶아주세요"라는 정확한 레시피만 보고 요리를 배웠습니다.
그런데 손님이 와서 **"음식 좀 만들어줘"**라고만 말하면, 요리사는 당황해서 무엇을 만들어야 할지 모릅니다. 손님의 요청은 너무 포괄적이기 때문입니다.

이 논문은 기존 기술이 **"너무 구체적인 설명 (캡션)"**에만 익숙해져서, **"모호한 검색어"**를 처리할 때 성능이 급격히 떨어진다는 것을 발견했습니다.

2. 발견: 두 가지 큰 장벽

연구진은 기존 기술이 실패하는 두 가지 주요 원인을 찾아냈습니다.

1. 언어 간극 (Language Gap):
   • 설명이 너무 구체적일 때와 너무 일반적일 때의 언어 차이가 너무 큽니다. AI 는 "노란 유니폼"이라는 단어를 찾아야 하는데, 사용자는 그냥 "축구"라고만 말하기 때문입니다.
2. 다중 장면 간극 (Multi-moment Gap) - 가장 큰 문제:
   • 현재 데이터: 하나의 질문에는 하나라도 정답이 딱 하나 있습니다. (예: "골 넣은 장면" = 1 개)
   • 실제 상황: 하나의 질문에는 정답이 여러 개일 수 있습니다. (예: "골 넣은 장면" = 경기 내내 5 번이나 일어남)
   • 비유: 요리사가 "오븐을 켜는 장면"을 찾아야 하는데, 비디오 안에 오븐을 켜는 장면이 5 개나 있는데, AI 는 **"정답은 딱 하나뿐이야"**라고 배워서 5 개 중 1 개만 찾으려다 실패하는 것입니다.

3. 원인: "잠자는 탐정"들 (Query Collapse)

이 기술의 핵심인 'DETR'이라는 AI 구조는 비디오를 분석할 때 여러 개의 **'탐정 (Decoder Queries)'**을 보내서 장면을 찾습니다.

• 문제: 현재 AI 는 "정답은 하나뿐"이라고 배워서, 대부분의 탐정들이 "나는 필요 없어"라고 자진해서 잠들어버립니다. (Active decoder-query collapse)
• 결과: 정답이 5 개인데, 잠든 탐정들이 4 명이나 있어서 1 명만 찾아낼 수 있습니다. 나머지 4 개는 놓쳐버리는 것이죠.

4. 해결책: 잠자는 탐정들을 깨우는 방법

저자들은 새로운 데이터를 만들지 않고, AI 의 구조를 조금만 고쳐서 이 문제를 해결했습니다.

1. 서로 말하지 않게 하기 (Self-Attention 제거):
   • 기존에는 탐정들이 서로 "너가 찾으러 가, 나는 안 할게"라고 상의하며 역할을 나누었습니다. 하지만 정답이 여러 개인 상황에서는 이 상의가 방해가 됩니다. 그래서 탐정들이 각자 독립적으로 행동하도록 했습니다.
2. 랜덤하게 깨우기 (Query Dropout):
   • 훈련할 때 일부 탐정들을 강제로 잠들게 하거나 깨우게 하여, **"누가 정답을 찾을지 모른다"**는 상황을 만들어 AI 가 모든 탐정을 골고루 쓰도록 훈련시켰습니다.

비유하자면:

"정답은 하나야"라고 생각하며 5 명 중 1 명만 일하게 하던 팀을, **"정답이 여러 개일 수도 있으니, 모두 깨어나서 열심히 찾아봐!"**라고 지시한 것입니다.

5. 결과: 실전 성능의 비약적 상승

이 간단한 구조 변경만으로도, AI 는 모호한 검색어 ("골이 들어간 순간") 에 대해 정답을 5 개 모두 찾아내는 능력이 크게 향상되었습니다.

• 기존 방식보다 검색 정확도가 최대 21% 이상 향상되었습니다.
• 더 이상 "완벽한 설명"이 없어도, 사용자가 **"무언가 찾아줘"**라고만 해도 제대로 된 장면을 찾아냅니다.

요약

이 논문은 **"AI 가 학교 (데이터) 에서 배운 것 (정교한 설명) 과 실제 사회 (사용자의 검색) 가 너무 달라서 실패한다"**는 문제를 지적했습니다. 그리고 새로운 데이터를 만드는 비싼 비용 없이, AI 의 '사고방식 (구조)'을 조금만 바꿔주면 AI 가 훨씬 더 똑똑하고 유연하게 변할 수 있음을 증명했습니다.

이제 비디오 검색 기술도 **"너무 구체적인 설명"**이 없어도, **"대충의 느낌"**만으로도 원하는 장면을 찾아낼 수 있게 된 것입니다.

기술 요약

이 논문은 비디오 순간 검색 (Video Moment Retrieval, VMR) 분야의 기존 한계를 지적하고, 실제 사용자 검색 환경에 더 부합하는 새로운 벤치마크와 해결책을 제안합니다. 주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존 VMR 모델은 비디오를 시청한 후 작성된 상세한 자막 (Captions) 을 텍스트 쿼리로 사용하여 훈련됩니다. 이러한 '자막 기반 쿼리 (Caption-based queries)'는 시각적으로 매우 구체적이고 상세하지만, 실제 사용자가 비디오를 보지 않고 검색창에 입력하는 검색 쿼리 (Search queries) 와는 큰 차이가 있습니다.

• 시각 편향 (Visual Bias): 기존 데이터는 annotator 가 비디오를 본 후 작성하므로, "노란색 유니폼을 입은 남자가 골키퍼를 제치고 골을 넣는다"와 같이 매우 구체적입니다.
• 실제 검색의 불명확성: 실제 사용자는 "골이 언제 들어갔나요?"와 같이 더 일반적이고 세부 정보가 부족한 (Under-specified) 쿼리를 사용합니다.
• 단일 순간 vs 다중 순간: 기존 데이터는 쿼리당 하나의 정답 (Ground Truth) 순간을 가지지만, 일반적인 검색 쿼리는 비디오 내 여러 순간에 해당할 수 있습니다.

저자는 기존 VMR 모델이 자막 기반 데이터로 훈련되어 실제 검색 쿼리 환경에서 평가될 때 성능이 급격히 저하된다는 것을 발견했습니다.

2. 방법론 (Methodology)

A. 새로운 벤치마크 구축 (Search-Query Benchmarks)

새로운 데이터셋을 수집하는 대신, 기존 공개 데이터셋 (HD-EPIC, YouCook2, ActivityNet-Captions) 의 자막을 변형하여 검색 쿼리 벤치마크를 생성했습니다.

• LLM 기반 파이프라인: Gemma-12B 모델을 기반으로 한 두 개의 에이전트 (Rewriter, Validator) 를 사용하여 상세한 자막을 점진적으로 단순화하고 일반화했습니다.
  • 예시: "오른손으로 접시 안의 티슈를 집어 올린다" → "티슈를 집어 올린다" → "무엇인가를 집어 올린다".
• 다중 순간 (Multi-moment) 생성: 단순화된 쿼리가 비디오 내 여러 시점에 매핑될 수 있도록, 유사한 쿼리들을 그룹화하여 하나의 대표 검색 쿼리로 통합했습니다. 이를 통해 HD-EPIC-S, YC2-S, ANC-S라는 3 개의 새로운 벤치마크를 만들었습니다.

B. 성능 저하 원인 분석

기존 모델 (DETR 기반) 의 성능 저하를 두 가지 주요 요인으로 분석했습니다.

1. 언어적 격차 (Language Gap): 상세한 자막과 불명확한 검색 쿼리 간의 언어적 분포 차이.
2. 다중 순간 격차 (Multi-moment Gap): 훈련 데이터는 단일 순간을 가정하지만, 평가 데이터는 다중 순간을 포함하는 경우.

C. 아키텍처 개선 (Mitigation Strategy)

DETR 아키텍처에서 발생하는 '액티브 디코더 쿼리 붕괴 (Active Decoder-Query Collapse)' 현상을 해결하기 위해 구조적 수정을 제안했습니다.

• 현상: 단일 순간 훈련 데이터의 편향으로 인해, 디코더 쿼리 중 일부만 활성화되고 나머지는 비활성화되어 다중 순간을 검색할 수 없게 됩니다.
• 해결책:
  1. Self-Attention 제거 (-SA): 디코더 레이어 내의 Self-Attention 을 제거하여 쿼리 간의 과도한 조율 (Coordination) 을 방지하고 각 쿼리가 독립적으로 작동하도록 합니다.
  2. 쿼리 드롭아웃 (Query Dropout, QD): 학습 중 임의의 디코더 쿼리를 드롭아웃하여 특정 인덱스만 활성화되는 현상 (Index Collapse) 을 방지하고, 더 많은 쿼리가 학습에 참여하도록 유도합니다.
• 결과: 이러한 수정 (-SA+QD) 을 통해 다중 순간 검색 쿼리에 대한 일반화 성능이 크게 향상되었습니다.

3. 주요 기여 (Key Contributions)

1. 벤치마크 제안: 기존 자막 기반 VMR 데이터셋을 검색 쿼리 환경에 맞게 변형한 3 개의 새로운 벤치마크 (HD-EPIC-S, YC2-S, ANC-S) 를 제시했습니다.
2. 성능 저하 요인 규명: 자막 기반 훈련과 검색 쿼리 평가 간의 성능 저하 원인을 '언어적 격차'와 '다중 순간 격차'로 명확히 규명하고 정량화했습니다.
3. 아키텍처 혁신: DETR 기반 VMR 모델의 '쿼리 붕괴' 문제를 해결하기 위해 Self-Attention 제거와 쿼리 드롭아웃을 도입한 효율적인 아키텍처 수정을 제안했습니다.
4. 새로운 평가 지표: 다중 순간 검색을 평가하기 위해 기존 Recall@mAP 를 확장한 Rm (Multi-moment Recall) 과 mAPm (Multi-moment mAP) 을 제안했습니다. 이는 각 Ground Truth 순간을 독립적으로 평가하여 편향을 제거합니다.

4. 실험 결과 (Results)

• 성능 향상: 제안된 아키텍처 수정 (-SA+QD) 을 적용한 모델은 기존 베이스라인 대비 검색 쿼리에서 최대 14.82% mAPm 향상, 다중 순간 검색 쿼리에서는 최대 21.83% mAPm 향상을 보였습니다.
• 다중 순간 처리: 단일 순간 쿼리에서는 미미한 개선만 있었으나, 다중 순간 쿼리에서 성능이 크게 개선되어 모델이 여러 정답 순간을 동시에 찾아내는 능력을 회복했음을 입증했습니다.
• 오라클 비교: 검색 쿼리 데이터로 직접 훈련한 '오라클 (Oracle)' 모델과의 격차를 약 70% 까지 줄여, 기존 데이터셋을 활용하면서도 뛰어난 일반화 성능을 달성함을 보였습니다.

5. 의의 (Significance)

이 연구는 VMR 분야가 실제 사용자 환경 (검색 쿼리) 으로 나아가기 위해 필요한 중요한 통찰을 제공합니다.

• 실용성: 현재 VMR 모델이 실제 검색 엔진이나 콘텐츠 탐색 시스템에 적용될 때 겪는 성능 저하 문제를 해결하는 방향을 제시합니다.
• 데이터 효율성: 고비용이 드는 새로운 데이터 수집 없이, 기존 데이터셋을 변형하여 새로운 벤치마크를 구축하고 모델 아키텍처를 개선함으로써 성능을 극대화하는 방법을 제시했습니다.
• 모델 설계: DETR 기반 모델이 단일 정답 편향 (Single-moment prior) 에서 벗어나 다중 객체/시각을 처리할 수 있도록 하는 아키텍처적 통찰 (Self-Attention 제거, 쿼리 다양성 유지) 을 제공했습니다.

결론적으로, 이 논문은 비디오 검색 기술이 "상세한 설명"에서 "실제 사용자의 불완전한 질문"으로의 전환을 성공적으로 수행하기 위한 필수적인 단계들을 제시했습니다.