MomentMix Augmentation with Length-Aware DETR for Temporally Robust Moment Retrieval

이 논문은 짧은 비디오 순간을 정확하게 탐지하기 위해 프론트그라운드/배그라운드 혼합 증강 기법인 MomentMix 와 길이 예측을 개선하는 Length-Aware Decoder 를 제안하여, 기존 DETR 기반 모델의 성능을 크게 향상시킨 MomentMix Augmentation 과 Length-Aware DETR 을 소개합니다.

핵심

이 논문은 **"영상 속 아주 짧은 순간을 찾아내는 기술 (Moment Retrieval)"**을 더 똑똑하게 만드는 방법을 소개합니다.

기존의 AI 는 긴 영상은 잘 찾아내지만, 10 초 미만의 아주 짧은 장면 (예: 스포츠 경기의 골 장면, 드라마의 키스 신 등) 을 찾아내면 성능이 급격히 떨어지는 문제가 있었습니다. 이 연구는 그 이유를 찾아내고, 두 가지 새로운 비법으로 해결책을 제시했습니다.

이해를 돕기 위해 **'영상 속 보물찾기'**라는 비유로 설명해 드리겠습니다.

---

🕵️‍♂️ 문제: 왜 짧은 보물은 찾기 어려울까?

영상 속 보물찾기 게임에서 AI 는 "검은색 수영복을 입은 팀이 골을 넣는 순간"이라는 힌트를 받고 영상을 훑어봅니다.

• 긴 장면 (30 초 이상): 보물이 숨겨진 방이 넓고 사물이 많아서, AI 가 "아, 여기가 맞구나!"라고 쉽게 찾을 수 있습니다.
• 짧은 장면 (10 초 미만): 보물이 숨겨진 방이 너무 작고, 주변 환경이 단순합니다. AI 는 "이게 보물인가, 그냥 배경인가?"를 구분하기 어렵고, **보물의 정확한 위치 (중심) 와 크기 (길이)**를 맞추는 데 큰 실수를 합니다.

연구진은 두 가지 핵심 문제를 발견했습니다.

1. 데이터의 문제: 짧은 장면은 영상 속 특징이 너무 비슷하고 단순해서, AI 가 다양한 상황을 배우기 어렵습니다. (비유: 같은 모양의 보물만 100 개 주는 것과 같음)
2. 모델의 문제: AI 가 짧은 보물의 '중심'과 '길이'를 동시에 맞추려고 하면 혼란이 와서, 둘 다 엉뚱한 곳에 표시합니다.

---

💡 해결책 1: MomentMix (보물찾기 훈련용 '가짜' 상황 만들기)

AI 가 짧은 보물을 잘 찾게 하려면, 다양한 짧은 보물 상황을 많이 경험하게 해야 합니다. 이를 위해 연구진은 MomentMix라는 새로운 훈련 방법을 개발했습니다.

• ForegroundMix (보물 조각내기 & 섞기):
  • 긴 보물 장면을 잘게 잘라내어, 마치 새로운 짧은 보물처럼 만듭니다.
  • 비유: 긴 영화 장면을 잘게 잘라 "골 장면 1 초", "골 장면 2 초"로 나누고, 다른 영상에서 가져온 배경과 섞어서 새로운 짧은 장면을 만들어냅니다. AI 는 이제 "이런 배경에서도 골 장면이 나올 수 있구나!"라고 배우게 됩니다.
• BackgroundMix (배경 바꾸기):
  • 짧은 보물 (Foreground) 은 그대로 두고, 그 주변의 배경 (Background) 만 다른 영상에서 가져와서 바꿉니다.
  • 비유: "골 장면"이라는 핵심은 그대로 둔 채, 배경을 '야구장'에서 '축구장', '바다'로 바꿔줍니다. AI 는 "배경이 달라도 골 장면은 골 장면이야!"라고 핵심을 더 잘 파악하게 됩니다.

이렇게 AI 가 다양한 배경과 조합을 경험하게 하니, 짧은 보물을 찾을 때 훨씬 똑똑해졌습니다.

---

💡 해결책 2: Length-Aware Decoder (보물 크기에 따른 '전문가' 팀 구성)

기존 AI 는 모든 보물 (긴 것, 짧은 것) 을 똑같은 방식으로 찾아내려다 실패했습니다. 연구진은 **"보물의 크기에 따라 다른 전문가를 투입하자"**는 아이디어를 냈습니다.

• Length-Aware Decoder (길이 인식 디코더):
  • AI 의 검색 요원들을 **'짧은 보물 전문가', '중간 보물 전문가', '긴 보물 전문가'**로 나누었습니다.
  • 비유:
    • 긴 보물 전문가는 "보물의 경계 (시작과 끝)"를 잘 찾아내는 데 집중합니다. (긴 것은 경계가 뚜렷하니까)
    • 짧은 보물 전문가는 "보물의 중심 (가장 중요한 부분)"을 잘 찾아내는 데 집중합니다. (짧은 것은 중심을 먼저 잡아야 길이를 정확히 알 수 있으니까)
  • 이렇게 각 전문가가 자신의 특성에 맞춰 일하게 하니, 짧은 보물의 위치를 훨씬 정확하게 찾아낼 수 있게 되었습니다.

---

🏆 결과: 얼마나 좋아졌을까?

이 두 가지 방법 (MomentMix + 전문가 팀) 을 적용한 결과, 기존 최고의 기술들보다 짧은 보물 찾기 성능이 비약적으로 향상되었습니다.

• QVHIGHLIGHTS라는 데이터셋에서 짧은 장면 찾기 성능이 약 17% 이상이나 올랐습니다.
• 특히, **데이터가 부족할 때 (훈련 데이터의 10% 만 사용)**도 기존 기술보다 훨씬 잘 찾아냈습니다. 이는 새로운 훈련 데이터를 잘 만들어내는 MomentMix 의 효과 때문입니다.

📝 한 줄 요약

"짧은 영상 장면을 찾기 어려운 이유는 '다양한 경험 부족'과 '찾는 방식의 혼란' 때문입니다. 이 연구는 '가상의 다양한 상황'을 만들어주고, '보물 크기에 맞는 전문 요원'을 배치하여 AI 가 짧은 순간도 놓치지 않고 정확히 찾아내도록 만들었습니다."

이 기술은 유튜브나 뉴스에서 중요한 짧은 하이라이트를 자동으로 찾아주거나, 영화 속 명장면을 빠르게 검색하는 등 실생활에서 영상 검색의 효율을 크게 높여줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

비디오 모멘트 검색 (Moment Retrieval, MR) 은 자연어 쿼리에 기반하여 비디오 내의 특정 시간 구간 (시작점과 끝점) 을 찾아내는 작업입니다. 최근 DETR 기반 모델들이 이 분야에서 뛰어난 성능을 보이고 있지만, 짧은 모멘트 (Short Moments, 보통 10 초 미만) 를 정확하게 국소화하는 데에는 심각한 한계가 존재합니다.

• 성능 저하: 기존 DETR 기반 모델 (QD-DETR, TR-DETR, UVCOM 등) 은 중간 또는 긴 길이의 모멘트에서는 높은 성능을 보이지만, 짧은 모멘트에서는 평균 mAP 가 70% 이상 급격히 하락하는 현상을 보입니다.
• 데이터적 관점 (Feature Diversity 부족): 짧은 모멘트는 시각적 특징 (Visual Features) 의 분포가 매우 좁고 집중되어 있습니다. 긴 모멘트에 비해 다양한 컨텍스트를 포함하지 못해 모델이 일반화 (Generalization) 하는 데 어려움을 겪습니다.
• 모델적 관점 (예측 편향): 기존 모델은 모멘트를 $(start, end)$가 아닌$(center, length)$ 형태로 예측합니다. 분석 결과, 짧은 모멘트의 경우 중심점 (Center) 과 길이 (Length) 예측 모두에서 오차가 매우 큽니다. 특히 중심점 예측 정확도가 37% 에 불과하여 전체 성능 저하의 주요 원인으로 작용합니다.

2. 제안 방법 (Methodology)

저자들은 데이터와 모델 두 가지 측면에서 문제를 해결하기 위해 MomentMix와 Length-Aware Decoder (LAD) 라는 두 가지 핵심 기술을 제안했습니다.

A. MomentMix (데이터 증강 기법)

짧은 모멘트의 특징 다양성 부족을 해결하기 위해 고안된 2 단계 혼합 (Mix-based) 증강 전략입니다.

1. ForegroundMix (전경 혼합): 긴 모멘트 (Foreground) 를 잘게 자르고 섞어 새로운 짧은 전경 샘플을 생성합니다. 이를 통해 단일 비디오 내의 유사한 특징이 아닌, 다양한 비디오의 전경 특징을 학습하여 특징의 다양성을 확보합니다.
2. BackgroundMix (배경 혼합): 생성된 짧은 전경 샘플의 배경을 다른 비디오의 배경 (현재 쿼리와 의미적으로 다른 모멘트) 으로 교체합니다. 이는 모델이 전경과 배경의 경계를 명확히 구분하고, 쿼리 관련/비관련 프레임을 더 잘 이해하도록 돕습니다.

B. Length-Aware Decoder (LAD, 모델 구조 개선)

짧은 모멘트의 중심점 및 길이 예측 오차를 줄이기 위해 길이 정보를 디코더에 조건부 (Conditioning) 로 적용합니다.

1. 길이 클래스 분류: 모멘트 길이를 'Short', 'Middle', 'Long' 등의 클래스로 분류합니다.
2. 클래스 패턴 임베딩: 각 길이 클래스에 해당하는 고유한 패턴 임베딩을 생성하여 디코더 쿼리 (Decoder Queries) 에 부여합니다. 이를 통해 각 쿼리가 특정 길이의 모멘트에 특화된 '전문가 (Expert)' 역할을 수행하도록 합니다.
3. 길이 기반 이분 매칭 (Length-wise Bipartite Matching): 기존 방식과 달리, 예측 쿼리와 정답 (Ground Truth) 을 동일한 길이 클래스 내에서만 매칭하도록 수정합니다. 이는 모델이 특정 길이의 모멘트 특성에 맞춰 중심점과 길이를 더 정밀하게 예측하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 근본 원인 규명: 데이터 (특징 분포의 집중) 와 모델 (중심/길이 예측 오차) 양쪽 관점에서 짧은 모멘트 검색 성능 저하의 원인을 체계적으로 분석했습니다.
2. MomentMix 제안: 제안된 모델 프레임워크에 특화된 2 단계 혼합 증강 기법을 통해 짧은 모멘트의 특징 다양성을 획기적으로 개선했습니다.
3. Length-Aware Decoder 도입: DETR 기반 MR 모델에 길이 조건부 학습과 길이별 매칭 전략을 처음 적용하여, '길이별 전문가 쿼리'를 생성하고 중심점 예측 정확도를 높였습니다.
4. 범용성: 제안된 방법은 다른 DETR 기반 모델에도 쉽게 적용 가능하며, 다양한 데이터셋에서 SOTA 성능을 달성했습니다.

4. 실험 결과 (Results)

QVHIGHLIGHTS, CHARADES-STA, TACOS 등 주요 벤치마크 데이터셋에서 실험을 진행했습니다.

• QVHIGHLIGHTS:
  • 짧은 모멘트 성능: QD-DETR 기준, 짧은 모멘트의 R1 평균이 6.38%p, mAP 평균이 6.81%p 향상되었습니다.
  • 전체 성능: 전체 모멘트에 대한 mAP 평균이 39.84 에서 46.61 로 6.77%p 상승했습니다.
  • Highlight Detection (HD): MR 작업 외의 하이라이트 검출 작업에서도 성능이 크게 개선되었습니다.
• 기타 데이터셋:
  • CHARADES-STA: R1@0.7 에서 3.58%p 향상.
  • TACOS: R1@0.5 에서 5.82%p 향상.
• Few-shot 학습: 학습 데이터의 10% 만 사용했을 때에도, MomentMix 를 적용한 모델은 전체 데이터를 사용한 기존 베이스라인보다 더 높은 성능을 보여주어 데이터 증강 효과와 특징 다양성 확보의 유효성을 입증했습니다.
• Attention 분석: LAD 를 적용한 모델은 짧은 모멘트에서는 모멘트 내부 (Inside) 에, 긴 모멘트에서는 경계 (Boundary) 에 집중하는 등 길이 특성에 맞는 어텐션 패턴을 학습함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 모멘트 검색 분야에서 짧은 모멘트라는 오랫동안 간과되었던 난제를 해결하기 위한 체계적인 접근을 제시했습니다.

• 실용적 가치: 유튜브 하이라이트, 뉴스 클립, 영화의 핵심 장면 등 실제 응용 분야에서 짧은 구간을 정밀하게 찾는 것은 필수적이며, 본 연구는 이러한 요구를 충족시킵니다.
• 기술적 혁신: 단순한 성능 향상을 넘어, 데이터의 특징 분포 분석과 모델의 예측 메커니즘 (매칭 전략) 을 결합한 새로운 패러다임을 제시했습니다.
• 향후 전망: 제안된 기법은 DETR 기반 모델뿐만 아니라 다른 아키텍처로도 확장 가능하며, 시간적 의존성이 강한 데이터셋을 위한 더 정교한 증강 기법 개발의 기초가 될 것입니다.

결론적으로, 이 연구는 MomentMix와 Length-Aware Decoder를 통해 짧은 모멘트 검색의 정확도와 견고성을 획기적으로 개선하여, 비디오 검색 기술의 새로운 기준을 제시했습니다.