Denoise-then-Retrieve: Text-Conditioned Video Denoising for Video Moment Retrieval

기술 요약: Denoise-then-Retrieve: 비디오 모먼트 검색을 위한 텍스트 조건부 비디오 디노이징

문제 정의

텍스트 기반 비디오 모먼트 검색(Video Moment Retrieval, VMR)은 자유 형식의 텍스트 쿼리와 의미적으로 일치하는 특정 시간적 세그먼트를 정제되지 않은(untrimmed) 비디오 내에서 국지화하는 것을 목표로 합니다. 트랜스포머 기반 아키텍처가 강력한 특징 상호작용 능력으로 인해 널리 사용되고 있지만, 기존 방식들은 멀티모달 인코딩 과정에서 모든 비디오 클립을 동일하게 취급한다는 결정적인 한계가 있습니다.

실제 정제되지 않은 비디오에서 텍스트와 관련 있는 클립(그라운드 트루스 및 도전적인 비대상 프레임 포함)은 전체 지속 시간의 극히 일부만을 차지하는 반면, 텍스트와 무관한 "노이즈" 클립이 지배적입니다. 예를 들어, QVHighlights 데이터셋 분석에 따르면 그라운드 트루스 클립은 일반적으로 비디오의 30% 미만을 차지하는 반면, 노이즈 클립은 60% 이상을 차지합니다. 모든 클립을 무차별적으로 처리하는 현재의 접근 방식은 멀티모달 표현에 의미론적 노이즈를 도입하여, 정렬을 방해하고 최적화를 저해합니다. 전통적인 2단계 방식은 수많은 제안(proposals)을 생성하여 이를 완화하려고 시도하지만, 이는 효율성을 떨어뜨리고 매칭 과정을 복잡하게 만듭니다.

방법론: Denoise-then-Retrieve 패러다임

의미론적 노이즈 문제를 해결하기 위해, 저자들은 Denoise-then-Retrieve 패러다임을 제안합니다. 모든 클립을 처리하는 대신, 이 방법은 텍s트와 무관한 클립을 명시적으로 필터링하여 검색 범위를 좁히고 멀티모달 표현을 정화합니다. 이는 세 가지 핵심 구성 요소로 이루어진 **Denoise-then-Retrieve 네트워크(DRNet)**를 통해 구현됩니다.

1. 텍스트 조건부 디노이징 (Text-Conditioned Denoising, TCD) 모듈

TCD 모듈은 노이즈 클립을 동적으로 식별하고 노이즈 마스크를 생성하여 비디오 표현을 정화합니다. 이는 다음 단계들을 통해 작동합니다:

• 교차 주의 집중 (Cross-Attention): 텍스트 임베딩이 키(key)와 값(value)으로 사용되어 비디오 표현을 쿼리함으로써, 텍스트를 인식하는 비디오 특징을 생성합니다.
• 컨텍스트 상호작용 연산자 (Context Interaction Operator, CIO): 구조적 상태 공간 모델(특히 Mamba)을 기반으로 하는 CIO는 순방향 및 역방향 시간 방향으로 컨텍스트를 전파합니다. 이는 텍스트 인식 비디오 특징을 텍스트 특징 및 학습 가능한 글로벌 토큰과 통합하여, 모달 내(intra-modal), 교차 모달(cross-modal) 및 글로벌 컨텍스트를 포착합니다.
• 동적 디노이징 (Dynamic Denoising): 텍스트 특징은 풀링(pooling)된 후 완전 연결 계층(fully connected layer)을 통과하여 동적 컨볼루션 커널을 생성합니다. 이 커널은 비주얼 특징에 포인트와이즈 컨볼루션을 수행하여 텍스트-클립 정렬 점수를 산출합니다.
• 마스킹 (Masking): 이 점수에 임계값을 적용하여 이진 노이즈 마스크를 생성합니다. 정렬 점수가 낮은 클립은 마스킹되어 "정화된" 비주얼 표현을 생성합니다.

2. 텍스트 재구성 피드백 (Text-Reconstruction Feedback, TRF) 모듈

학습 과정 중 디노이징 프로세스에 보조적인 감독(supervision)을 제공하기 위해, TRF 모듈은 정화된 비디오 표현이 입력 텍스트의 의미적 본질을 유지하도록 보장합니다.

• 학습 가능한 쿼리 임베딩이 (CIO를 통해) 정화된 비디오 특징과 상호작용하여 문장 수준의 쿼리 임베딩을 재생성합니다.
• 이렇게 재생성된 임베딩은 코사인 유사도를 이용한 의미론적 일관성 손실(semantic consistency loss)을 통해 원래의 입력 텍스트 임베딩과 정렬됩니다.
• 이 손실을 최소화함으로써 TCD 모듈이 텍스트와 의미론적으로 일치하는 비주얼 특징만을 유지하도록 강제하며, 이를 통해 디노이징의 품질을 향상시킵니다.

3. 디코더 (Decoder)

디코더는 정화된(노이즈 마스킹된) 비디오와 텍스트 특징에 대해 멀티모달 상호작용을 수행하여 타겟 모먼트를 검색합니다. 이는 다음을 활용합니다:

• 글로벌 검색 (Global Retrieval): 글로벌 특징을 사용하여 중심 시간 좌표와 스팬(span)을 회귀(regression)합니다.
• 경계 예측 (Boundary Prediction): 컨볼루션 계층을 사용하여 각 클립의 좌우 오프셋을 예측합니다.
• 전경 분류 (Foreground Classification): 텍스트 조건부 컨볼루션 커널을 사용하여 클립을 전경(관련 있음) 또는 배경(관련 없음)으로 분류합니다.
• 대조 학습 (Contrastive Learning): 특징 정렬을 더욱 정교하게 만들기 위해 비디오 내 및 비디오 간 대조 학습을 통합합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. DRNet 아키텍처: 정화된 비주얼 표현을 추출하기 위해 텍스트 조건부 디노이징(TCD)과 텍스트 재구성 피드백(TRF)을 통합하여 최첨단 성능을 달리는 새로운 네트워크를 제안했습니다.
2. 텍스트 조건부 디노이징 접근법: 다단계 멀티모달 융합을 위해 교차 주의 집중과 구조적 상태 공간 블록(Mamba)을 결합하고, 정확한 노이즈 식별을 위해 동적 커널을 활용하는 방법을 제시했습니다.
3. 텍스트 재구성 피드백 메커니즘: 정화된 특징으로부터 재생성된 쿼리를 입력 텍스트와 정렬하여 디노이징 프로세스를 강화하는 보조 감독 전략을 제안했습니다.
4. 패러다임 일반화: "denoise-then-retrieve" 패러다임이 아키텍처 수정 없이도 기존의 고급 VMR 모델(예: UniVTG, VMS)에 원활하게 통합되어 성능을 높일 수 있음을 입증했습니다.

실험 결과

두 가지 벤치마크인 Charades-STA와 QVHighlights에 대해 광범위한 실험이 수행되었습니다.

• QVHighlights: DRNet은 모든 지표에서 모든 최첨단 방식(MomentDiff, MESM, UVCOM, TR-DETR 포함)을 능가했습니다. 특히, mAP@0.7 지표에서 가장 가까운 경쟁 모델인 MESM보다 4.36% 앞섰습니다.
• Charades-STA: 이 모델은 VGG 및 SlowFast+CLIP 백본을 모두 사용하여 최상위권 성능을 달연했습니다. VGG 백본을 사용했을 때 가장 가까운 경쟁 모델인 MESM보다 mAP@0.7에서 4.36% 높은 성능을 보였습니다.
• 절제 연구 (Ablation Studies):
  • TCD 모듈을 제거하면 평균 성능이 11.71% 크게 하락하여, 노이즈 필터링의 결정적인 역할을 확인했습니다.
  • Mamba 기반의 CIO를 표준 트랜스포머 인코더로 교체했을 때 성능이 5.1% 하락했는데, 이는 글로벌 셀프 어텐션(global self-attention)에 비해 선택적 정보를 전파하는 Mamba의 우수한 능력 때문입니다.
  • TRF 모듈은 디노이징 프로세스에 보조적인 감독을 제공하는 데 필수적임이 밝혀졌습니다.
• 일반화: UniVTG 및 VMS와 같은 기존 모델에 적용했을 때, 디노이징 패러다임은 일관된 개선을 가져왔습니다 (예: UniVTG는 mAP@Avg에서 2.72% 증가).

의의 및 주장

본 논문은 현재 VMR 방식의 주요 병목 현상이 의미론적으로 무관한 노이즈 클립의 포함이며, 이것이 멀티모달 정렬을 방해한다는 점을 주장합니다. 이러한 클립들을 검색 전에 명시적으로 필터링함으로써, 제안된 Denoise-then-Retrieve 패러다임은 멀티모달 표현의 품질을 크게 향상시킵니다.

저자들은 자신들의 접근 방식이 새로운 최첨단 벤치마크를 설정할 뿐만 아니라, 일반화 가능한 전략을 제공한다고 단언합니다. 아키텍처의 전면적인 개편 없이 이 패러다임을 기존 모델에 통합할 수 있다는 능력은 광범위한 비디오 이해 작업의 성능을 높이기 위한 실질적인 경로를 제시합니다. 결과는 가용한 모든 데이터를 처리하는 것보다 "정화된" 컨텍스트에 집중하는 것이 더 정확하고 효율적인 비디오 모먼트 검색을 이끌어낸다는 것을 보여줍니다.