1. 문제 정의 (Problem Statement)

현대 비디오 검색 시스템은 다음과 같은 다양한 요구사항을 동시에 충족해야 하는 도전에 직면해 있습니다:

• 다양한 작업의 통합: 대규모 코퍼스 수준의 검색 (Corpus-level retrieval), 정밀한 순간 위치 찾기 (Moment localization), 그리고 복합적인 멀티모달 쿼리 (Composed multimodal querying) 를 처리해야 합니다.
• 기존 접근법의 한계:
  • 전용 아키텍처 (Specialized Architectures): 대규모 데이터셋으로 훈련된 전용 모델 (예: InternVideo2) 은 텍스트 - 비디오 검색 성능이 뛰어나지만, 텍스트와 이미지/비디오를 결합한 복합 쿼리 (Composed Query) 를 원천적으로 처리할 수 없습니다.
  • 멀티모달 LLM (MLLM) 기반 방법: 풍부한 멀티모달 검색을 지원하지만, 검색 성능이 전용 모델에 비해 현저히 낮습니다. 또한, 기존 MLLM 기반 검색 모델들은 코퍼스 검색, 복합 쿼리, 순간 위치 찾기를 하나의 아키텍처에서 동시에 높은 성능으로 수행하지 못했습니다.

이러한 맥락에서, 단일 아키텍처 내에서 모든 검색 시나리오를 지원하면서도 전용 모델에 필적하는 성능을 내는 범용 비디오 검색 프레임워크의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 VIRTUE라는 MLLM 기반의 범용 비디오 검색 프레임워크를 제안합니다. 이 프레임워크는 시각적 및 텍스트 임베딩의 대조적 정렬 (Contrastive Alignment) 을 기반으로 하며, 별도의 작업별 수정 없이 다양한 태스크를 처리합니다.

핵심 구성 요소

1. VIRTUE-Embed (임베딩 모델):

   • 아키텍처: Qwen2.5-VL(7B) 을 백본으로 사용하며, LoRA(Low-Rank Adaptation) 를 통해 효율적으로 파인튜닝합니다.
   • 임베딩 생성: MLLM 의 시퀀스 끝 (EOS) 토큰에 해당하는 최종 은닉 상태 (Final Hidden State) 를 임베딩 앵커로 활용합니다. 이는 입력의 전역적 요약을 담고 있습니다.
   • 학습 전략:
     • 2 단계 학습: 먼저 이미지 - 텍스트 쌍 (CC-595K) 으로 시각 - 언어 정렬을 학습한 후, 비디오 - 텍스트 쌍 (PE-Video, 105K) 으로 미세 조정합니다. 이는 이미지 기반의 시맨틱 표현이 비디오 이해에 강력한 사전 지식을 제공한다는 연구 결과에 기반합니다.
     • 목적 함수: InfoNCE 손실 함수를 사용하여 쿼리와 후보 비디오 간의 대조적 정렬을 수행합니다.
   • 기능: 제로샷 (Zero-shot) 으로 텍스트 - 비디오 검색, 복합 비디오 검색, 그리고 순간 위치 찾기를 지원합니다.

2. VIRTUE-Ranker (재순위화 모델):

   • 목적: 임베딩 기반 검색으로 선별된 상위 K 개의 후보를 정밀하게 재순위화합니다.
   • 작동 방식: 쿼리와 후보 비디오를 MLLM 에 함께 입력하여 EOS 토큰의 은닉 상태를 선형 프로젝션 헤드를 통해 [0, 1] 범위의 매칭 점수로 변환합니다.
   • 학습 전략:
     • 하드 네거티브 마이닝: VIRTUE-Embed 로 검색된 상위 후보 중 잘못된 샘플을 '하드 네거티브'로 활용합니다.
     • 복합 손실 함수: 랜덤 네거티브, 하드 네거티브에 대한 BCE 손실과, 정답과 네거티브 간의 상대적 순서를 학습하는 선호도 기반 (Preference-based, Bradley-Terry) 손실을 결합하여 학습합니다.

3. 제로샷 순간 위치 찾기 (Zero-shot Moment Retrieval):

   • 추가 학습이나 아키텍처 변경 없이 VIRTUE-Embed 를 활용합니다.
   • 프로세스: 쿼리 임베딩과 비디오 프레임별 임베딩 간의 유사도를 계산한 후, 가우시안 스무딩을 적용하여 노이즈를 제거합니다. 이후 피크 감지 및 비최대 억제 (NMS) 를 통해 연속된 시간 구간을 예측합니다.

4. 제로샷 복합 비디오 검색 (Zero-shot Composed Video Retrieval):

   • 소스 비디오, 수정 텍스트, 지시문을 결합하여 입력합니다. MLLM 의 멀티모달 추론 능력을 활용하여 텍스트로 설명된 변형이 적용된 타겟 비디오를 검색합니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처 제안: 단일 MLLM 기반 프레임워크 (VIRTUE) 를 통해 코퍼스 검색, 재순위화, 복합 멀티모달 쿼리, 그리고 정밀한 순간 위치 찾기를 모두 지원합니다.
2. 전용 모델과 견줄 만한 성능: 오디오 데이터 없이 시각 - 텍스트 데이터만으로 훈련되었음에도, InternVideo2 와 같은 전용 모델과 유사한 텍스트 - 비디오 검색 성능을 달성했습니다.
3. 강력한 제로샷 능력:
   • 복합 검색: CoVR 벤치마크에서 기존 최첨단 (SOTA) 방법을 능가하는 제로샷 성능을 기록했습니다.
   • 순간 위치 찾기: Charades-STA 및 ActivityNet-Captions 에서 시간 주석 데이터 없이도 전문 모델들과 경쟁력 있는 성능을 보였습니다.
4. 효율성: 대규모 데이터셋 (수억 개) 이 아닌 약 70 만 개의 데이터 (이 중 비디오는 약 10 만 개) 로 효율적으로 훈련되었으며, 추론 시에도 계산 비용을 최적화했습니다.

4. 실험 결과 (Results)

• 텍스트 - 비디오 검색 (Zero-shot):
  • MSR-VTT, DiDeMo, MSVD: VIRTUE-Embed(임베딩 전용) 는 다른 MLLM 기반 모델들보다 우세한 성능을 보였습니다. 특히 DiDeMo 에서 T2V R@1 성능이 InternVideo2(전용 모델) 보다 4.8%p 높았습니다.
  • 재순위화 적용 시: VIRTUE(Embed + Ranker) 는 MSR-VTT 에서 LamRA 보다 7.7%p, MSVD 에서 5.4%p 높은 성능을 기록했습니다. DiDeMo 에서는 InternVideo2 를 0.9%p 상회했습니다.
• 복합 비디오 검색 (CoVR):
  • VIRTUE-Embed 는 R@1 기준 55.49% 를 기록하여 이전 SOTA 방법 (Thawakar et al., 47.52%) 보다 약 8%p 높은 성능을 보이며 새로운 SOTA 를 달성했습니다.
• 순간 위치 찾기:
  • Charades-STA 에서 R@0.3(55.5%), ActivityNet-Captions 에서 mIoU(33.4) 를 기록하여, 시간 주석이 없는 순수 제로샷 설정에서 기존 전문 모델들 (UniVTG, HawkEye 등) 과 경쟁하거나 상회하는 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 검색 중심의 대조적 적응 (Retrieval-centric contrastive adaptation) 이 MLLM 을 비디오 검색에 적용하는 강력하고 확장 가능한 설계 선택임을 증명했습니다.

• 범용성: 단일 모델이 복잡한 사용자 요구 (예: "이 클립처럼 보이지만 눈이 내리는 환경인 영상 찾기") 를 처리할 수 있는 유연성을 제공합니다.
• 효율성: 멀티모달 데이터를 대량으로 수집하고 훈련하는 비용이 큰 전용 모델들과 달리, 상대적으로 적은 데이터로 높은 성능을 달성할 수 있음을 보여줍니다.
• 미래 지향성: VIRTUE 는 점점 더 복잡하고 표현력 있는 사용자 쿼리를 처리할 수 있는 차세대 범용 비디오 검색 엔진의 기초를 마련했습니다.

요약하자면, VIRTUE 는 MLLM 의 멀티모달 이해 능력과 전용 검색 모델의 높은 정확도를 결합하여, 기존에 분리되어 있던 다양한 비디오 검색 태스크를 하나의 효율적인 아키텍처로 통합한 획기적인 연구입니다.