CoVR-R:Reason-Aware Composed Video Retrieval

1. 문제 정의 (Problem Definition)

Composed Video Retrieval (CoVR) 는 참조 비디오 (Reference Video) 와 텍스트 수정 명령 (Modification Text) 을 입력받아, 해당 수정 사항을 반영한 타겟 비디오를 검색하는 작업입니다.

기존의 CoVR 연구는 다음과 같은 한계를 가지고 있습니다:

• 명시적 키워드 의존성: 대부분의 기존 방법은 수정 텍스트가 시각적 변화를 완전히 명시한다고 가정하고, 단순히 키워드 매칭이나 표면적인 텍스트 - 비디오 정렬에 의존합니다.
• 암시적 결과 (After-effects) 간과: 실제 수정 명령은 종종 명시되지 않은 인과적, 시간적, 영화적 결과를 내포합니다.
  • 예시: "소 (cow) 를 말 (horse) 로 바꾸고"라는 명령은 단순히 동물이 바뀌는 것뿐만 아니라, 먹이 섭취 행동의 변화, 배경의 지형 변화, 카메라 앵글의 변화 (예: 클로즈업 시 프레임이 좁아짐), 시간의 흐름 (타이밍) 등을 암시합니다.
• 성능 저하: 이러한 암시적 결과 (After-effects) 를 추론하지 못하면, 키워드만 일치하는 오답 (Distractors) 을 검색하여 성능이 떨어집니다.

따라서, 성공적인 CoVR 을 위해서는 텍스트가 말하는 내용뿐만 아니라, 그 수정이 시각적으로 어떤 결과를 초래할지 추론 (Reasoning) 하는 능력이 필수적입니다.

2. 제안 방법론 (Methodology)

저자들은 추론 중심 (Reasoning-first) 의 제로샷 (Zero-shot) 접근법인 CoVR-R을 제안합니다. 이 방법은 특정 태스크에 대한 파인튜닝 없이 대규모 멀티모달 모델 (LMM) 의 추론 능력을 활용합니다.

2.1. 전체 아키텍처 (Reason-then-Retrieve)

시스템은 두 단계로 구성됩니다 (그림 3 참조):

1. 1 단계: 수정 후 효과 추론 (After-Effect Reasoning)

   • 입력: 참조 비디오 ($V_r$) + 수정 텍스트 ($E$).
   • 모델: Qwen3-VL-8B (동결된 상태, 파인튜닝 없음).
   • 과정: 모델은 수정 명령이 시각적으로 어떤 결과를 초래할지 구조화된 추론 흔적 (Reasoning Trace, $R$) 을 생성합니다.
   • 추론 영역:
     • 상태 (States): 객체의 상태 변화 (예: 날것 $\rightarrow$ 익음).
     • 행동/단계 (Actions/Phases): 시간적 순서 및 행동 전환.
     • 장면 (Scene): 배경 및 환경 변화.
     • 카메라/구도 (Camera): 샷 스케일, 줌, 팬 등 영화적 요소.
     • 템포 (Tempo): 속도와 리듬 변화.
   • 출력: 구조화된 추론 레코드 $R$.

2. 2 단계: 타겟 비디오 임베딩 생성 및 검색

   • 입력: 참조 비디오 ($V_r$) + 수정 텍스트 ($E$) + 추론 흔적 ($R$).
   • 과정:
     • 모델은 $V_r, E, R$을 기반으로 수정이 적용된 가상의 타겟 비디오 설명을 생성합니다.
     • 생성된 설명의 토큰 임베딩을 중요도 가중 풀링 (Importance-weighted Pooling) 을 통해 하나의 쿼리 임베딩 ($q$) 으로 집계합니다. (명사, 동사 등 의미 있는 토큰에 높은 가중치 부여).
   • 검색: 생성된 쿼리 임베딩과 미리 계산된 갤러리 비디오 임베딩들 간의 코사인 유사도를 계산하여 상위 K 개를 검색합니다.

2.2. 핵심 기술적 특징

• 제로샷 (Zero-shot): LMM 을 파인튜닝하지 않고, 프롬프트 엔지니어링과 추론 능력을 그대로 활용합니다.
• 구조화된 추론: 자연어 생성을 무작위로 하지 않고, 상태, 행동, 장면 등 5 가지 카테고리로 제한된 구조화된 추론을 강제하여 일관성을 높입니다.
• 가중 풀링 전략: 생성된 설명에서 '행동', '상태', '객체'와 같은 핵심 토큰에 높은 가중치를 주어 검색 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. CoVR-R 벤치마크 제안:

   • 기존 CoVR 데이터셋은 단순한 텍스트 정렬에 치중했으나, CoVR-R 은 구조화된 추론 흔적 (Reasoning Traces) 과 키워드 매칭으로는 해결하기 어려운 난이도 높은 오답 (Hard Distractors) 을 포함합니다.
   • 2,800 개의 고품질 트리플릿으로 구성되며, 시간적 인과관계, 영화적 요소, 상태 전환 등을 평가합니다.
   • 각 샘플에는 수정 명령, 타겟 비디오, 그리고 5 가지 차원 (상태, 행동, 장면, 카메라, 템포) 에 대한 상세한 추론 레코드가 포함됩니다.

2. Reason-Aware CoVR 프레임워크 개발:

   • Qwen3-VL 을 활용하여 수정 명령의 암시적 결과를 명시적으로 예측하고, 이를 검색 쿼리로 변환하는 새로운 파이프라인을 제시합니다.
   • 태스크별 파인튜닝 없이도 강력한 성능을 달성합니다.

3. 실험적 검증:

   • 기존 최강의 베이스라인 (BSE-CoVR, CoVR-BLIP 등) 대비 CoVR-R 벤치마크에서 R@1 기준 약 16%p, Dense-WebVid-CoVR 에서 약 12%p 이상의 성능 향상을 보였습니다.
   • 특히 "암시적 효과 (Implicit-effect)"가 필요한 하위 집합에서 성능이 극적으로 개선되었습니다.

4. 실험 결과 (Results)

• CoVR-R 벤치마크:

  • 제안된 방법 (Our Approach+R) 은 R@1 49.88% 를 기록하여 기존 최강 베이스라인 (33.43% 등) 을 크게 상회했습니다.
  • 추론 점수 (Reasoning Score): 8.31/10 으로, 모델이 수정의 인과적 결과를 정확하게 예측함을 입증했습니다.
  • 추론 모듈을 추가하지 않은 버전보다 성능이 약 5%p 향상되어, 추론 과정의 중요성을 입증했습니다.

• Dense-WebVid-CoVR (대규모 벤치마크):

  • R@1 61.21%, R@50 97.61% 를 기록하여 기존 최강 베이스라인 (BSE-CoVR, R@1 48.08%) 을 크게 앞섰습니다.
  • 비디오 캡션 (Video Captions) 이나 추가 학습 없이도 뛰어난 성능을 발휘했습니다.

• 모델 스케일링 분석:

  • Qwen3-VL-72B 모델은 R@1 55.48% 를 기록하여 모델 크기가 커질수록 추론 및 검색 성능이 선형적으로 향상됨을 보였습니다.

• 추론 정밀도 (Granularity) 분석:

  • 너무 간략한 추론은 성능이 낮았고, 너무 상세한 추론 (Verbose) 은 노이즈를 유발하여 오히려 검색 성능을 저하시켰습니다.
  • 표준 구조화된 추론 (약 89 토큰) 이 정확도와 계산 비용 사이의 최적의 균형을 이루었습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: CoVR 을 단순한 "키워드 매칭"이나 "임베딩 정렬"의 문제로 보던 기존 관점에서, "추론 (Reasoning)"을 핵심 요소로 포함하는 새로운 패러다임을 제시했습니다.
• 설명 가능한 검색 (Explainable Search): 모델이 왜 특정 비디오를 선택했는지, 수정 명령이 어떤 시각적 결과 (상태 변화, 카메라 움직임 등) 를 초래했는지에 대한 추론 과정을 제공함으로써 검색의 투명성을 높였습니다.
• 데이터 효율성: 대규모 데이터에 대한 태스크별 파인튜닝 없이, 일반 목적의 LMM 추론 능력을 활용하여 높은 성능을 달성함으로써, 데이터 라벨링 비용과 계산 비용을 절감할 수 있는 가능성을 열었습니다.
• 미래 방향: 추론의 깊이를 쿼리의 복잡도에 따라 동적으로 조절하는 적응형 라우팅 (Adaptive Routing) 등의 방향성을 제시하며, 더 정교하고 인간과 유사한 비디오 검색 시스템 개발의 토대를 마련했습니다.

요약하자면, 이 논문은 비디오 검색에서 '무엇이 변하는가'뿐만 아니라 '그로 인해 어떤 결과가 발생하는가'를 추론하는 것이 성공적인 검색의 핵심임을 증명하고, 이를 위한 새로운 벤치마크와 방법론을 제시했습니다.