기술 요약: R3-CoVR (Reason, Retrieve, Re-rank)

1. 문제 정의

본 논문은 구성된 비디오 검색(Composed Video Retrieval, CoVR) 문제를 다룹니다. 이는 시스템이 참조 비디오($V_r$)와 자유 형식의 텍스트 수정 지시문($E$)이 주어졌을 때, 대규모 갤러리에서 타겟 비디오를 검색해야 하는 작업입니다. 목표는 관련 문맥을 유지하면서 참조 비디오에 편집을 적용했을 때 나타날 결과물을 찾는 것입니다.

구체적인 초점은 CVPR 2026 VidLLMs 워크숍의 Reason-Aware CoVR (CoVR-R) 챌린지에 있습니다. 이 설정은 두 가지 엄격한 제약을 부과합니다:

1. 제로샷(Zero-Shot): 모델은 챌린지 데이터로 학습하거나 튜닝될 수 없으며, 성능은 일반화 능력에 의존해야 합니다.
2. 추론 인식(Reasoning-Aware): 편집은 종종 암시적입니다 (예: "타이핑하는 동작을 좌절하는 동작으로 변경"은 꽉 쥔 주먹과 같은 특정 시각적 상태를 함의함). 단순한 키워드 매칭은 어휘는 공유하지만 암시된 시각적 결과는 위반하는 "어려운 방해 요소(hard distractors)"에 대해 실패합니다.

2. 방법론: R3-CoVR

저자들은 완전히 동결된 파운데이션 모델들로 구축된, 학습이 전혀 필요 없는 3단계 파이프라인인 R3-CoVR을 제안합니다.

1단계: 추론 (Reason)

• 모델: 동결된 멀티모달 거대 언어 모델 (Qwen3-VL-8B).
• 과정: 모델은 참조 비디오($V_r$)와 편집 지시문($E$)을 관찰합니다. 단순히 키워드를 매칭하는 대신, 편집의 **사후 효과(after-effects)**에 대해 추론합니다.
• 출력: 모델은 상태, 동작, 장면, 카메라, 템포를 다루는 구조화된 트레이스($R$)를 생성한 후, 이어서 간결한 사후 편집 묘사($D$)를 생성합니다.
• 안정화: 일관성을 보장하기 위해 $K=3$개의 샘플을 추출하며, 이들의 임베딩은 다운스트림에서 평균화됩니다. 구조화된 트레이스는 챌린지의 추론 메트릭을 위해 유지됩니다.

2단계: 검색 (Retrieve)

• 모델: 동결된 대비 학습 기반 비디오-텍스트 인코더 (SigLIP-2).
• 과정: 인코더는 간결한 묘사($D$)와 모든 갤러리 비디오를 공유 메트릭 공간으로 매핑합니다.
  • 비디오 인코딩: 8개의 프레임을 균등하게 샘플링하여 평균 풀링(mean-pooling) 및 L2 정규화를 수행합니다.
  • 텍스트 인코딩: 묘사를 임베딩합니다.
• 최적화 (핵심): 저자들은 SigLIP-2 인코더가 고정된 64-토큰 윈도우를 가지고 있다는 점을 발견했습니다. LLM이 생성한 길고 문단 형태인 묘사는 잘려나가 핵심 내용을 잃게 됩니다. 따라서 시스템은 $D$를 이 윈도우에 적합하도록 **간결하고 앞부분에 핵심이 집중된 캡션(≤40 단어)**으로 제한합니다.
• 출력: 코사인 유사도를 통해 갤러리를 순위 매겨 상위-$K$개의 후보 목록(기본값 $K=10$)을 반환합니다.

3단계: 재순위화 (Re-rank)

• 모델: 동일한 동결된 Qwen3-VL-8B가 제약 조건 판사(constraint judge) 역할을 수행합니다.
• 과정: 판사는 후보 비디오, 원래의 편집($E$), 그리고 의도된 묘사($D$)를 입력받습니다. 판사는 후보가 의도된 결과를 얼마나 잘 구현했는지 [0, 101] 척도로 점수를 매깁니다.
• 디노이징 (De-noising): 판사가 몇 개의 뚜렷한 점수만을 출력하여 발생하는 동점 문제를 피하기 위해, 시스템은 5번의 샘플 생성에 대한 점수를 평균 내어 점수의 해상도를 크게 높입니다 (테스트 풀에서 8개에서 86개의 뚜렷한 값으로 증가).
• 최종 점수: 최종 점수($s_{final}$)는 판사의 정규화된 점수($s_j$)와 검색 순위($rank_K$)를 혼합합니다:
  $$s_{final}(V) = \lambda s_j(V) + (1 - \lambda) rank_K(V)$$
  여기서 $\lambda$는 일반적으로 0.8로 설정됩니다. 이 혼합 방식은 판사가 후보 목록의 순위를 재조정하면서도, 오탐(false positives)을 방지하기 위해 검색 우선순위를 유지할 수 있게 합니다.

3. 주요 기여

1. 제로샷 파이프라인: 챌린지 데이터에 대한 미세 조정 없이 챌린지 테스트 세트에서 91.9% R@1을 달려낸 완전한 학습 불필요(training-free) CoVR 시스템을 구현했습니다.
2. 설명 길이 최적화: 인코더의 토큰 윈도우(64 토큰)에 맞춰 설명 길이를 조절하는 것이 결정적이라는 사실을 발견했습니다. 이 단일 변경만으로 R@1을 67.5%에서 72.7%로 끌어올렸습니다.
3. 제약 조건 인식 재순위화: 멀티모달 LLM을 판사로 도입하여 후보 목록을 재순위화했습니다. 이 단계는 +19.2 R@1의 막대한 이득을 가져오며 메트릭을 72.7%에서 91.9%로 이동시켰습니다.
4. 모듈형 구현: 오케스트레이션 로직을 변경하지 않고도 백본을 교체할 수 있는 깔끔한 3계층(데이터/모델/러너) 구현을 제공합니다.

4. 실험 결과

WebVid 및 Something-Something-v2 갤러리에 걸친 301개의 쿼리에 대해 CoVR-R 챌린지 테스트 세트에서 평가되었습니다:

• 베이스라인 (풍부한 묘사): 긴 설명을 사용한 Reason + Retrieve 방식은 67.5% R@1을 달성했습니다.
• 최적화된 검색: 인코더 윈도우에 맞게 설명을 제한함으로써 R@1이 **72.7%**로 개선되었습니다 (+5.2).
• 전체 파이프라인: 제약 조건 인식 재순위화기( $\lambda=0.8$, $K=10$ 적용)를 추가하여 91.9% R@1 및 98.2% R@10을 달성했습니다.
• 절제 연구 통찰 (Ablation Insights):
  • 혼합 비율 ($\lambda$): 순수 검색($\lambda=0$)은 72.7%를 기록했습니다. 순수 판사($\lambda=1$)는 88.2%로 떨어졌습니다. 최적의 혼합($\lambda=0.8$)은 판사의 신호를 활용하면서 검색 순위를 사용하여 동점을 해결함으로써 91.9%에서 정점을 찍었습니다.
  • 후보 목록 깊이: 후보 목록을 $K=10$에서 $K=20$으로 늘리면 광범위한 재현율(R@10에서 96.8% $\to$ 98.2%)은 향상되지만, 더 깊은 목록이 높은 점수의 방해 요소를 포함하게 되어 R@1은 크게 개선되지 않았습니다.

5. 의의 및 한계

의서:
본 논문은 추론 인식 구성 비디오 검색이 학습 없이도 동결된 멀티모달 LLM의 추론 능력과 대비 학습 인코더의 효율성에 의존하여 효과적으로 해결될 수 있음을 보여줍니다. 시스템은 해석 가능하며(추론 트레이스와 판사의 근거를 제공), 모듈형입니다.

한계 및 향후 과제:

• 비용: 재순위화기의 비용은 후보 목록의 깊이와 디노이징을 위한 생성 횟수에 따라 선형적으로 증가합니다.
• 지각적 편향 (Perceptual Bias): 8B 규모의 판사 모델은 미세한 차이를 구별하는 데 한계가 있어, R@1(91.9%)과 R@10 천장(~98%) 사이의 격차를 남깁니다. 저자들은 더 큰 판사 모델(예: 72B)이 이 격차를 줄일 수 있을 것이라고 제안합니다.
• 토큰 제약: 대비 학습 인코더의 64-토큰 윈도우는 초기 검색에 사용되는 묘사의 풍부함을 제한합니다. 더 긴 컨텍스트를 가진 또는 비디오 네이티브 인코더를 사용하면 초기 목록의 재현율을 더 높일 수 있을 것입니다.
• 연산량 트레이드오프: 자기 일관성(3개 샘플) 및 디노이징(5개 샘플)의 사용은 견고함을 위해 연산량을 희생하는 것이며, 저자들은 이를 규모 확장 시 재검토해야 할 트레이드오프로 언급했습니다.