기술 요약: RANKVIDEO – 텍스트-비디오 검색을 위한 추론 기반 재순위화(Reasoning Reranking)

문제 정의

텍스트-비디오 검색은 자연어 쿼리와 시청각 콘텐츠를 정렬하는 과정의 복잡성으로 인해 상당한 어려움에 직면해 있습니다. 효율적인 1단계 검색기(bi-encoders)가 존재하지만, 이들은 실제 규모의 컬렉션(수십만 개의 비디오)과 미세한 멀티모달 이해의 필요성을 충족하기에는 한계가 있는 경우가 많습니다. 기존의 비디오 재순위화 방식은 대부분 탐구되지 않았거나, 텍스트 기반 추론 모델에 입력하기 위해 텍스트(캡션, 전사 데이터)를 추출하는 방식에 의존합니다. 이러한 텍스트 전용 방식은 중요한 시각 및 오디오 정보를 누락시키고, 모든 비디오에서 해당 정보가 가용하지 않을 수 있으며, 생성에 따른 계산 비용을 발생시킨다는 점에서 제한적입니다. 또한, 현재의 비디오 네이티브 재순위화 모델들은 인위적인 데이터셋에서는 성능이 우수할지라도, 대규모의 추론 집약적 벤치마크에서는 성능이 저하되는 등 실제 검색 작업으로 일반화하는 데 실패하는 경우가 많습니다.

방법론

저자들은 시청각 입력을 직접 사용하여 쿼리와 비디오 간의 관련성을 평가하도록 설계된 비디오 네이티브 추론 재순위화 모델인 RANKVIDEO를 소개합니다. 이 시스템은 2단계 검색 프레임워크 내에서 작동하며, 새로운 2단계 학습 커리큘럼을 채택합니다.

1. 데이터 합성 (Data Synthesis)

추론 집약적 비디오 검색을 위한 학습 데이터의 부족을 해결하기 위해, 저자들은 데이터 합성 파이프라인을 개발했습니다:

• 특징 추출 (Feature Extraction): 비디오를 처리하여 시각적 캡션(QWEN3-OMNI 사용), 오디오 전사(WHISPER-LARGE-V2 사용), 그리고 화면 텍스트(OCR)를 추출합니다.
• 쿼리 생성 (Query Generation): 텍스트 추론 모델(QWEN3-32B)이 추출된 특징들(캡션 전용, 오디오 전용, OCR 전용, 메타데이터 전용, 그리고 결합형)을 바탕으로 다양한 쿼리 변형을 생성합니다.
• 필터링 (Filtering): 높은 품질과 추론 강도를 보장하기 위해 쿼리를 필터링합니다. 여기에는 베이스라인 검색기의 상위 1000개 후보 안에 정답 비디오가 포함되지 않은 쿼리를 제외하고, 하드 네거티브(hard negatives)가 너무 쉽게 구별되는 쿼리를 제거하며, 교사 모델(teacher model)에 의해 오분류된 쌍을 걸러내는 과정이 포함됩니다. 최종 데이터셋은 고유한 정답 및 오답 쿼리-비디오 쌍을 포함하여 약 35,000개의 레코드로 구성됩니다.

2. 2단계 학습 프로세스 (Two-Stage Training Process)

RANKVIDEO는 인지와 순위 최적화를 분리하는 커리큘럼을 사용하여 학습됩니다:

• 1단계: 인지 기반 지도 미세 조정 (Perception-Grounded SFT)

  • 목표: 순위 목표를 도입하기 전에 모델이 비디오 콘텐츠에 기반을 두도록(grounding) 합니다.
  • 방법: 모델이 교사가 제공한 캡션을 바탕으로 비디오의 캡션을 생성하도록 미세 조정합니다. 이는 모델이 즉각적으로 이진 관련성 결정을 학습하기보다, 차별적인 시각적 개체와 사건에 주목하도록 유도합니다.
  • 목적 함수: 캡션 생성을 위한 표준 크로스 엔트로피 손실($L_{cap}$)을 사용합니다.

• 2단계: 순위 미세 조정 (Ranking Fine-Tuning)

  • 목표: 쿼리-비디오 쌍의 재순위화를 위해 모델을 최적화합니다.
  • 하드 네거티브 마이닝 (Hard Negative Mining): 추론 교사 모델(REASONRANK)을 사용하여 후보들을 "신뢰할 수 있는 부정 사례(trusted negatives, 명백히 무관함)", "의심되는 정답(suspected positives, 오답 방지를 위해 제외됨)", "하드 네거티브(hard negatives, 정답과 유사한 모호한 후보)"로 계층화합니다.
  • 통합 목적 함수: 모델이 긴 추론 흔적(reasoning traces)을 디코딩할 필요 없이, 결정 지점에서의 "yes"와 "no" 토큰의 로짓 차이로부터 유도된 스칼라 관련성 점수 $s_\theta(q, v)$를 출력하도록 학습됩니다. 손실 함수는 세 가지 구성 요소를 결합합니다:
    1. 쌍별 순위 손실 (Pairwise Ranking Loss): 배치 내에서 정답 비디오가 하드 네거티브보다 높은 점수를 갖도록 유도합니다.
    2. 교사 확률 증류 (Teacher Probability Distillation): 이진 레이블을 넘어 보정된 감독을 제공하기 위해 교사의 확신도(logits)를 사용합니다.
    3. 포인트와이즈 손실 (Pointwise Loss): 클래스 불균형과 데이터 노이즈에 대한 학습을 안정화하기 위해 부드러운 타겟을 가진 이진 분류 손실입니다.

3. 추론 메커니즘 (Inference Mechanism)

모든 쿼리에 대해 장황한 사고 사슬(Chain-of-Thought, CoT) 흔적을 생성하는 다른 추론 모델들과 달리, RANKVIDEO는 이산적인 답변 토큰("yes" vs "no")의 로그 확률을 비교하여 관련성을 예측합니다. 이는 중간 추론 텍스트를 생성하는 오버헤드 없이 스칼라 관련성 점수를 산출하여 추론 지연 시간을 크게 줄여줍니다.

주요 기여 (Key Contributions)

1. RANKVIDEO 모델: 시청각 입력에 직접 학습된 비디오 네이티브 추론 재순위화 모델로, 추론 단계에서 추출된 텍스트에 대한 의존성을 제거했습니다.
2. 데이터 합성 파이프라인: 멀티모달 비디오 특징(시각, 오디오, OCR, 메타데이터)을 활용하여 추론 집약적인 쿼리-비디오 쌍을 생성하는 방법론을 제시했습니다.
3. 2단계 커리큘럼: 캡셔닝을 통해 인지(perception)를 먼저 학습한 후, 다중 목적 순위 미세 조정(pairwise, pointwise, distillation)을 수행하는 학습 전략을 제안했습니다.
4. 효율성: 추론 시 전체 추론 흔적을 생성하는 계산적 부담 없이 높은 성능을 달ável 하며, 추론 노력을 동적으로 적응시킵니다.

실험 결과 (Experimental Results)

실험은 10만 개 이상의 비디오를 포함하는 대규모 데이터셋인 MULTIVENT 2.0 벤치마크에서 수행되었습니다.

• 성능: RANKVIDEO는 다양한 1단계 검색기(OMNIEMBED, MMMORRF, CLIP, LanguageBind, Video-ColBERT 포함)에 대해 일관되게 검색 성능을 향상시켰습니다.
  • 1단계 베이스라인 대비 nDCG@10에서 평균 31%의 개선을 달성했습니다.
  • 텍스트 전용 추론 재순위화 모델(REASONRANK) 및 기타 시각-언어 베이스라인(QWEN3-VL-8B-INSTRUCT, QWEN3-VL-8B-THINKING, QWEN3-VL-RERANKER-8B)보다 뛰어난 성능을 보였습니다. 특히, 일부 비디오 네이티브 베이스라인은 1단계 성능을 오히려 저하시킨 반면, RANKVIDEO는 이를 개선했습니다.
• 점수 분포: 학습을 통해 점수 분포가 이동하여, 관련 있는 쌍은 더 큰 양의 마진을 받고 무관한 쌍은 더 큰 음의 마진을 받게 됨으로써, 중첩을 줄이고 순위 품질을 높였습니다.
• 효율성: RANKVIDEO는 CoT 흔적을 생성하는 QWEN3-VL-THINKING과 같은 추론 기반 베이스라인보다 현저히 빨랐으며, 원본 비디오를 사용함에도 불구하고 텍스트 기반 재순위화 모델과 유사한 지연 시간을 보였습니다.
• 다운스트림 영향: WIKIVIDEO 데이터셋을 사용하는 검색 증강 생성(RAG) 환경에서 RANKVIDEO는 클레임 커버리지(claim coverage)와 문서의 사실성을 개선하여, 표준 검색 지표를 넘어선 유용성을 입증했습니다.

의의 및 주장 (Significance and Claims)

본 논문은 추론 기반 재순위화가 비디오 네이티브 입력에 효과적으로 적용될 수 있음을 입증함으로써 비디오 검색의 핵심적인 공백을 해결했다고 주장합니다. 저자들은 비디오 재순위화를 위해 추출된 텍스트에 의존하는 것이 정보 손실과 계산 비용 측면에서 최선이 아니라고 강조합니다. 시청각 신호에 대해 직접 추론하도록 모델을 학습시킴으로써, RANKVIDEO는 계산 효율성을 유지하면서도 최첨단(SOTA) 성능을 달성합니다.

본 연구는 다음을 강조합니다:

• 시각-언어 모델은 환각(hallucination)과 낮은 정밀도로 인해 제로샷 관련성 판단에 어려움을 겪는 경우가 많습니다.
• 인위적인 데이터셋(캡션-대-비디오)으로 학습된 재순위화 모델은 실제 세계의 추론 집약적 비디오 검색에 잘 일반화되지 않습니다.
• 인지(캡셔닝)와 추론(순위 지정)을 분리하는 커리큘럼이 더 안정적이고 효과적인 멀티모달 학습을 이끌어냅니다.

저자들은 리스트 와이즈(list-wise) 최적화와 추가적인 동적 추론 최적화가 향후 연구 방향이지만, RANKVIDEO가 효율적이고 추론 중심적인 비디오 검색을 위한 강력한 베이스라인을 구축했다고 결론짓습니다.