Adapting MLLMs for Nuanced Video Retrieval

이 논문은 텍스트 전용 대조 학습(contrastive learning)을 통해 MLLM을 임베딩 모델로 재구성함으로써, 시간적 흐름, 부정어, 멀티모달 구성 요소와 같은 미세한 차이를 효과적으로 구분하여 비디오 검색 성능을 극대화하는 방법을 제안합니다.

핵심

1. 현재 AI의 문제점: "눈치는 빠르지만, 디테일은 꽝인 신입 사원"

지금까지의 영상 검색 AI는 마치 **'눈치는 빠르지만 덤벙대는 신입 사원'**과 같았습니다.

예를 들어, 상사가 **"문 닫는 영상 찾아와"**라고 시켰다고 해봅시다. 기존 AI는 '문', '사람' 같은 키워드만 보고 문을 '여는' 영상이나 문 앞에서 서성이는 영상을 가져다줍니다. "문"이라는 큰 주제는 맞췄지만, '닫는다'라는 아주 중요한 **방향성(시간적 흐름)**을 놓친 것이죠.

또한, **"강아지가 잔디밭에 '없는' 영상 찾아와"**라고 하면, AI는 '강아지'와 '잔디밭'이라는 단어에만 꽂혀서 오히려 강아지가 잔디밭에 있는 영상을 가져오기도 합니다. **'부정(Not)'**의 의미를 이해하지 못하는 것이죠.

2. TARA의 해결책: "텍스트로 하는 '이미지 트레이닝'"

연구팀은 이 신입 사원을 교육하기 위해 아주 독특한 방법을 고안했습니다. 바로 **'영상 없이 글자로만 하는 훈련'**입니다.

비유하자면, 축구 선수가 실제 경기(영상 데이터)를 뛰기 전에, 전술판(텍스트 데이터)만 보고 머릿속으로 수만 번 시뮬레이션을 돌리는 것과 같습니다.

• 시간의 방향 훈련: "컵을 집어 올리다" vs "컵을 내려놓다"처럼 정반대 동작을 글로 써서 비교하게 합니다. 이를 통해 AI는 '동작의 순서'가 얼마나 중요한지 머릿속으로 깨닫게 됩니다.
• 부정의 의미 훈련: "사과가 있다"와 "사과가 없다"를 극명하게 대비시켜, '없다'라는 단어 하나가 전체 의미를 어떻게 뒤집는지 학습시킵니다.
• 편집 훈련: "빨간 꽃 영상을 보여줄게, 이걸 노란 꽃으로 바꿔서 찾아봐" 같은 명령어를 글로 연습시켜, 영상과 글을 조합하는 능력도 키웁니다.

3. 왜 '글자'로만 공부했는데 영상까지 잘 보게 될까요? (모달리티 갭의 해소)

이 부분이 이 논문의 핵심입니다. AI의 머릿속에는 '글자 세상'과 '영상 세상'이 따로 노는 **'언어-영상 간의 거리(Modality Gap)'**가 존재합니다. 마치 한국인과 프랑스인이 서로 대화가 안 통하는 것과 비슷하죠.

그런데 연구팀이 **'아주 정교하게 설계된 글자 문제집(Hard Negatives)'**으로 훈련을 시켰더니, AI가 글자 사이의 미세한 차이를 구분하기 위해 머리를 엄청나게 쓰기 시작했습니다. 이 과정에서 AI의 '생각하는 방식' 자체가 아주 정교해졌고, 그 결과 **글자로 배운 정교한 논리가 영상 세상을 이해하는 데까지 전이(Transfer)**된 것입니다.

결국, 글자로 훈련했음에도 불구하고 AI의 머릿속에서 '글자 세상'과 '영상 세상'이 하나로 합쳐지며 서로 완벽하게 소통하게 된 것이죠.

4. 요약하자면?

• 기존 AI: "문... 사람... 아! 문 여는 영상 찾았습니다!" (엉뚱함)
• TARA 적용 AI: "문... 사람... 그런데 '닫는' 중이군요? 아까 배운 '열기'와는 반대니까 이 영상을 드립니다." (정교함)

결론: TARA는 엄청난 양의 영상 데이터를 일일이 보여주지 않고도, 똑똑하게 설계된 '글자 문제집'만으로 AI를 영상 전문가로 만드는 아주 효율적이고 영리한 학습법입니다.

기술 요약

[기술 요약] MLLM을 활용한 미세한 차이(Nuance)를 포착하는 비디오 검색 기술

1. 문제 정의 (Problem Statement)

기존의 비디오-텍스트 검색 모델(예: CLIP 기반의 Dual-Encoder)은 비디오의 전반적인 맥락은 잘 파악하지만, 사용자의 매우 구체적이고 미세한 요구사항을 반영하는 데 한계가 있습니다. 본 논문은 이를 **'Nuanced Video Retrieval(미세 검색)'**이라는 개념으로 정의하고, 세 가지 핵심적인 도전 과제를 제시합니다.

• 시간적 미세함 (Temporal Nuance): "문을 여는 것"과 "문을 닫는 것"처럼 동작의 시간적 순서나 방향(Chiral actions)이 반대인 경우를 구분해야 함.
• 부정어 이해 (Negation): "강아지가 있지만 잔디 위에 있지는 않은" 것과 같이 'not', 'none' 등의 부정어를 통해 특정 요소를 제외하려는 의도를 파악해야 함.
• 멀티모달 미세함 (Multimodal Nuance): 비디오와 함께 "이 비디오의 색상을 노란색으로 바꿔줘"와 같은 텍스트 편집 지시어(Edit instruction)가 포함된 복합 쿼리(Composed Retrieval)를 처리해야 함.

2. 제안 방법론 (Methodology: TARA)

저자들은 **TARA (Text Adapted Retrieval Alignment)**라는 방법론을 제안합니다. 핵심 아이디어는 **"비디오 데이터 없이, 정교하게 설계된 텍스트 데이터만으로 MLLM(Multimodal Large Language Model)을 미세 조정(Fine-tuning)하여 비디오 검색 능력을 극대화할 수 있다"**는 것입니다.

2.1 임베딩 추출 방식 (Embedding Extraction)

• EOL (Explicit One-word Limitation) 프롬프트: MLLM에게 "이 비디오/텍스트를 한 단어로 요약하라"고 명령합니다.
• 그 후, 생성될 **다음 토큰(Last token)의 마지막 레이어 은닉 상태(Hidden representation)**를 해당 입력의 임베딩으로 사용합니다. 이는 MLLM이 입력의 핵심 의미를 응축하도록 유도합니다.

2.2 TARA 학습 전략 (Text-only Contrastive Learning)

비디오를 직접 학습에 사용하지 않고, 다음과 같이 구성된 NLI-Nuance라는 2만 개의 텍스트 트리플렛(Anchor, Positive, Hard-negative) 데이터셋을 구축하여 대조 학습(Contrastive Learning)을 수행합니다.

• Temporal: 동작의 방향이 반대인 문장을 Hard-negative로 설정 (예: 'pick up' vs 'put down').
• Negation: 부정어가 포함된 문장을 Hard-negative로 설정.
• Multimodal: 비디오 편집 작업을 텍스트 편집 작업으로 변환하여 학습.

3. 주요 기여 (Key Contributions)

1. TARA 방법론 제안: 정교하게 설계된 텍스트 Hard-negative를 통해 MLLM을 비디오 검색에 최적화하는 새로운 학습 레시피를 제시했습니다.
2. 텍스트 전용 학습의 효율성: 비디오 데이터 없이 오직 텍스트만으로 학습했음에도 불구하고, 비디오-텍스트 멀티모달 벤치마크에서 SOTA(State-of-the-art)를 달갱했습니다.
3. 모달리티 간극(Modality Gap) 해소: 텍스트 전용 대조 학습이 텍스트와 비디오 임베딩 사이의 간극을 줄여, 임베딩 공간을 더 체계적으로 조직화한다는 것을 이론적/실험적으로 증명했습니다.

4. 실험 결과 (Results)

• Temporal Nuance (CiA, RTime 벤치마크): 시간적 순서가 중요한 데이터셋에서 기존 모델들을 압도하는 성능을 보였습니다. 특히 동작의 방향이 반대인 경우를 매우 잘 구분했습니다.
• Negation (NegBench): 부정어 유무에 따른 미세한 의미 차이를 정확히 포착하여, 기존 CLIP 기반 모델보다 월등한 성능을 기록했습니다.
• Multimodal (WebVid-CoVR): 비디오와 편집 지시어가 결합된 복합 검색 작업에서도 비디오 학습 없이 SOTA를 달성했습니다.
• 범용성: TARA는 특정 모델에 국한되지 않고 Qwen2VL, InternVL3, Tarsier 등 다양한 오픈소스 MLLM에 적용 가능하며, 기존의 일반적인 비디오 검색 성능(MMEB-V2)을 저해하지 않고 오히려 향상시켰습니다.

5. 의의 및 결론 (Significance)

본 논문은 **"비디오 검색 모델을 만들기 위해 반드시 비디오 데이터가 대량으로 필요한 것은 아니다"**라는 놀라운 통찰을 제공합니다.

정교하게 설계된 **텍스트 데이터(Hard-negatives)**를 통해 MLLM의 언어적 이해력을 '미세한 차이'를 구분하는 방향으로 정렬(Alignment)시키면, 모델이 비디오를 볼 때도 그 미세한 차이를 훨씬 더 잘 포착하게 된다는 것을 보여주었습니다. 이는 데이터 효율성 측면에서 매우 중요한 의미를 가지며, 향후 더 복잡하고 정교한 멀티모달 검색 시스템 구축에 중요한 이정표가 될 것입니다.