🤖 AI

VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

이 논문은 MLLM의 중간 레이어 임베딩과 텍스트 기반 정렬 전략을 활용하여, 추가적인 시각적 학습 없이도 기존 비디오 파운데이션 모델(VFM)을 능가하는 성능을 보이는 비디오-텍스트 검색 방법론인 VidVec을 제안합니다.

원저자: Issar Tzachor, Dvir Samuel, Rami Ben-Ari

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Issar Tzachor, Dvir Samuel, Rami Ben-Ari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: "천재적인 요리사, 하지만 메뉴판이 없네?"

지금까지의 AI 세상에는 두 부류의 전문가가 있었습니다.

영상 전문 요리사 (VFM): 수억 개의 영상 레시피를 공부해서 영상의 특징을 기가 막히게 잡아내지만, 덩치가 너무 크고 공부하는 데 엄청난 시간과 비용이 듭니다.
말 잘하는 만능 비서 (MLLM): 영상 내용을 보고 "남자가 컴퓨터를 하고 있네요"라고 말은 아주 잘합니다. 하지만 이 비서는 '검색'을 위해 특화된 건 아니라서, 수만 개의 영상 중에서 딱 맞는 걸 골라내는 '검색 능력'은 아직 좀 부족합니다.

연구진은 생각했습니다. "이 만능 비서(MLLM)는 이미 영상에 대해 엄청난 지식을 머릿속에 갖고 있는데, 왜 우리는 이 비서에게 검색용 특수 훈련을 시키려고만 할까? 비서의 머릿속에 이미 있는 지식을 잘 활용만 하면 되지 않을까?"

2. 핵심 아이디어: VidVec의 3단계 전략

연구진은 VidVec이라는 방법을 통해 비서의 능력을 세 단계로 업그레이드했습니다.

1단계: "비서의 뇌 속 '중간 기억'을 훔쳐라!" (Zero-shot Retrieval)

보통 AI에게 질문을 하면 마지막 결론(결과물)만 듣게 됩니다. 그런데 연구진이 비서의 뇌를 스캔해 보니, 결론이 나오기 전 단계(중간 레이어)에 훨씬 더 풍부하고 정확한 영상 정보가 담겨 있다는 것을 발견했습니다.

비유: 요리사가 완성된 요리(결론)만 보는 게 아니라, 요리하는 중간 단계의 향기와 재료의 상태(중간 레이어)를 관찰하면 훨씬 더 정확하게 어떤 요리인지 맞출 수 있는 것과 같습니다.

2단계: "예/아니오로 다시 한번 확인하기" (Reranking)

비서가 영상 후보들을 10개 정도 골라왔다면, 이번에는 비서에게 직접 물어봅니다. "이 영상이 내가 말한 거 맞아? '예' 아니면 '아니오'로만 대답해!"

비유: 수많은 책 중에서 비슷한 걸 골라온 뒤, 마지막에 검수관에게 "이게 진짜 그 책 맞죠?"라고 한 번 더 꼼꼼하게 확인받는 과정입니다. 이 과정을 거치면 정확도가 확 올라갑니다.

3단계: "글자로만 공부하는 초스피드 과외" (In-context Optimization)

이게 이 논문의 가장 놀라운 부분입니다! 보통 AI를 검색 전문가로 만들려면 수많은 '영상-텍스트' 쌍을 보여주며 고생시켜야 합니다. 하지만 VidVec은 영상 없이 '글자'만 가지고 공부합니다.

비유: 요리사에게 실제 요리를 보여주며 가르치는 대신, "아주 길고 자세한 요리 설명서"를 "짧고 핵심적인 요약본"으로 바꾸는 연습만 시킨 것입니다.
"이 영상은 남자가 어두운 방에서 컴퓨터를 하며 대화하는 장면입니다..." (긴 글) $\rightarrow$ "컴퓨터 하는 남녀" (짧은 글)
이렇게 글자끼리 매칭하는 연습만 시켰는데도, AI는 "아, 긴 설명은 이런 핵심 의미를 담고 있구나!"라고 깨달으며 영상의 핵심을 파악하는 능력이 엄청나게 좋아졌습니다.

3. 결과: "가성비 끝판왕의 등장"

결과는 놀라웠습니다.

엄청난 효율성: 수억 개의 영상을 공부한 거대 모델들보다, 단 6만 개의 짧은 글자 데이터로 공부한 VidVec이 영상 검색 성능(Recall@1)에서 압도적인 성적을 거두었습니다.
최고의 성능: 기존의 영상 전문 모델(VFM)들과 비교해도 대등하거나 오히려 더 뛰어난 성능을 보여주었습니다.

4. 요약하자면?

VidVec은 "이미 똑똑한 AI의 머릿속(중간 레이어)을 잘 들여다보고, 영상 대신 글자 요약 연습만 살짝 시켜줬더니, 세상에서 영상을 가장 잘 찾는 검색 전문가가 되었다!"는 이야기입니다.

[기술 요약] VidVec: 비디오-텍스트 검색을 위한 비디오 MLLM 임베딩 활용 기술

1. 문제 정의 (Problem Statement)

최근 멀티모달 거대 언어 모델(MLLM)은 이미지 이해 및 생성 작업에서 뛰어난 성능을 보이고 있으나, 비디오-텍스트 검색(Video-Text Retrieval) 분야에서는 여전히 전용 비디오 파운데이션 모델(VFM, 예: InternVideo2, VideoPrism)에 비해 성능이 뒤처져 있습니다.

기존의 MLLM 기반 임베딩 연구들은 주로 이미지에 집중되어 있거나, 비디오를 보조적인 모달리티로 취급하여 비디오의 복잡한 시공간적 역동성(temporal dynamics)을 충분히 활용하지 못한다는 한계가 있었습니다. 또한, 비디오-텍스트 정렬을 위해 막대한 양의 비디오 데이터와 시각적 감독(visual supervision)이 필요하다는 점도 비용 측면에서 큰 문제였습니다.

2. 핵심 방법론 (Methodology)

본 논문은 MLLM의 내부 표현(hidden representations)을 효과적으로 추출하고, 시각 데이터 없이 텍스트 기반의 최적화만으로 비디오 검색 성능을 극대화하는 세 가지 핵심 전략을 제안합니다.

① 계층별 분석 및 제로샷 추출 (Layer-wise Analysis & Zero-shot Extraction)

발견: MLLM의 최종 레이어보다 **중간 레이어(intermediate layers)**가 검색 작업에 필요한 풍부한 정보를 더 잘 인코딩하고 있음을 체계적으로 분석하여 증명했습니다.
VidVec-ZS (Zero-Shot): 별도의 학습 없이, 적절한 중간 레이어에서 <emb-1> 토큰(임베딩 토큰 바로 앞의 은닉 상태)을 추출하여 비디오와 텍스트의 임베딩으로 사용합니다.

② 보정된 확률 스코어러로서의 MLLM 헤드 (Calibrated MLLM Head)

VidVec-ZS Reranking: 1단계에서 임베딩 유사도로 상위 $K$ 개의 후보를 뽑은 후, MLLM의 언어 모델 헤드를 활용하여 "이 비디오가 문장과 일치합니까? Yes/No"라는 질문에 대한 **'Yes'의 확률값(likelihood)**을 계산합니다. 이를 통해 2단계 재정렬(reranking)을 수행하여 정확도를 높입니다.

③ 인컨텍스트 최적화 (In-context Optimization)

VidVec-O (Optimized): 시각 데이터(비디오)를 전혀 사용하지 않고, 텍스트 데이터만으로 모델을 정렬합니다.
전략: 상세한 비디오 캡션(Dense Caption)을 짧은 요약문(Short Summary)으로 매핑하는 텍스트-텍스트(text-to-text) 태스크를 수행합니다.
원리: 상세 캡션은 비디오의 시공간적 내용을 담고 있는 '텍스트 대리자(proxy)' 역할을 합니다. 이를 짧은 요약문과 정렬하도록 LoRA로 미세 조정함으로써, 모델은 비디오의 핵심 정보를 압축하여 임베딩하는 법을 간접적으로 학습하게 됩니다.

3. 주요 기여 (Key Contributions)

레이어별 분석: 비디오 MLLM의 중간 레이어가 최종 레이어보다 검색에 더 효과적일 수 있음을 입증했습니다.
효율적인 제로샷 스킴: 학습 없이도 MLLM 헤드를 확률 스코어러로 활용하여 경쟁력 있는 검색 성능을 확보했습니다.
텍스트 기반 정렬: 시각적 감독 없이 단 ~60K개의 텍스트 쌍만으로 비디오 임베딩 성능을 획기적으로 높이는 '인컨텍스트 최적화' 방법을 제안했습니다.
SOTA 달성: 기존의 거대 VFM 모델들을 능가하는 최첨단(State-of-the-art) 성능을 달성했습니다.

4. 실험 결과 (Results)

제로샷 성능 (Table 1): 학습을 전혀 하지 않은 VidVec-ZS가 기존의 대규모 비디오-텍스트 쌍으로 학습된 MLLM 임베더들(LamRA, VLM2Vec 등)보다 모든 벤치마크(MSR-VTT, VATEX, DiDeMo)에서 우수한 성능을 보였습니다.
최적화 성능 (Table 2, 3): 60K개의 텍스트 데이터만 사용한 VidVec-O는 수억 개의 비디오-텍스트 쌍을 학습한 기존 모델들보다 훨씬 높은 Recall@1을 기록했습니다.
VFM과의 비교 (Table 4): 최종적으로 재정렬(reranking)을 결합한 VidVec은 InternVideo2-6B와 같은 강력한 비디오 파운데이션 모델(VFM)과 대등하거나 이를 능가하는 성능을 보여주었습니다. 특히 텍스트 기반 최적화만으로 이 정도 성능을 냈다는 점이 매우 고무적입니다.

5. 의의 (Significance)

본 연구는 **"강력한 MLLM의 내부에는 이미 정교한 비디오 이해 능력이 잠재되어 있다"**는 점을 시사합니다.

특히, 막대한 비용이 드는 비디오-텍스트 쌍 학습 대신, 텍스트 데이터의 정교한 설계(상세 캡션 $\rightarrow$ 요약문 매핑)만으로도 멀티모달 정렬을 달성할 수 있음을 보여줌으로써, 향후 데이터 효율적인 멀티모달 학습 모델 설계에 중요한 방향성을 제시했습니다.