U-MARVEL: Unveiling Key Factors for Universal Multimodal Retrieval via Embedding Learning with MLLMs

이 논문은 MLLM 기반의 범용 멀티모달 검색 (UMR) 성능을 결정하는 핵심 요소를 체계적으로 분석하여, 기존 최첨단 방법론을 크게 능가하는 범용성 높은 U-MARVEL 프레임워크를 제안합니다.

핵심

🌟 U-MARVEL: AI 검색의 '마스터 키'를 찾아서

이 논문은 **AI 가 이미지와 텍스트를 섞어서 어떤 질문에도 정답을 찾아주는 '만능 검색 기술 (UMR)'**을 어떻게 더 똑똑하게 만들 수 있는지 연구한 내용입니다. 기존 기술들도 좋았지만, 아직 완벽하지 않았죠. 연구팀은 이를 해결하기 위해 U-MARVEL이라는 새로운 방법을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "왜 AI 는 가끔 멍청할까?"

지금까지의 AI 검색 기술은 마치 **수천 권의 책을 읽은 '열혈 사서'**와 같습니다.

• "빨간 장미 사진"을 보여주면 "장미"라고 맞춥니다.
• "철수에게서 영웅은 누구?"라고 물어보면 "토니 스타크"라고 답합니다.

하지만 문제는 복잡한 상황입니다.

• "이 사진 (빨간 장미) 을 노란색으로 바꿔서 찾아줘" (이미지 + 텍스트 조합)
• "이 영화 장면 (비디오) 과 비슷한 감정의 글을 찾아줘"

기존 AI 는 이런 복합적인 지시를 받으면 헷갈려하거나, 검색 결과가 엉뚱한 곳으로 튕겨 나갑니다. 마치 사서가 "빨간 장미를 노란색으로 바꿔서 찾아줘"라는 말에 "장미는 빨간색인데, 노란색 장미는 없어요"라고 답하며 검색을 포기하는 것과 비슷하죠.

2. 해결책: U-MARVEL (유니버설 멀티모달 리트리벌)

연구팀은 이 문제를 해결하기 위해 **AI 의 뇌를 훈련시키는 새로운 '레시피'**를 개발했습니다. 이를 U-MARVEL이라고 이름 붙였는데, 마치 마법 같은 검색 도구를 만드는 과정입니다.

이 레시피는 크게 3 단계로 이루어져 있습니다.

🪜 1 단계: 계단식 훈련 (Progressive Transition)

비유: 초등학생 → 중학생 → 대학생으로 성장시키기

기존에는 AI 에게 모든 것을 한 번에 가르치려다 보니 혼란이 생겼습니다. U-MARVEL 은 단계별로 가르칩니다.

1. 초급 (텍스트만): 먼저 글자만 있는 책으로 검색하는 법을 배웁니다. (예: "사과"라고 치면 사과 사진 찾기)
2. 중급 (이미지 + 텍스트): 이제 사진과 글자를 섞어서 가르칩니다. (예: "이 사진 속 사과는 빨간색이야"라고 말하면 그 사진 찾기)
3. 고급 (복합 지시): 마지막으로 "이 사진을 노란색으로 바꿔서 찾아줘" 같은 복잡한 명령을 처리하는 법을 배웁니다.

이렇게 순서대로 배우니 AI 가 개념을 훨씬 잘 이해하게 됩니다.

🎯 2 단계: 어려운 문제만 골라내기 (Hard Negative Mining)

비유: 시험 공부할 때 '오답 노트'를 만드는 과정

AI 를 훈련시킬 때, 틀린 답 (Negative) 을 고르는 게 중요합니다.

• 기존 방식: 무작위로 틀린 답을 고릅니다. (예: "사과"를 찾으려는데 "배"를 틀린 답으로 줌) → 너무 쉬워서 AI 가 금방 성장합니다.
• U-MARVEL 방식: 가장 헷갈리는 답을 골라냅니다. (예: "사과"를 찾으려는데 "빨간색 배"를 틀린 답으로 줌) → 이건 정말 비슷해서 AI 가 집중해서 공부해야 합니다.

하지만 여기서 중요한 발견이 있었습니다. 너무 헷갈리는 답 (오답) 이 진짜 정답일 수도 있다는 것입니다. (데이터에 오류가 있을 수 있으니까요). 그래서 U-MARVEL 은 가장 헷갈리는 답들 중에서 '진짜 오답'만 골라내서 훈련시킵니다. 마치 오답 노트를 만들 때, "이건 내가 진짜 몰라서 틀린 거야"라고 확인하고 적어두는 것과 같습니다.

🧠 3 단계: 스승과 제자의 마법 (Distillation)

비유: 두 명의 전문가를 합쳐서 '슈퍼 전문가' 하나를 만들기

보통 검색은 두 단계를 거칩니다.

1. 검색 (Recall): 후보군 100 개를 빠르게 뽑아냄. (빠르지만 정확도가 조금 떨어짐)
2. 재정렬 (Rerank): 뽑힌 100 개 중에서 진짜 정답을 찾아냄. (정확하지만 느림)

이 두 단계를 따로 쓰면 시간이 너무 걸립니다. U-MARVEL 은 재정렬을 하는 '스승'의 지식을, 검색만 하는 '제자'에게 모두 가르쳐서 하나의 모델로 만듭니다.

• 기존: 스승이 제자에게 "이게 정답이야"라고 말해주면 제자는 그걸 외웁니다. (계산량이 너무 많아서 비효율적)
• U-MARVEL: 스승이 "이 5 개 중에서 정답일 가능성이 높은 것들만 비교해봐"라고 가르칩니다. 불필요한 계산을 줄이면서 제자가 스승의 똑똑함을 그대로 물려받게 합니다.

결과적으로 하나의 모델로 빠르고 정확하게 검색할 수 있게 된 것입니다.

---

3. 결과: 얼마나 똑똑해졌을까?

이 새로운 방법 (U-MARVEL) 을 테스트해 보니 놀라운 결과가 나왔습니다.

• 공부된 상황 (Supervised): 이미 정답을 알려준 데이터로 학습했을 때, 기존 최고 기술 (SoTA) 보다 압도적으로 잘 작동했습니다.
• 공부 안 한 상황 (Zero-shot): 아예没见过 (본 적 없는) 새로운 문제 (예: 동영상 검색, 이미지 조합 검색) 가 나와도 스스로 잘 해결했습니다. 마치 수학 문제를 풀 때, 배운 공식만 기억하는 게 아니라 원리를 이해해서 새로운 문제도 푼 것과 같습니다.

4. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 를 더 똑똑하게 만드는 비결은 복잡한 기술이 아니라, 어떻게 가르치고 훈련시키느냐에 있다"**는 것을 증명했습니다.

• 비유하자면: 단순히 머릿속 지식 (모델 크기) 을 늘리는 게 아니라, **올바른 공부법 (훈련 레시피)**을 찾아낸 것입니다.
• 앞으로 우리가 스마트폰에서 "이 옷과 비슷한 스타일의 여행지 사진 찾아줘"라고 말하면, AI 가 주저 없이 정확한 답을 찾아줄 수 있는 시대가 온 것입니다.

한 줄 요약:

U-MARVEL 은 AI 에게 '계단식 훈련', '오답 노트', '스승의 지식 전수'라는 3 가지 비법을 가르쳐서, 복잡한 질문에도 빠르고 정확하게 답하는 '만능 검색 비서'를 탄생시킨 연구입니다.

기술 요약

U-MARVEL: MLLM 기반 범용 멀티모달 검색을 위한 임베딩 학습의 핵심 요인 규명

이 문서는 ICLR 2026 에 발표된 논문으로, **범용 멀티모달 검색 (Universal Multimodal Retrieval, UMR)**의 성능을 극대화하기 위한 멀티모달 대규모 언어 모델 (MLLM) 기반 임베딩 학습의 핵심 설계 원칙과 훈련 전략을 체계적으로 분석하고 제안한 연구입니다.

1. 문제 정의 (Problem)

• 배경: 범용 멀티모달 검색 (UMR) 은 텍스트, 이미지, 그리고 이들의 조합 등 다양한 모달리티를 가진 쿼리와 후보군을 처리하는 복잡한 검색 작업을 목표로 합니다. 최근 MLLM 의 등장으로 UMR 이 크게 발전했으나, 기존 최첨단 방법론들은 대부분 대조 학습 (Contrastive Learning) 원칙을 따르면서도 구체적인 훈련 레시피 (Recipe) 에 차이가 있습니다.
• 한계: 기존 연구들은 MLLM 을 검색 임베딩 모델로 적용할 때, 검색 성능을 결정하는 핵심 요인 (임베딩 생성 방식, 훈련 전략, 하드 네거티브 처리 등) 에 대한 체계적인 분석이 부족했습니다. 이로 인해 최적의 성능을 내지 못하거나 일반화 능력이 제한되는 문제가 발생했습니다.
• 목표: MLLM 기반 UMR 시스템의 성능을 결정짓는 핵심 요인을 규명하고, 이를 바탕으로 단일 모델로 높은 성능을 내는 범용 임베딩 학습 프레임워크를 구축하는 것입니다.

2. 방법론 (Methodology)

저자는 Qwen2-VL-7B-Instruct 를 베이스 모델로 하여, 정보 검색 (IR) 과 MLLM 의 특성을 결합한 U-MARVEL (Universal MultimodAl RetrieVal via Embedding Learning) 프레임워크를 제안했습니다. 이 프레임워크는 다음과 같은 세 가지 핵심 단계를 거칩니다.

2.1. MLLM 을 임베딩 모델로 적응시키기 (Adaptation)

• 임베딩 추출 방식: 기존에 널리 쓰이던 '마지막 토큰 (Last Token)' 메커니즘과 압축 프롬프트를 사용하는 방식 대신, **양방향 어텐션 (Bidirectional Attention) 과 평균 풀링 (Mean Pooling)**을 결합하여 시퀀스 전체의 특징을 추출하는 방식을 채택했습니다. 이는 최근 토큰 편향 (Recency Bias) 을 줄이고 더 풍부한 문맥 정보를 담을 수 있게 합니다.
• 지시어 (Instruction) 처리: 평균 풀링 과정에서 지시어 (Instruction) 토큰을 마스킹하여, 쿼리와 후보 간의 특징 비교 시 지시어 자체가 계산에 편향을 주지 않도록 했습니다.
• 점진적 전환 (Progressive Transition): 텍스트 검색 데이터 (NLI) → 텍스트 - 이미지 쌍 데이터 (CC3M) → 범용 멀티모달 검색 데이터 (M-BEIR) 순서로 단계별 훈련을 수행하여, 모델이 단일 모달리티에서 복잡한 멀티모달/다중 지시어 작업으로 자연스럽게 적응하도록 했습니다.

2.2. 대조 학습 (InfoNCE) 최적화

• 하이퍼파라미터 상호작용: 배치 크기 (Batch Size) 증가만으로는 성능 향상이 한계에 부딪히며, 학습률 (Learning Rate) 스케일링이 필수적임을 발견했습니다. 또한, 고정된 온도 (Temperature) 파라미터 대신 **학습 가능한 온도 (Learnable Temperature)**를 도입하여 확률 분포의 날카로움을 동적으로 최적화했습니다.
• 하드 네거티브 마이닝 (Hard Negative Mining): 단순히 hardest negative 만을 선택하면 모델이 붕괴될 수 있으므로, 임계값을 초과하는 '거짓 네거티브 (False Negatives)'를 필터링하고, 인-배치 네거티브와 섞어 균형을 맞춘 훈련 전략을 적용했습니다.

2.3. 리랭커 증류 (Reranker Distillation)

• Recall-then-Rerank 파이프라인 통합: 기존에는 검색 (Recall) 모델과 재순위화 (Rerank) 모델을 분리하여 사용했으나, 이를 단일 모델로 증류하여 효율성을 높였습니다.
• 개선된 증류 전략: 전통적인 증류 방식은 계산 비용이 너무 높았습니다. 저자는 '쿼리 - 정답 - 하드 네거티브' 쌍으로 샘플을 구성하고, 리랭커 모델의 점수를 학생 모델에 증류하는 개선된 증류 방법을 제안했습니다. 이는 계산 비용을 획기적으로 줄이면서도 리랭커의 판별력을 임베딩 공간으로 성공적으로 이전시켰습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 설계 공간 탐색: MLLM 기반 범용 검색 모델의 성능에 영향을 미치는 핵심 요소 (임베딩 추출, 점진적 적응, 훈련 레시피 등) 를 체계적으로 분석하고, 기존 연구에서 간과되었던 중요한 인사이트 (예: 양방향 어텐션 + 평균 풀링의 우위, 학습 가능 온도의 효과 등) 를 제시했습니다.
2. U-MARVEL 프레임워크 제안: 위 인사이트를 통합한 단일 프레임워크를 개발하여, 지도 학습 (Supervised) 환경과 제로샷 (Zero-shot) 환경 모두에서 최첨단 성능을 달성했습니다.
3. 효율적인 증류 기법: 리랭커의 성능을 단일 임베딩 모델로 전달하면서도 계산 비용을 대폭 절감하는 실용적인 증류 방법을 제안하여, 대규모 MLLM 기반 검색 시스템의 배포 가능성을 높였습니다.

4. 실험 결과 (Results)

• M-BEIR 벤치마크 (지도 학습): M-BEIR 벤치마크에서 U-MARVEL 은 기존 최첨단 방법론 (LamRA, MM-Embed 등) 보다 단일 모델 (Single Model) 설정에서도 압도적인 성능을 보였습니다. 특히, U-MARVEL+ (리랭커 파이프라인 포함) 는 리랭커를 사용하는 기존 방법론들과 경쟁하거나 이를 능가하는 성능을 기록했습니다.
  • Local Average Recall: 63.2% (기존 SOTA 대비 큰 향상)
  • Global Average Recall: 60.7%
• 제로샷 일반화 (Zero-shot Generalization): M-BEIR 훈련 데이터와 완전히 다른 데이터셋 (Compose Image Retrieval, Text-to-Video Retrieval 등) 에서도 뛰어난 성능을 발휘했습니다.
  • 12 개 제로샷 태스크 중 9 개에서 SOTA 를 기록했습니다.
  • MSVD 와 MSR-VTT 데이터셋에서의 텍스트 - 비디오 검색 성능에서도 기존 모델들을 능가했습니다.
• 효율성: 개선된 증류 방법을 통해 전통적인 증류 방식 대비 약 4.1% 수준의 계산 시간만 소요되면서도, 훈련 중 관찰된 특징의 수는 26 배 증가하여 효율성과 성능을 동시에 달성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 MLLM 을 활용한 범용 멀티모달 검색 분야에서 다음과 같은 중요한 의의를 가집니다:

• 이론적 통찰: 단순히 MLLM 을 검색 모델로 사용하는 것을 넘어, 어떻게 훈련하고 어떻게 임베딩을 생성해야 하는지에 대한 구체적인 설계 원칙을 제시했습니다.
• 실용적 가치: 복잡한 2 단계 (Recall + Rerank) 파이프라인의 성능을 단일 모델로 달성함으로써, 추론 지연을 줄이고 시스템 복잡도를 낮췄습니다. 이는 실제 산업 환경 (RAG, 검색 엔진 등) 에 적용하기 매우 유리합니다.
• 일반화 능력: 다양한 모달리티와 작업에 걸쳐 강력한 일반화 능력을 보여주어, 미래의 범용 멀티모달 AI 시스템 개발에 중요한 기반을 마련했습니다.

결론적으로, U-MARVEL 은 MLLM 기반 임베딩 학습의 최적화 전략을 규명함으로써 범용 멀티모달 검색의 새로운 표준을 제시하고, 효율적이고 강력한 검색 솔루션을 가능하게 합니다.