V-Retrver: Evidence-Driven Agentic Reasoning for Universal Multimodal Retrieval

이 논문은 시각적 증거를 능동적으로 수집하고 검증하는 에이전트 추론 프레임워크인 V-Retrver 를 제안하여, 기존 언어 중심의 접근법의 한계를 극복하고 범용 멀티모달 검색의 정확성을 크게 향상시켰습니다.

핵심

V-Retrver: "눈을 크게 뜨고 찾아보는" 똑똑한 검색 비서

이 논문은 V-Retrver라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 원하는 사진이나 정보를 찾을 때, 단순히 "대충 비슷해 보이는 것"을 고르는 게 아니라, 진짜로 눈으로 확인하며 하나하나 검증하는 방식을 사용합니다.

일상생활에 비유해서 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 기존 방식 vs V-Retrver: "기억력" vs "현장 조사"

1. 기존 방식 (기억력만 좋은 비서)
예를 들어, "흰색 소파에 무늬가 있는 베개가 있고, 아래에 책이 있는 사진"을 찾으라고 했다고 상상해 보세요.
기존 AI 비서는 이미지 전체를 한 번만 쓱 보고 "아, 흰색 소파가 있네? 베개도 있네?"라고 기억에 의존해 답을 내놓습니다.

• 문제점: 만약 "베개 무늬가 줄무늬인지 점무늬인지", "책이 소파 아래에 있는지 옆에 있는지" 같은 작은 디테일이 중요할 때, 기억만으로는 헷갈려서 엉뚱한 답을 내놓거나 "아마 그럴 거야"라고 추측만 할 뿐입니다.

2. V-Retrver 방식 (현장 조사를 하는 탐정)
V-Retrver는 이 비서가 현장 조사를 하듯 행동합니다.

• 1 단계 (예상): "아, 흰색 소파가 있는 후보들이 있네."
• 2 단계 (확인): "잠깐, 이 후보 1 번의 베개 무늬가 진짜 점무늬일까? 확실히 보기 위해 확대해 볼까?"
  • AI 는 직접 **확대경 (Zoom-in)**을 들이대거나, 비교할 사진들을 따로 떼어내서 (Select) 자세히 봅니다.
• 3 단계 (결정): "아, 후보 1 번은 베개 무늬가 줄무늬였네. 틀렸어. 후보 4 번이 점무늬 베개에 책도 아래에 있네. 이게 정답이야!"

즉, **눈으로 직접 확인 (Evidence)**을 하지 않고는 결론을 내리지 않는, 매우 꼼꼼한 검색 비서입니다.

---

🛠️ V-Retrver가 사용하는 '특별한 도구들'

이 비서는 두 가지 마법 같은 도구를 가지고 있습니다.

1. 선택기 (Select Images): "이 두 사진이 너무 비슷해서 헷갈리네. 이 두 개만 따로 떼어내서 비교해 볼게요."
2. 확대경 (Crop Image): "여기 베개 무늬가 잘 안 보이네. 이 부분만 확대해서 자세히 볼게요."

이 도구들을 쓰면서 생각 (추론) → 확인 (도구 사용) → 다시 생각을 반복합니다. 마치 우리가 옷가게에서 옷을 고를 때, "저기 저 옷이랑 비슷해 보이는데, 재질은 어떨까?" 하며 가까이 가서 만져보고 결정하는 것과 똑같습니다.

---

🎓 어떻게 가르쳤을까요? (3 단계 교육 과정)

이 똑똑한 비서를 만들기 위해 세 단계로 훈련시켰습니다.

1. 1 단계: 기본 교육 (SFT)
   • "도구를 쓰는 법"과 "생각하는 순서"를 가르쳤습니다. (예: "먼저 대략 보고, 의심되면 확대해 봐.")
2. 2 단계: 실수 교정 (Rejection Fine-tuning)
   • 엉뚱하게 도구를 쓰거나, 형식을 잘못 지키는 실수를 골라내서 다시 가르쳤습니다. "도구를 쓸 때는 꼭 이유가 있어야 해!"
3. 3 단계: 보상 훈련 (RL)
   • 가장 중요한 단계입니다.
   • "정답을 맞췄는데 불필요하게 도구를 너무 많이 썼다?" → 감점!
   • "정답을 맞췄고, 꼭 필요한 부분만 확인했다?" → 만점!
   • 이렇게 정확하면서도 효율적인 검색을 하도록 보상 시스템을 통해 훈련시켰습니다.

---

🏆 왜 이 기술이 중요한가요?

기존 기술들은 "대충 비슷하면 OK"였지만, V-Retrver는 **"작은 디테일까지 정확히 맞아야 OK"**입니다.

• 의류 쇼핑: "파란색 셔츠인데 단추가 5 개 이상 있는 거"를 찾을 때, 단추 개수를 세어보지 않고는 못 찾습니다. V-Retrver는 직접 단추를 세어봅니다.
• 부동산 검색: "창문이 남향인 아파트"를 찾을 때, 창문 방향을 확인하지 않고는 못 찾습니다. V-Retrver는 창문을 확대해서 확인합니다.

결론적으로, V-Retrver는 단순히 이미지를 보는 것을 넘어, 질문한 내용을 증명할 수 있는 '증거 (Evidence)'를 직접 찾아내는 새로운 차원의 검색 기술입니다. 덕분에 우리가 원하는 것을 훨씬 더 정확하게 찾아낼 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 텍스트 - 이미지, 이미지 - 텍스트 등 다양한 범용 멀티모달 검색 (Universal Multimodal Retrieval) 작업에 적용되고 있으며, 사고의 사슬 (Chain-of-Thought, CoT) 을 도입하여 후보 재순위화 (reranking) 성능을 향상시키고 있습니다. 그러나 기존 접근법에는 다음과 같은 근본적인 한계가 존재합니다.

• 언어 중심의 추론: 대부분의 기존 MLLM 기반 검색 시스템은 시각적 입력을 고정된 임베딩이나 텍스트 설명으로 압축하여 처리합니다. 이로 인해 추론 과정이 언어에만 의존하게 됩니다.
• 세부 시각적 증거 검증 부재: 객체의 외관, 스타일, 국소적 맥락 등 미세한 시각적 속성 (fine-grained visual attributes) 이 중요한 경우, 압축된 표현만으로는 모호성을 해결하기 어렵습니다.
• 추측성 추론 (Speculative Reasoning): 필요한 시각적 증거가 시각적 모달리티에 있을 때, 모델은 종종 할루시네이션 (hallucination) 이나 추측성 추론을 통해 잘못된 결론을 내리게 됩니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 V-Retrver를 제안합니다. 이는 멀티모달 검색을 시각적 검사 (visual inspection) 에 기반한 에이전트 추론 (agentic reasoning) 과정으로 재정의하는 프레임워크입니다.

핵심 구성 요소

1. 멀티모달 인터리브드 증거 추론 (Multimodal Interleaved Evidence Reasoning, MIER):

   • 기존의 텍스트 기반 CoT 와 달리, 모델은 추론 과정에서 외부 시각 도구 (Visual Tools) 를 호출하여 필요한 시각적 증거를 능동적으로 획득합니다.
   • 가설 생성과 타겟팅된 시각적 검증을 번갈아 수행하는 인터리브드 (interleaved) 과정을 통해 모호성을 동적으로 해결하고 순위 결정을 점진적으로 정제합니다.

2. 시각 도구 (Visual Tools):

   • select_images: 의미적으로 유사한 여러 후보 이미지 중 세부 분석이 필요한 소집합을 선택합니다.
   • crop_image (Zoom-in): 이미지의 특정 영역을 확대하여 객체, 질감, 공간 구성 등 미세한 시각적 속성을 분석합니다.
   • 이는 인간이 모호한 후보를 해결하기 위해 "다시 자세히 본다"는 행동을 모방한 것입니다.

3. 커리큘럼 기반 에이전트 학습 전략 (Curriculum-Based Agentic Learning):

   • Stage 1: Cold-start Supervised Fine-Tuning (SFT): 합성된 고품질 CoT 데이터를 통해 모델에게 기본 추론 능력과 도구 사용 형식을 학습시킵니다.
   • Stage 2: Rejection Sampling Fine-Tuning (RSFT): 여러 추론 궤적을 샘플링하여 형식 준수와 정답 유무를 기준으로 고품질 궤적만 선별하여 재학습시킵니다. 이는 추론의 신뢰성을 높입니다.
   • Stage 3: Evidence-Aligned Policy Optimization (EAPO): 강화학습 (GRPO 기반) 을 적용합니다.
     • 복합 보상 함수: 형식 준수 (r_format), 순위 정확도 (r_rank), 그리고 정보성 있는 시각적 검증과 불필요한 도구 사용 억제를 유도하는 도구 사용 보상 (r_tool) 을 포함합니다.
     • 이를 통해 모델은 "무엇을" 순위 매길 뿐만 아니라 "언제" 그리고 "어떻게" 시각적 증거를 수집해야 효율적인 검색이 가능한지 학습합니다.

3. 주요 기여 (Key Contributions)

1. V-Retrver 프레임워크 제안: MLLM 이 멀티모달 추론 중에 시각적 증거를 능동적으로 수집할 수 있도록 하는 증거 기반 에이전트 검색 프레임워크를 처음 제안했습니다.
2. 새로운 학습 전략: 증거 정렬 강화학습 목표 (Evidence-Aligned RL Objective) 를 포함한 커리큘럼 학습 전략을 도입하여 추론 품질, 순위 정확도, 그리고 효율적인 도구 사용을 동시에 개선했습니다.
3. 광범위한 실험 검증: 다양한 멀티모달 검색 벤치마크에서 기존 최첨단 방법론들을 일관되게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• M-BEIR 벤치마크: 범용 멀티모달 검색 벤치마크인 M-BEIR 에서 평균 Recall@K 가 23.0% 향상되었으며, 평균 Recall 은 **69.7%**를 기록하여 기존 최강 베이스라인 (U-MARVEL-7B, 64.8%) 보다 4.9%p 높은 성능을 보였습니다. 특히 미세한 시각적 세부 사항이 중요한 작업 (예: FashionIQ, CIRR) 에서 두드러진 향상을 보였습니다.
• Zero-shot 일반화: 훈련 데이터에 포함되지 않은 새로운 데이터셋 (CIRCO, GeneCIS 등) 과 훈련 중 배제된 태스크 (Held-out tasks) 에서도 뛰어난 일반화 능력을 보여주었습니다.
• Ablation Study:
  • 시각 도구 사용이 없는 텍스트-only CoT 보다 V-Retrver 가 평균 5.4%p 더 높은 성능을 보였습니다.
  • 3 단계 학습 파이프라인 (SFT → RSFT → EAPO) 의 각 단계가 성능 향상에 필수적임을 입증했습니다.
• RAG 적용: 지식 기반 시각적 질문 답변 (KVQA) 작업에서도 검색 정밀도와 VQA 정확도 모두에서 기존 방법보다 우수한 결과를 달성했습니다.

5. 의의 (Significance)

V-Retrver 는 멀티모달 검색 분야에서 수동적인 임베딩 매칭에서 능동적인 에이전트 추론으로의 패러다임 전환을 제시합니다.

• 신뢰성 향상: 시각적 할루시네이션을 줄이고, 실제 시각적 증거에 기반한 신뢰할 수 있는 추론을 가능하게 합니다.
• 효율성: 불필요한 도구 사용을 억제하고 필요한 경우에만 정밀한 검사를 수행함으로써 계산 효율성을 높입니다.
• 미래 지향성: 이 연구는 범용 에이전트 MLLM 을 구축하는 중요한 발걸음이며, 검색뿐만 아니라 추천, 생성 등 다양한 다운스트림 태스크에 에이전트 기반 추론을 적용하는 기반을 마련했습니다.

요약하자면, V-Retrver 는 "보고, 생각하고, 다시 확인하는" 인간의 검색 행동을 모델링하여, 복잡한 멀티모달 환경에서 더 정확하고 신뢰할 수 있는 검색을 가능하게 하는 혁신적인 접근법입니다.