Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models

이 논문은 기존 벤치마크의 한계를 극복하고 현실적인 조건을 반영한 '비전-딥리서치 벤치마크 (VDR-Bench)'를 구축하고, 이를 통해 현재 멀티모달 모델의 시각적 검색 능력을 향상시키기 위한 다중 라운드 크롭 검색 워크플로우를 제안합니다.

핵심

이 논문은 **"AI 가 눈과 귀를 모두 열어놓고, 진짜 세상의 정보를 찾아내는 능력을 어떻게 제대로 시험할 것인가?"**에 대한 이야기입니다.

기존의 AI 평가 방식이 얼마나 엉뚱했는지 지적하고, 더 현실적인 새로운 시험지 (VDR-Bench) 와 그걸 잘 풀 수 있는 새로운 전략을 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "왜 기존 시험지는 AI 를 속였을까?"

지금까지 AI 의 '시각 검색 능력'을 시험할 때, 두 가지 큰 함정이 있었습니다.

함정 1: "눈을 감고도 풀리는 문제" (텍스트 단서 유출)

• 비유: 시험지가 "이 사진 속의 축구 경기장은 어디일까요?"라고 물었는데, 보기 중에 "독일의 홈구장"이라는 힌트가 숨어있거나, AI 가 이미 "보루시아 도르트문트"라는 팀을 알고 있어서 사진을 보지 않아도 정답을 맞히는 경우입니다.
• 현실: AI 가 사진을 보고 직접 찾아보지 않아도, 질문의 문장이나 AI 가 이미 알고 있는 상식만으로도 정답을 맞출 수 있었습니다. 그래서 "AI 가 정말로 사진을 잘 보는지"를 알 수 없었습니다.

함정 2: "완벽한 단서만 주는 상황" (너무 이상적인 검색)

• 비유: "이 사진 속의 건물을 찾아보세요"라고 했을 때, 검색 엔진이 정확히 똑같은 사진을 바로 찾아주는 경우입니다. 마치 도서관에서 책 제목을 외우고 바로 책장 끝에서 책을 꺼내는 것과 같습니다.
• 현실: 실제 세상에서는 사진이 흐리거나, 배경에 다른 사물이 섞여 있거나, 정확한 이름이 모호합니다. 하지만 기존 시험지는 AI 가 "완벽한 단서"만 주어지는 상황만 경험하게 해서, 실제 복잡한 상황을 헤쳐나가는 능력을 제대로 평가하지 못했습니다.

---

2. 해결책: "새로운 시험지 VDR-Bench"

저자들은 **"진짜 AI 는 어떻게 행동해야 할까?"**를 기준으로 2,000 개의 새로운 문제를 만들었습니다.

• 시각 중심의 문제: "이건 텍스트로만 풀 수 없어! 반드시 사진을 잘게 잘라보고, 그 부분을 검색해서 답을 찾아야 해!"라는 문제들입니다.
• 현실적인 난이도: 사진 전체를 한 번에 검색하는 게 아니라, 관심 있는 부분 (예: 로고, 건물 모서리) 을 잘라내서 (Crop) 여러 번 검색해야 답이 나오는 복잡한 미로 같은 문제들입니다.

핵심 비유:

기존 시험지는 **"전체 지도를 줘서 목적지를 찾게 하는 것"**이었다면,
새로운 시험지 (VDR-Bench) 는 **"지도의 일부만 줘서, 주변을 둘러보며 여러 번 길을 물어봐야 목적지를 찾을 수 있게 하는 것"**입니다.

---

3. 새로운 전략: "조금씩 잘라내서 찾아보기 (Multi-round Cropped-Search)"

AI 가 이 새로운 시험지를 잘 풀기 위해 저자들은 아주 간단한 전략을 제안했습니다.

• 전략: "한 번에 다 보지 마! 사진의 중요한 부분만 자르고 (Crop), 그 부분을 검색해. 답이 안 나오면 다른 부분을 잘라서 다시 검색해."
• 비유:

  어두운 방에서 물건을 찾을 때, 손전등을 켜고 전체를 한 번 훑어보는 것 (기존 방식) 은 소용없습니다.
  대신, 손전등을 특정 물건에 비추고, 그 주변을 자세히 살피고, 또 다른 곳으로 비추며 하나씩 찾아나가는 방식이 훨씬 효과적입니다.
  이 논문은 AI 에게 "손전등을 여러 번 비추며 (다중 라운드 검색)" 정보를 모으라고 가르쳤습니다.

---

4. 결론: 무엇을 배웠을까?

1. 기존 평가는 속임수였다: 많은 AI 가 "눈을 감고도" (텍스트나 기억력만으로) 문제를 풀고 있었습니다.
2. 새로운 기준이 필요하다: AI 가 실제로 사진을 보고, 잘게 잘라 검색하고, 여러 단서를 연결해 답을 찾아내는 능력을 평가해야 합니다.
3. 단순한 전략이 효과적이다: AI 가 무조건 똑똑해져야 하는 게 아니라, "사진의 중요한 부분을 잘라내서 여러 번 검색하는" 간단한 습관만 들여도 성능이 크게 좋아집니다.

한 줄 요약:

"AI 에게는 **사진을 통째로 보는 게 아니라, 중요한 부분을 잘라내며 여러 번 찾아보는 '탐정 습관'**을 가르쳐야 진짜 실력을 알 수 있다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 시각적 질문 답변 (VQA) 과 웹 검색을 결합한 '시각 - 딥 리서치 (Vision-DeepResearch)' 시스템으로 발전하고 있습니다. 그러나 기존 벤치마크는 이러한 시스템의 실제 능력을 평가하는 데 두 가지 근본적인 한계가 있었습니다.

• 시각 검색 중심성 부재 (Not Visual Search-Centric): 많은 기존 벤치마크 질문이 실제 이미지 검증을 필요로 하지 않습니다.
  • 텍스트 단서 누출 (Textual Cue Leakage): 질문 내의 텍스트적 단서들을 교차 참조하거나 교집합을 구하는 방식으로 정답을 유추할 수 있어, 실제 이미지 검색이 불필요한 경우가 많습니다.
  • 선지식 의존 (Prior Knowledge): 모델이 가진 세계 지식 (World Knowledge) 만으로 정답을 맞출 수 있어, 시각적 정보 수집 능력을 평가하지 못합니다.
• 비현실적인 이상화된 평가 시나리오 (Overly Idealized Scenarios):
  • 완벽한 전체 이미지 검색 (Perfect Whole-Image Retrieval): 원본 이미지를 그대로 검색하면 메타데이터나 제목이 포함된 거의 동일한 이미지 (Near-duplicate) 가 바로 반환되어, 실제 복잡한 시각 검색 환경 (노이즈, 모호성, 반복적 탐색) 을 반영하지 못합니다.
  • 단순한 텍스트 검색: 텍스트 기반 다단계 추론 (Multi-hop reasoning) 이 너무 단순하여 현대 MLLM 의 능력을 충분히 테스트하지 못합니다.

2. 제안된 방법론 및 벤치마크 (Methodology & VDR-Bench)

이러한 한계를 극복하기 위해 저자들은 VDR-Bench (Vision-DeepResearch Benchmark) 를 구축하고, 현실적인 시각 검색을 위한 새로운 워크플로우를 제안했습니다.

A. VDR-Bench 구축 프로세스 (2,000 개의 VQA 인스턴스)

VDR-Bench 는 엄격한 다단계 파이프라인을 통해 구축되었으며, 모든 질문은 시각적 증거 (Visual Evidence) 를 필수적으로 요구하도록 설계되었습니다.

1. 다중 도메인 이미지 선별: 다양한 도메인의 고해상도 이미지를 수집하고 필터링합니다.
2. 수동 크롭 및 시각 검색 (Manual Cropping & Search): annotator 가 원본 이미지에서 중요한 지역 (사물, 로고, 랜드마크 등) 을 수동으로 크롭하여 웹 검색을 수행합니다. 이는 전체 이미지 검색이 아닌, 엔티티 수준의 검색을 강제합니다.
3. 시각 엔티티 추출 및 검증: 검색 결과에서 엔티티 이름을 추출하고, MLLM 과 인간 검증을 통해 해당 엔티티가 전체 이미지 검색으로 쉽게 얻을 수 없는지 확인합니다.
4. 지식 그래프 기반 복잡도 확장 (Knowledge-Graph Expansion): 단순한 엔티티 인식을 넘어, 지식 그래프를 통해 관련 텍스트 엔티티 (예: 설립자, 연도, 소속 기관) 를 연결하여 다단계 추론 (Multi-hop reasoning) 질문을 생성합니다.
5. 해결 가능성 및 품질 검증: 자동화된 솔버와 인간 검증을 통해 텍스트 단서나 선지식만으로 해결되지 않고, 명확한 시각적 증거와 검색 경로가 필요한지 최종 확인합니다.

B. 제안된 워크플로우: Multi-round Cropped-Search

현재 MLLM 의 부족한 시각 검색 능력을 보완하기 위해 멀티라운드 크롭 검색 (Multi-round Cropped-Search) 워크플로우를 제안했습니다.

• 전략: 전체 이미지를 한 번에 검색하는 대신, 관심 영역 (ROI) 을 반복적으로 크롭하여 검색 쿼리를 정제합니다.
• 목적: 배경 노이즈를 줄이고, 엔티티 위치를 정확히 파악하며, 크로스-모달 증거를 반복적으로 검증하여 현실적인 검색 환경에 적응합니다.

3. 주요 기여 (Key Contributions)

1. 기존 벤치마크의 한계 규명: 기존 벤치마크가 텍스트 단서 누출과 이상화된 검색 환경으로 인해 실제 시각 검색 능력을 과대평가하고 있음을 정량적으로 증명했습니다.
2. VDR-Bench 도입: 2,000 개의 인스턴스로 구성된 새로운 벤치마크를 공개했습니다. 이는 인간 검증, 지식 그래프 기반 다단계 추론, 그리고 시각적 필요성 (Visual Necessity) 을 강제하는 엄격한 프로세스를 따릅니다.
3. 실용적 가이드라인 제시: 단순한 모델 성능 향상이 아닌, 반복적인 시각 검색 (Iterative Visual Search) 과 크로스-모달 증거 집계가 핵심임을 입증했습니다. 특히 멀티라운드 크롭 검색 전략이 현실적인 시각 검색 성능을 크게 향상시킨다는 것을 실험을 통해 보였습니다.

4. 실험 결과 (Results)

저자들은 Gemini 2.5 Pro, GPT-5, Qwen3-VL 등 최신 모델들을 VDR-Bench 에서 평가했습니다.

• Direct Answer (검색 없이): 모든 모델이 낮은 점수를 기록하여, VDR-Bench 가 외부 검색 없이는 해결 불가능한 난이도를 가짐을 확인했습니다.
• Lazy Search 현상: 강력한 사전 지식을 가진 폐쇄형 모델 (Closed-source) 은 검색 도구를 기피하거나 텍스트 추론에 의존하는 '게으른 검색 (Lazy Search)' 경향을 보였습니다. 반면, 오픈소스 모델은 검색 도구를 적극 활용하여 더 나은 성능을 보였습니다.
• MVF (Multi-turn Visual Forcing) 의 효과:
  • **CIS+TS (크롭 이미지 검색 + 텍스트 검색)**만 사용하는 것보다, MVF(멀티턴 시각 강제) 전략을 적용했을 때 모든 모델의 성능이 크게 향상되었습니다.
  • 예: Gemini 2.5 Pro 는 16.2% (CIS+TS) 에서 30.0% (CIS+TS+MVF) 로 점수가 급증했습니다.
  • 이는 모델이 반복적인 크롭 검색을 통해 시각적 증거를 수집하고 이를 기반으로 추론할 때, 사전 지식이 효과적으로 활용됨을 시사합니다.
• 엔티티 회수율 (Entity Recall) 과 정확도의 상관관계: 정답을 맞추기 위해서는 반드시 작업 관련 엔티티를 성공적으로 검색 (Recall) 해야 함이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가 기준 마련: VDR-Bench 는 기존 벤치마크가 간과했던 '노이즈', '모호성', '반복적 탐색'을 포함한 현실적인 멀티모달 딥 리서치 시스템의 평가 기준을 제시합니다.
• 시스템 설계 방향성: 향후 멀티모달 에이전트 개발 시, 단순히 모델의 크기를 키우는 것보다 **효율적인 검색 도구 활용 (Search Tool Usage)**과 반복적인 시각적 정제 (Iterative Visual Refinement) 전략을 도입하는 것이 더 중요함을 강조합니다.
• 오픈소스 기여: 코드와 데이터셋을 공개하여 (GitHub), 연구 커뮤니티가 더 견고한 멀티모달 딥 리서치 시스템을 구축할 수 있는 기반을 마련했습니다.

이 논문은 시각 - 텍스트 딥 리서치 시스템이 단순한 정보 검색을 넘어, 복잡한 현실 세계의 시각적 단서를 체계적으로 탐색하고 추론할 수 있는 능력을 갖추기 위해 필요한 방향성을 제시한다는 점에서 중요한 의의를 가집니다.