MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

이 논문은 검색 집중형 멀티모달 QA 데이터 부족, 효과적인 검색 궤적 부재, 온라인 API 비용 문제라는 세 가지 과제를 해결하기 위해 하이퍼그래프 기반 데이터 생성, 도구별 전문가 최적화 및 트리 탐색을 통한 궤적 재구성, 오프라인 검색 엔진 구축이라는 세 가지 전략을 통해 강력한 멀티모달 심층 연구 에이전트 'MM-DeepResearch'를 제안합니다.

핵심

MM-DeepResearch: 그림과 글을 함께 찾아주는 '탐구형 AI'의 비밀

이 논문은 **"MM-DeepResearch"**라는 새로운 인공지능(AI)에 대해 소개합니다. 이 AI는 단순히 질문에 답하는 것을 넘어, 마치 현실 세계의 탐정처럼 스스로 정보를 찾고, 여러 도구를 쓰며, 그림과 글을 연결해서 복잡한 문제를 해결합니다.

이 기술이 왜 중요하고, 어떻게 만들어졌는지 쉬운 비유로 설명해 드리겠습니다.

---

1. 왜 이런 AI가 필요할까요? (기존의 문제점)

기존의 AI는 마치 **"책상 위에 쌓인 두꺼운 사전만 가진 학생"**과 같습니다.

• 한계: 사전에 없는 최신 뉴스나, 인터넷에 떠도는 복잡한 정보를 모르면 답을 못 합니다.
• 문제: 만약 이 학생이 답을 찾으러 도서관 (인터넷) 에 간다면, 보통은 "검색창에 한 번 입력하고 나온 첫 번째 글만 읽는" 방식입니다. 하지만 진짜 어려운 문제는 여러 번 검색하고, 그림을 보고, 글을 읽고, 다시 검색하는 복잡한 과정이 필요합니다.

또한, 이런 AI를 가르치기 위해선 엄청난 비용이 듭니다. 매번 인터넷 검색을 시키려면 돈이 많이 들고, 가르칠 만한 '좋은 예제'도 부족했습니다.

2. MM-DeepResearch 의 3 가지 핵심 비법

이 논문은 이 세 가지 문제를 해결하기 위해 세 가지 마법 같은 도구를 개발했습니다.

① '초연결 지도' (Hyper-Search): 질문을 만드는 공장

• 비유: imagine (상상해 보세요) 우리가 거미줄처럼 연결된 지도를 만든다고 칩시다.
  • 한 장의 '사진'을 찍으면, 그 사진과 관련된 '웹페이지', '다른 사진', '관련 뉴스'가 자동으로 연결됩니다.
  • 이 거미줄 (하이퍼그래프) 을 이용하면, **"이 사진 속 건물의 건축가는 누구이며, 그가 만든 다른 작품은 무엇인가?"**처럼, 그림만 보고는 답할 수 없고 여러 정보를 찾아봐야 하는 진짜 어려운 질문들을 자동으로 만들어냅니다.
• 효과: AI 가 훈련할 수 있는 '고난도 문제'가 갑자기 폭증했습니다.

② '전문가 팀' (DR-TTS): 각자 달인인 팀원들

• 비유: 복잡한 미로를 헤쳐 나가는 데, 한 사람이 모든 것을 다 하려고 하면 실수하기 쉽습니다. 대신 전문가 팀을 꾸려봅시다.
  • 팀원 A: 그림으로 그림을 찾는 데 특화된 '이미지 검색 전문가'.
  • 팀원 B: 글로 글을 찾는 데 특화된 '텍스트 검색 전문가'.
  • 팀원 C: 어려운 지식을 물어보는 '지식 전문가'.
• 작동 방식: 먼저 각 전문가가 자기 일만 완벽하게 하도록 훈련시킵니다. 그다음, 이 전문가들을 한 팀으로 묶어 나무 가지처럼 여러 갈래로 나누어(트리 서치) 가장 좋은 답을 찾아내는 경로를 함께 설계합니다.
• 효과: AI 가 어떤 도구를 쓸지 헷갈리지 않고, 정확한 순서로 정보를 찾아낼 수 있게 됩니다.

③ '가상 도서관' (오프라인 검색 엔진): 돈 안 들게 연습하기

• 비유: 실전 (인터넷) 에서 연습하면 비용이 너무 많이 듭니다. 그래서 **실제 도서관 자료로 만든 '가상 도서관'**을 지었습니다.
  • 이 도서관에는 미리 준비해 둔 웹페이지와 이미지들이 저장되어 있습니다.
  • AI 는 이 가상 도서관에서 검색 연습을 하며, 실전 (인터넷) 을 나가기 전에 수천 번의 실수를 해보며 배웁니다.
• 효과: 인터넷 검색 API 비용 (수천 달러) 을 아끼면서도, AI 가 검색하는 법을 완벽하게 익히게 됩니다.

3. 이 AI 는 어떻게 작동할까요? (실전 사례)

이제 이 AI 가 실제 문제를 풀 때 어떤지 보겠습니다.

• 상황: 사용자가 "이 사진 속 건물의 건축가는 누구야?"라고 물으며 사진을 보여줍니다.
• 1 단계 (생각): AI 는 "이건 성 같은데, 이름이 뭘까?"라고 생각합니다.
• 2 단계 (도구 사용 - 이미지 검색): AI 는 "이미지 검색 도구"를 켜고, 사진과 비슷한 다른 사진들을 찾아 건물의 이름을 알아냅니다. ("저건 '즈바라시 성'이구나!")
• 3 단계 (생각 & 도구 사용 - 텍스트 검색): "즈바라시 성의 건축가는 누구지?"라고 생각하며, 이제 "텍스트 검색 도구"를 켭니다.
• 4 단계 (종합): 여러 문서에서 "건축가는 빈첸초 스카모치"라는 정보를 찾아냅니다.
• 5 단계 (답변): "건축가는 빈첸초 스카모치입니다"라고 정확한 답을 내놓습니다.

4. 결론: 왜 이것이 중요한가요?

이 연구는 **"AI 가 스스로 생각하고, 도구를 쓰며, 그림과 글을 연결해서 복잡한 문제를 해결하는 능력"**을 크게 향상시켰습니다.

• 비용 절감: 비싼 인터넷 검색 없이도 훌륭한 AI 를 만들 수 있게 되었습니다.
• 성능 향상: 기존 AI 들보다 훨씬 정확한 답을 내고, 더 복잡한 문제를 해결합니다.
• 미래: 앞으로 이 기술은 의료 진단, 법률 조사, 복잡한 여행 계획 등 사람이 직접 찾아봐야 하는 모든 분야에서 AI 가 진짜 '비서'나 '연구원'처럼 일할 수 있는 기반을 마련해 줍니다.

요약하자면, MM-DeepResearch 는 돈도 아끼고, 실력도 키워주는 '스마트한 탐정 AI'를 만드는 새로운 표준이 된 것입니다.

기술 요약

MM-DeepResearch: 다중 모달 에이전트 검색을 위한 간단하고 효과적인 베이스라인 기술 요약

본 논문은 MM-DeepResearch라는 새로운 다중 모달 심층 연구 에이전트 (Multimodal Deep Research Agent) 를 제안합니다. 이 에이전트는 명시적인 추론과 계획 수립, 다중 도구 호출, 그리고 교차 모달 정보 통합을 통해 복잡한 심층 연구 작업을 수행할 수 있도록 설계되었습니다. 기존 모델들이 가진 한계를 극복하고, 고품질의 검색 데이터와 효율적인 학습 방식을 통해 강력한 성능을 달성하는 방법을 제시합니다.

1. 문제 정의 (Problem)

기존의 다중 모달 대형 언어 모델 (MLLM) 은 고정된 지식과 제한된 파라미터 용량으로 인해, 내재된 지식 범위를 벗어나는 정보 집약적 (information-intensive) 이나 오픈 월드 (open-world) 태스크를 처리하는 데 한계가 있었습니다. 이를 해결하기 위해 검색 (Search) 을 도입하려는 시도들이 있었으나, 다음과 같은 세 가지 근본적인 도전 과제에 직면해 있었습니다:

1. 검색 집약적 다중 모달 QA 데이터의 부족: 여러 턴에 걸친 검색과 다양한 도구 호출이 필요한 고품질의 다중 모달 질문 - 답변 (QA) 쌍 데이터가 매우 부족하여, 에이전트 검색 능력을 효과적으로 학습시키기 위한 감독 신호가 미흡했습니다.
2. 효과적인 검색 궤적 (Search Trajectories) 의 부재: 기존 프롬프트 기반의 검색 궤적 생성 방식은 주로 단일 턴 검색에 맞춰 설계되어 있어, 반복적인 추론 과정에서 다양한 검색 도구와 상호작용해야 하는 다중 턴 시나리오에는 적합하지 않았습니다.
3. 온라인 검색 API 를 통한 학습의 막대한 비용: 대부분의 기존 방법론이 학습 중에 SerpAPI 나 Jina 같은 유료 온라인 검색 API 를 의존하고 있어, 한 번의 학습 실행당 수천 달러의 비용이 발생하며 체계적인 실험과 탐색을 제한했습니다.

2. 방법론 (Methodology)

이러한 문제들을 해결하기 위해 저자들은 세 가지 핵심 기술 (Hyper-Search, DR-TTS, 오프라인 검색 엔진) 을 결합한 MM-DeepResearch 를 개발했습니다.

2.1. Hyper-Search: 하이퍼그래프 기반 QA 데이터 생성

검색 집약적인 QA 데이터를 생성하기 위해 하이퍼그래프 (Hypergraph) 구조를 도입했습니다.

• 구조: 웹 이미지와 텍스트 콘텐츠를 노드 (Node) 로, 그리고 이들 간의 복잡한 관계를 하이퍼엣지 (Hyperedge) 로 모델링합니다.
• 확장 전략: 이미지 노드는 '이미지 역검색 (Reverse Search)'과 '시각적 유사 이미지 검색'을 통해 텍스트 및 이미지 노드로 확장되고, 텍스트 노드는 관련 URL 및 이미지 링크를 추출하여 확장됩니다.
• QA 생성: 단일 하이퍼엣지 내 (Intra-hyperedge) 또는 여러 하이퍼엣지를 가로지르는 (Inter-hyperedge) 정보를 기반으로 질문을 생성합니다. 이는 모델이 여러 턴에 걸쳐 다양한 도구 (이미지 검색, 텍스트 검색 등) 를 호출해야만 답을 찾을 수 있는 데이터를 보장합니다.
• 필터링: 생성된 데이터는 MLLM 을 통해 저품질, 중복, 또는 검색이 불필요한 데이터를 제거하여 Hyper-Search-3K라는 고품질 데이터셋을 구축했습니다.

2.2. DR-TTS (Decompose-Recompose Tool Tree Search): 검색 궤적 합성

효율적인 검색 궤적을 찾기 위해 분해 - 재구성 도구 트리 검색 방식을 제안합니다.

• 분해 (Decompose): 검색 관련 작업을 도구 유형 (텍스트 - 텍스트, 이미지 - 텍스트 등) 에 따라 분류하고, 각 도구 하나씩을 전문적으로 다루는 전용 도구 전문가 (Specialized Tool Experts) 를 강화학습 (RL) 을 통해 개별적으로 훈련시킵니다. 이는 학습 복잡도를 낮추고 각 도구의 숙련도를 높입니다.
• 재구성 (Recompose): 훈련된 전문가들을 트리 검색 (Tree Search) 을 통해 재결합하여, 다양한 도구 조합으로 유효한 검색 궤적을 탐색합니다.
• 결과: 잘못된 답변을 생성하는 경로는 가지치기 (Pruning) 되고, 성공적인 궤적만 DR-TTS-10K라는 지도 학습 (SFT) 데이터로 추출됩니다.

2.3. 오프라인 검색 엔진 (Offline Search Engine)

온라인 API 비용 문제를 해결하기 위해 오프라인 검색 엔진을 구축했습니다.

• 구축: 사전에 수집된 대규모 다중 모달 코퍼스 (웹 페이지 텍스트, 위키피디아, 관련 이미지 등) 를 인덱싱하여 검색 가능한 상태로 만듭니다.
• 기능: 정보 기반 검색 (실제 웹 데이터 검색) 과 지식 기반 검색 (전문가 모델을 통한 지식 생성) 을 모두 지원합니다.
• 효과: 훈련 중 외부 API 호출 없이도 에이전트 강화학습 (RL) 을 수행할 수 있게 하여 비용을 획기적으로 절감하고 학습 속도를 높였습니다.

2.4. 학습 파이프라인

1. SFT (지도 미세조정): DR-TTS 로 생성된 고품질 검색 궤적 데이터를 사용하여 모델이 도구 호출 패턴과 교차 모달 정보 통합 능력을 학습하도록 합니다.
2. RL (강화학습): 오프라인 검색 엔진을 환경으로 사용하여 GRPO (Group Relative Policy Optimization) 알고리즘으로 모델을 최적화합니다. 정확도 (Accuracy) 와 포맷 준수 (Format) 를 기반으로 보상을 계산합니다.

3. 주요 기여 (Key Contributions)

1. Hyper-Search: 검색 집약적 QA 데이터 생성에 하이퍼그래프 개념을 최초로 도입하여, 다중 모달 및 다중 소스 의존성을 구조적으로 표현하고 고품질 데이터를 생성했습니다.
2. DR-TTS: 검색 도구를 분해하여 전문성을 높이고, 트리 검색을 통해 재구성함으로써 도구의 편향을 줄이고 탐색의 다양성과 성공률을 극대화하는 궤적 합성 방법을 제안했습니다.
3. 비용 효율적인 오프라인 검색 엔진: 고비용의 온라인 API 없이도 대규모 강화학습이 가능한 오프라인 검색 환경을 구축하여, 심층 연구 에이전트 개발의 진입 장벽을 낮췄습니다.
4. 성능 입증: 제안된 방법론과 MM-DeepResearch 모델이 다양한 벤치마크에서 기존 SOTA 모델들을 압도하는 성능을 보임을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

저자들은 SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL 등 6 가지 정보 집약적 벤치마크에서 MM-DeepResearch 를 평가했습니다.

• 베이스라인 모델 대비 성능 향상:
  • Qwen3-VL-8B를 베이스로 한 MM-DeepResearch-8B 는 평균 17% 의 성능 향상을 보였으며, 기존 심층 연구 에이전트인 SenseNova-MARS-8B보다 평균 3.4 포인트 높은 점수를 기록했습니다.
  • Qwen3-VL-32B 기반 모델 (MM-DeepResearch-32B) 은 베이스 모델 대비 14.9% 의 성능 향상을 보였습니다.
• 비 에이전트 모델 대비: 도구 호출 능력이 없는 Qwen2.5-VL-7B를 기반으로 학습시킨 MM-DeepResearch-7B 는 기존 에이전트 모델들 (Visual-ARFT, MMSearch-R1-7B 등) 을 평균 23% 이상 능가하며, 에이전트 검색 능력을 처음부터 학습시킬 수 있음을 입증했습니다.
• Ablation Study:
  • Hyper-Search 데이터를 사용한 RL 학습은 검색 깊이 (평균 도구 호출 횟수) 와 정확도를 모두 향상시켰습니다.
  • DR-TTS 궤적 데이터 (SFT) 와 Hyper-Search 데이터 (RL) 를 모두 사용할 때 가장 높은 성능 (MMSearch 기준 67.8) 을 달성했습니다.
  • 오프라인 검색 엔진은 온라인 검색과 비교하여 비용은 0 이지만, 성능은 온라인 검색의 95% 이상을 유지하며 매우 효율적인 대안임을 보였습니다.

5. 의의 및 결론 (Significance)

MM-DeepResearch 는 다중 모달 심층 연구 에이전트 개발을 위한 간단하면서도 강력한 베이스라인을 제시합니다.

• 데이터와 학습 방식의 혁신: 데이터 부족과 비용 문제를 해결하기 위해 하이퍼그래프 기반 데이터 생성과 오프라인 검색 엔진을 도입함으로써, 대규모 실험을 통한 체계적인 연구가 가능해졌습니다.
• 실용성: 고비용의 온라인 API 없이도 상용 모델 수준의 성능을 달성할 수 있어, 연구 및 산업 현장에서의 적용 가능성을 높였습니다.
• 미래 방향: 명시적인 추론, 계획 수립, 그리고 다중 도구 활용을 통합한 이 프레임워크는 향후 복잡한 정보 검색 및 분석 작업을 수행하는 에이전트 개발의 중요한 이정표가 될 것입니다.

요약하자면, MM-DeepResearch 는 데이터 생성, 궤적 합성, 비용 효율적인 학습 인프라라는 세 가지 핵심 요소를 통해 다중 모달 에이전트의 심층 연구 능력을 획기적으로 향상시킨 혁신적인 접근법입니다.