Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

이 논문은 복잡한 시각적 노이즈와 다양한 정보 소스가 필요한 현실 세계의 문제를 해결하기 위해, 다중 턴·다중 엔티티·다중 스케일의 검색을 수행하고 강화학습을 통해 심층 연구 능력을 내재화한 새로운 멀티모달 딥러닝 모델 'Vision-DeepResearch'를 제안합니다.

핵심

1. 기존 AI 의 문제: "한 번에 다 찾으려다 망하는 상황"

기존의 Multimodal(멀티모달) AI 는 사진을 보고 질문에 답할 때, "사진 전체를 검색창에 던져넣고 한 번만 검색해서 답을 찾으려" 했습니다.

• 비유: 마치 거대한 도서관에서 책 한 권을 찾으려 할 때, 도서관 전체를 한 번에 훑어보는 것과 같습니다.
• 문제점:
  1. 노이즈 (소음) 문제: 사진에는 찾고 싶은 대상 말고도 배경이나 다른 사물이 많을 수 있습니다. 전체를 검색하면 AI 는 "이게 뭐지?" 하며 헷갈려 하거나, 엉뚱한 정보를 가져옵니다. (예: '레브론 제임스'가 있는 농구 경기 사진을 검색했는데, 배경의 광고판만 검색되어 엉뚱한 결과가 나오는 경우)
  2. 얕은 탐구: AI 는 보통 1~2 번 검색하고 멈춥니다. 하지만 진짜 복잡한 질문 (예: "이 사진 속 사람의 딸이 다니는 학교의 교장은 누구인가?") 은 여러 단계를 거쳐야 답이 나옵니다. 기존 AI 는 여기서 포기해버립니다.

2. 이 연구의 해결책: "탐정처럼 끈질기게 파고드는 AI"

저자들은 이 문제를 해결하기 위해 Vision-DeepResearch를 만들었습니다. 이 AI 는 다음과 같이 행동합니다.

• 비유 1: 사진 자르기 (멀티 스케일 검색)

  • AI 는 사진 전체를 검색하는 대신, 사진 속 관심 있는 부분만 잘라내어 (자르기) 검색합니다.
  • 마치 현미경을 쓰듯, 처음엔 넓은 시야로 보고, 안 보이면 **줌 (Zoom)**을 해서 더 자세히 보고, 또 안 보이면 다른 각도에서 다시 잘라내어 검색합니다.
  • 이렇게 하면 "찾고 싶은 사람"이 배경에 가려져 있더라도, 얼굴 부분만 잘라내면 정확하게 찾아낼 수 있습니다.

• 비유 2: 끈질긴 탐정 (딥러서치)

  • AI 는 "일단 검색해봤는데 답이 없네? 그럼 다른 단어로 다시 검색해볼까?"라고 생각하며 수십 번, 수백 번 검색을 반복합니다.
  • 텍스트 검색도 마찬가지입니다. "레브론 제임스"라고 검색해서 안 되면, "LA 레이커스 2024 시즌"이라고 검색하고, 또 안 되면 "크립토.com 아레나"라고 검색하는 식으로 여러 단계를 거치며 (Multi-hop) 정보를 연결합니다.

3. 어떻게 이렇게 똑똑하게 만들었을까요? (데이터와 학습)

AI 가 처음부터 이렇게 잘할 수는 없습니다. 저자들은 AI 에게 가상의 훈련 과정을 시켰습니다.

• 가상의 훈련 시나리오 (데이터 생성):

  • 연구진은 AI 가 "실제 검색 엔진"에서 실패하고, 다시 시도하고, 결국 성공하는 수천 개의 시뮬레이션 데이터를 만들었습니다.
  • 마치 게임 시뮬레이션처럼, AI 가 "이 사진에서 고양이 이름을 찾으라"는 미션을 받으면, 고양이를 찾아서 검색하고, 그 고양이의 주인을 찾아서 검색하고, 그 주인의 직장을 찾아서 검색하는 과정을 반복하게 훈련시켰습니다.
  • 특히, 질문을 의도적으로 어렵게 (모호하게) 만들어서 AI 가 더 깊게 생각하게 만들었습니다. (예: "이 사진 속 고양이의 이름은?" → "이 고양이 주인이 다니는 회사의 대표가 쓴 책 제목은?")

• 학습 방법:

  1. 지도 학습 (SFT): 잘 만든 시나리오를 보여주며 "이렇게 하라"고 가르쳤습니다.
  2. 강화 학습 (RL): AI 가 스스로 검색을 해보게 하고, 정답을 맞추면 점수를 주고, 틀리면 다시 하도록 훈련시켰습니다. 이 과정에서 AI 는 "어떤 검색어가 가장 효과적인지" 스스로 깨닫게 됩니다.

4. 결과: 작은 모델도 거인보다 잘합니다!

이 기술을 적용한 결과, 놀라운 일이 일어났습니다.

• 기존의 거대 AI (GPT-5, Gemini 등) 와 비교: 보통 비싼 유료 AI 가 더 잘한다고 생각하지만, 이 연구로 만든 AI 는 **작은 모델 (8B, 30B)**임에도 불구하고, 거대 상용 모델들보다 더 정확하고 빠르며 복잡한 문제를 잘 해결했습니다.
• 핵심 성과: 사진 속의 작은 디테일까지 찾아내고, 여러 단계를 거쳐 복잡한 사실을 추론하는 능력에서 압도적인 성능을 보였습니다.

5. 한 줄 요약

"이전 AI 가 사진을 보고 '한 번 검색'으로 답을 찾으려다 헛걸음했다면, 이 새로운 AI 는 사진의 일부를 잘라내어 여러 번 검색하고, 여러 단계를 거쳐 끈질기게 정보를 찾아내는 '초능력의 디지털 탐정'이 되었습니다."

이 기술은 앞으로 의료 영상 분석, 복잡한 뉴스 분석, 혹은 일상생활에서 사진으로 궁금한 점을 해결할 때 훨씬 더 똑똑하고 신뢰할 수 있는 AI 를 만들어줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 멀티모달 대형 언어 모델 (MLLM) 은 시각적 작업에서 뛰어난 성과를 보였으나, 방대한 사실적 정보가 필요한 복잡한 질문 답변 (VQA) 작업에서는 내부 세계 지식의 한계로 인해 어려움을 겪습니다. 이를 해결하기 위해 '추론 후 도구 호출 (Reasoning-then-tool-call)' 방식을 도입한 기존 연구들이 있었으나, 두 가지 주요 한계가 존재합니다.

1. 검색 엔진의 Hit-Rate 문제 (Hit-Rate Problem):
   • 기존 연구는 전체 이미지 (Full-Image) 나 단일 개체 (Entity-level) 쿼리만으로 검색이 가능하다고 가정합니다.
   • 그러나 실제 검색 엔진은 시각적 노이즈가 많고, 동일한 개체라도 쿼리의 스케일 (전체 vs 잘린 부분) 에 따라 검색 결과가 크게 달라질 수 있습니다. 단일 쿼리는 필요한 증거를 찾지 못해 실패할 확률이 높습니다.
2. 제한된 추론 깊이와 검색 범위 (Constrained Depth & Breadth):
   • 기존 방법들은 짧은 추론 단계와 제한된 검색 횟수만 수행합니다.
   • 복잡한 문제는 다양한 시각적/텍스트적 출처에서 증거를 수집하고, 여러 번의 시도와 오류 수정 (Trial-and-error) 을 통해 점진적으로 쿼리를 정제해야 하는데, 기존 모델은 이를 수행하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 Vision-DeepResearch라는 새로운 멀티모달 심층 연구 패러다임을 제안합니다. 이는 다중 턴 (Multi-turn), 다중 개체 (Multi-entity), 다중 스케일 (Multi-scale) 의 시각 및 텍스트 검색을 수행하여 노이즈가 많은 실제 환경에서도 강건하게 작동하도록 설계되었습니다.

A. 고품질 데이터 파이프라인 (High-Quality Data Pipeline)

학습을 위한 고품질 데이터 생성을 위해 자동화된 파이프라인을 구축했습니다.

• 다중 개체 및 다중 스케일 시각 크롭 및 검색:
  • 입력 이미지에 대해 MLLM 이 개체 단위의 경계 상자 (Bounding Box) 를 생성하고, 이를 다양한 스케일로 잘라내어 (Cropping) 시각 검색 엔진에 반복적으로 질의합니다.
  • 이는 노이즈가 많은 환경에서 목표 개체를 찾을 확률 (Hit-rate) 을 높입니다.
• 텍스트 브리징 및 텍스트 기반 심층 연구 (Text Bridging):
  • 시각 검색으로 얻은 증거를 바탕으로 이미지 설명 (Description) 을 생성하고, 이를 텍스트 기반 심층 연구 LLM 에 전달합니다.
  • 텍스트 기반 LLM 의 강력한 ReAct(추론 - 행동) 능력을 활용하여 웹 검색, 페이지 방문, 요약, 코드 실행 등을 포함한 긴 시간의 (Long-horizon) 추론 경로를 생성합니다.
• 검증된 사실적 VQA 생성 및 퍼지 멀티홉 합성:
  • 검증: MLLM 이 내부 지식만으로 답할 수 없거나, 전체 이미지 검색으로 바로 답이 나오는 단순한 사례는 제외합니다.
  • 퍼지 멀티홉 (Fuzzy Multi-hop): 엔티티와 답변을 교차하여 위장 (Obfuscation) 합니다. (예: "고양이의 주인이 다니는 회사의 딸이 다니는 학교의 선생님은 누구인가?") 이를 통해 단순한 검색이 아닌 복잡한 추론이 필요한 고품질 데이터를 생성합니다.

B. 학습 전략 (Training Strategy)

• 지도 미세 조정 (SFT): 생성된 30K 개의 고품질 멀티모달 심층 연구 궤적 (Trajectory) 을 사용하여 모델이 다중 턴 검색과 증거 통합을 학습하도록 합니다.
• 강화 학습 (RL):
  • 비동기 롤아웃 아키텍처: 긴 추론 시간과 도구 호출 지연을 해결하기 위해 고처리량 비동기 롤아웃 시스템을 설계하여 RL 학습 효율을 10 배 이상 향상시켰습니다.
  • 보상 설계: 정답 일치 여부에 기반한 LLM-as-Judge 방식을 사용하며, 실패한 궤적에 대한 과도한 페널티를 방지하기 위해 특정 궤적을 그라디언트 업데이트에서 마스킹 (Masking) 하는 기법을 적용하여 학습 안정성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 심층 연구 패러다임: 기존 단일 쿼리 방식에서 벗어나, 다중 턴, 다중 개체, 다중 스케일의 시각 및 텍스트 검색을 결합한 새로운 아키텍처를 제안했습니다.
2. 대규모 자동화 데이터 파이프라인: 복잡한 멀티홉 VQA 와 긴 시간의 검색 궤적을 자동으로 생성하고 검증하는 시스템을 구축하여, 심층 연구에 특화된 고품질 학습 데이터를 확보했습니다.
3. 효율적인 RL 학습 프레임워크: 긴 시간의 에이전트 추론을 위한 비동기 롤아웃 및 안정화 기법 (마스킹, 반복 감지 등) 을 도입하여 대규모 RL 학습을 성공적으로 수행했습니다.
4. 성능 입증: 오픈 소스 모델 (Qwen3-VL 기반) 이면서도, GPT-5, Gemini-2.5-Pro, Claude-4-Sonnet 과 같은 강력한 폐쇄형 모델 기반 에이전트 워크플로우를 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL 등 6 개의 사실 기반 멀티모달 벤치마크에서 SoTA(State-of-the-Art) 성능을 기록했습니다.
  • Vision-DeepResearch-8B: 기존 Qwen3-VL-8B(Agentic) 대비 평균 10.4% 향상.
  • Vision-DeepResearch-30B-A3B: 평균 56.9% 의 정확도를 달성하여, 동급의 다른 모델들보다 월등히 높은 성능을 보였습니다.
• Ablation Study:
  • 검색 전략: 전체 이미지 검색 (WIS) 만으로는 성능 향상이 제한적이었으나, 다중 스케일 크롭 (CIS) 과 텍스트 검색 (TS) 을 결합했을 때 (CIS+TS) 모든 벤치마크에서 가장 균형 잡히고 높은 성능을 보였습니다.
  • 학습 데이터: SFT 만으로는 부족하며, RL 학습을 거치면서 긴 시간의 의사결정 능력이 크게 개선됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 AI 가 단순한 이미지 인식이나 짧은 검색을 넘어, 인간과 유사한 심층 연구 (Deep Research) 능력을 갖추기 위한 중요한 이정표를 제시합니다.

• 실용성: 실제 검색 엔진의 노이즈와 불확실성을 고려한 검색 전략을 도입하여, 현실 세계의 복잡한 정보 검색 문제에 대한 해결책을 제시했습니다.
• 확장성: 상대적으로 작은 파라미터 수 (8B, 30B) 로도 거대 모델 기반 에이전트 워크플로우를 능가하는 성능을 보여주어, 효율적인 심층 연구 모델 개발의 가능성을 열었습니다.
• 향후 방향: 긴 시간의 추론과 도구 상호작용을 위한 데이터 생성 및 RL 학습 프레임워크는 향후 멀티모달 에이전트 연구의 표준적인 접근 방식으로 자리 잡을 것으로 기대됩니다.

요약하자면, Vision-DeepResearch는 "단순한 검색"을 넘어 "수십 번의 추론 단계와 수백 번의 검색 엔진 상호작용을 통한 심층 탐구"를 가능하게 하여, 멀티모달 LLM 의 사실 기반 추론 능력을 혁신적으로 향상시킨 연구입니다.