VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning

이 논문은 강화 학습과 반복적 데이터 합성 파이프라인을 활용하여 정적 멀티모달 모델을 웹 검색, 이미지 검색, 웹 브라우징 등 장기적 다턴 도구 사용을 수행하는 자율 에이전트인 VSearcher 로 변환하고, MM-SearchExam 벤치마크를 통해 최신 상용 모델을 능가하는 성능을 입증했습니다.

핵심

VSearcher: "눈과 손"을 가진 똑똑한 탐정 이야기

이 논문은 VSearcher라는 새로운 인공지능(AI)에 대해 소개합니다. 이 AI는 단순히 책장만 뒤적이는 지식이 아니라, 실제로 인터넷을 돌아다니며 사진과 글을 찾아 문제를 해결하는 **'멀티모달 검색 에이전트'**입니다.

이 복잡한 기술 내용을 일반인도 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 문제: "책만 읽는 천재" vs "현장을 누비는 탐정"

기존의 큰 AI 모델들은 방대한 도서관 (데이터) 에 갇혀 있는 천재와 같습니다.

• 장점: 책에 적힌 모든 사실을 암기하고 있어 질문하면 바로 답을 줍니다.
• 단점: 하지만 그 도서관은 과거에 멈춰 있습니다. 오늘 발생한 뉴스나, 인터넷에 떠도는 최신 사진, 혹은 "이 사진 속 건물이 어디에 있나요?" 같은 질문에는 답을 못 합니다.

VSearcher는 이 도서관을 벗어나 실제 세상 (인터넷) 을 누비는 탐정으로 변신한 것입니다.

• 능력: 질문을 받으면 직접 **구글 검색 (텍스트)**을 하고, 이미지 검색을 하며, 웹사이트를 직접 방문해서 정보를 찾아냅니다.
• 특징: 단순히 한 번 검색하는 게 아니라, 답을 찾기 위해 수십 번, 수백 번을 오가며 **긴 여정 (Long-Horizon)**을 떠납니다.

---

2. 훈련 방법: "가상 시뮬레이션"과 "현장 실습"

이 탐정이 어떻게 그렇게 똑똑해졌을까요? 두 단계의 훈련 과정을 거쳤습니다.

① 단계 1: "미친 듯이 어려운 미션" 만들기 (데이터 합성)

탐정을 훈련시키기 위해선 쉬운 문제만 주면 안 됩니다. 그래서 연구팀은 AI 가 스스로 미친 듯이 어려운 문제를 만들어내는 공장을 지었습니다.

• 비유: 마치 게임 개발자가 "이 미로에서 탈출해"라는 미션을 만들 때, 보물 (정답) 을 숨기고, 길목을 막고, 함정을 설치하는 것과 같습니다.
• 과정:
  1. 아주 드문 인물이나 사물을 고릅니다.
  2. 그 인물에 대한 정보를 조각조각 잘게 쪼갭니다.
  3. 그 조각들을 문제 속에 숨깁니다. (예: "이 사진에 나온 사람과 관련된 19 세기 소설의 주인공은 누구인가?")
  4. 이렇게 사진과 글이 섞인 아주 까다로운 문제를 수만 개 만들어냈습니다.

② 단계 2: "스승의 등"과 "실전 훈련" (학습 과정)

만들어진 미션으로 AI 를 훈련시켰습니다.

• SFT (스승의 등): 먼저 Gemini-3-Pro-Thinking이라는 아주 똑똑한 AI(스승) 가 이 미션들을 어떻게 풀지 시뮬레이션했습니다. AI 는 스승이 정답을 맞춘 '정답 경로'만 보고 따라 배웠습니다. (거짓말이나 실패한 시도는 버렸습니다.)
• RL (실전 훈련): 이제 AI 는 실제 인터넷 환경에 투입되었습니다. 여기서 AI 는 스스로 검색하고, 방문하고, 실수하며 배웠습니다.
  • 비유: 스승이 가르쳐준 '이론'을 바탕으로, **실제 사냥터 (인터넷)**에 나가 직접 사냥 (검색) 을 하며 실력을 다졌습니다. 틀리면 점수를 못 받고, 맞으면 보상을 받으며 점점 더 똑똑해졌습니다.

---

3. 결과: "상업용 AI"도 꺾는 실력

이 훈련을 거친 VSearcher는 놀라운 성과를 냈습니다.

• 시험 성적: 연구팀이 만든 MM-SearchExam이라는 아주 까다로운 시험에서, 최신 상용 AI 모델들 (GPT-5, Gemini-3 등) 보다 더 높은 점수를 받았습니다.
• 의미: 이는 VSearcher 가 단순히 지식을 암기한 게 아니라, 복잡한 문제를 스스로 해결하는 능력이 뛰어나다는 뜻입니다.
  • 예: "이 사진 속의 드레스를 입은 배우가 출연한 2000 년대 초반의 영화 제목은?" -> 사진 검색 -> 배우 찾기 -> 영화 검색 -> 정답 도출.

---

요약: 왜 이 기술이 중요한가요?

과거의 AI 는 **"지식만 있는 도서관 사서"**였다면, VSearcher는 **"현장에서 정보를 찾아내는 탐정"**이 되었습니다.

• 창의적인 비유: 우리가 여행할 때, 지도책 (기존 AI) 을 보는 것만으로는 새로운 맛집을 찾기 어렵습니다. 하지만 스마트폰으로 실시간 검색을 하고, 사진을 찍어 비교하며, 블로그를 훑어보는 (VSearcher) 과정을 거치면 훨씬 더 정확한 답을 찾을 수 있습니다.

이 연구는 AI 가 더 이상 정적인 지식을 넘어, **실제 세상과 상호작용하며 복잡한 문제를 해결하는 진정한 '자동화 에이전트'**로 발전할 수 있음을 보여줍니다.

기술 요약

VSearcher: 강화학습을 통한 장기-수평 다중모달 검색 에이전트 기술 요약

이 논문은 정적(static)인 다중모달 대형 언어 모델 (LLM) 을 실제 웹 환경에서 장기간의 다중 턴 (multi-turn) 도구 사용을 수행할 수 있는 자율적인 검색 에이전트로 변환하는 VSearcher를 제안합니다.

1. 문제 정의 (Problem)

최근 대형 모델은 ReAct(Reasoning and Acting) 와 같은 패러다임을 통해 복잡한 문제를 해결하는 자율 에이전트로 발전하고 있습니다. 그러나 기존 연구는 주로 텍스트 전용 (Text-only) 모델에 집중되어 있어, 시각적 인식이 필요한 실제 사용자 요구를 충족시키기 어렵습니다. 반면, 다중모달 대형 모델 (Multimodal Large Models) 은 뛰어난 지각 능력을 갖추고 있지만, 여전히 정적 지식에 의존하며 최신 웹 정보를 실시간으로 접근하거나 외부 도구 (검색, 브라우징 등) 를 활용하는 능력이 부족합니다. 즉, 다중모달 에이전트가 실시간 웹 환경에서 장기간의 도구 사용을 통해 복잡한 정보를 탐색하고 해결하는 능력이 결여되어 있다는 문제가 있습니다.

2. 방법론 (Methodology)

VSearcher 는 데이터 합성, 거부 샘플링 미세 조정 (Rejection Sampling Fine-tuning), 강화학습 (RL) 으로 구성된 포괄적인 사후 학습 (Post-training) 프레임워크를 사용합니다.

2.1. 반복 주입 기반 데이터 합성 (Iterative Injection-based Data Synthesis)

고품질이고 난이도가 높은 다중모달 검색 태스크를 대규모로 자동 생성하기 위해 제안된 파이프라인입니다.

• 시드 선택 (Seed Selection): 위키데이터 (Wikidata) 에서 희귀한 엔티티를 선택하여 에이전트가 정적 지식이 아닌 외부 도구에 의존하도록 유도합니다.
• 초기 QA 생성: 선택된 엔티티의 위키백과 내용을 기반으로 간단한 텍스트 QA 쌍을 생성합니다.
• 텍스트 정보 주입 (Text Information Injection): 여러 라운드에 걸쳐 질문 내의 엔티티를 숨기고, 해당 엔티티의 위키백과 정보 (희귀한 사실 포함) 로 대체하여 질문의 복잡성을 점진적으로 높입니다.
• 이미지 주입 (Image Injection): 질문에 답하는 데 결정적인 엔티티를 이미지로 대체하고, "이미지에 표시된 것과 같이"라는 문구로 치환하여 다중모달 입력을 추가합니다.
• 필터링: 생성된 데이터가 약한 모델로도 해결 가능하거나, 텍스트만으로 답이 나오는 경우, 이미지가 너무 단순한 경우 등을 필터링하여 고품질 데이터를 확보합니다.

2.2. 거부 샘플링 미세 조정 (Rejection Sampling Fine-tuning)

• 교사 모델 활용: 강력한 웹 검색 능력을 가진 교사 모델 (Gemini-3-Pro-Thinking) 을 사용하여 생성된 복잡한 다중모달 태스크에 대한 ReAct 트래젝토리 (추론 - 행동 - 관찰) 를 생성합니다.
• 거부 샘플링: 생성된 트래젝토리 중 정답이 틀린 것을 제거하고, 정답이 맞는 고품질 트래젝토리만 선별합니다.
• 초기 능력 주입: 선별된 트래젝토리로 베이스 다중모달 모델을 지도 학습 (SFT) 하여 초기의 장기-수평 도구 사용 능력을 학습시킵니다.

2.3. 강화학습 (Reinforcement Learning, RL)

• 실제 웹 환경 학습: 미세 조정된 모델을 실제 웹 환경 (Google 검색, 이미지 검색, 웹 방문 도구 사용) 에서 강화학습합니다.
• GRPO 알고리즘: Group Reward Proximal Optimization (GRPO) 알고리즘을 적용하여, 최종 답변의 정확도를 기반으로 보상을 주고 정책을 최적화합니다.
• 형식 검증: 학습 중 응답 형식이 ReAct 규칙 (생각, 도구 호출, 답변) 을 따르는지 엄격히 검사하여 유효하지 않은 트래젝토리는 즉시 종료합니다.

2.4. 벤치마크: MM-SearchExam

다중모달 검색 에이전트의 능력을 평가하기 위해 제안된 새로운 벤치마크입니다. 제안된 데이터 합성 파이프라인을 통해 10 라운드의 반복 확장을 거친 매우 난이도 높은 283 개의 태스크로 구성되었으며, 기존 상용 모델들도 낮은 성능을 보이는 것이 특징입니다.

3. 주요 기여 (Key Contributions)

1. 다중모달 브라우징 태스크를 위한 데이터 합성 파이프라인: 반복 주입 (Iterative Injection) 기법과 필터링 메트릭을 통해 대규모 고품질 다중모달 검색 데이터를 자동 생성합니다.
2. 다중모달 검색 에이전트를 위한 포괄적인 사후 학습 파이프라인: SFT(거부 샘플링) 와 RL 을 결합하여 정적 모델을 실제 웹 환경에서 작동하는 에이전트로 변환합니다.
3. 난이도 높은 평가 벤치마크 (MM-SearchExam): 기존 모델들의 한계를 드러낼 수 있는 엄격한 평가 기준을 제시합니다.
4. 우수한 성능: VSearcher 는 최신 오픈소스 및 상용 다중모달 검색 에이전트보다 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: MMSearch, BrowseComp-VL, MM-SearchExam 등 5 가지 다중모달 검색 벤치마크에서 VSearcher 는 Qwen3-VL, InternVL3.5 등의 오픈소스 모델은 물론, GPT-5, Gemini-3-Pro와 같은 강력한 상용 모델들을 능가하거나 경쟁하는 성능을 보였습니다.
• 성능 향상 분석: 베이스 모델 → 거부 샘플링 미세 조정 (RFT) → 강화학습 (RL) 단계를 거치며 정확도가 점진적으로 향상됨을 확인했습니다. 특히 RL 단계를 통해 실제 웹 환경에서의 적응적 도구 선택 능력이 크게 개선되었습니다.
• 도구 사용 분석: 학습 과정에서 텍스트 검색이 주를 이루지만, 이미지 검색과 웹 방문 (Visit) 도구의 사용 빈도도 점차 증가하여 복잡한 정보 수집 및 검증 능력을 함양했음을 보여줍니다.

5. 의의 및 결론 (Significance)

VSearcher 는 다중모달 모델이 정적 지식을 넘어 실시간 웹 환경에서 장기간의 다중 턴 도구 사용을 통해 복잡한 정보를 탐색하고 해결할 수 있음을 입증했습니다. 이는 단순한 검색을 넘어, 이미지와 텍스트를 결합한 심층 연구 (Deep Research) 가 가능한 자율 에이전트의 새로운 지평을 열었으며, 특히 강화학습을 통한 실제 환경 학습의 중요성을 부각시켰습니다. 제안된 데이터 합성 방법론과 벤치마크는 향후 다중모달 에이전트 연구의 표준으로 자리 잡을 것으로 기대됩니다.