VisBrowse-Bench: Benchmarking Visual-Native Search for Multimodal Browsing Agents

이 논문은 웹 페이지의 시각적 정보를 본질적으로 활용하는 검색 에이전트의 능력을 평가하기 위해 새로운 벤치마크인 VisBrowse-Bench 와 에이전트 워크플로우를 제안하고, 현재 최첨단 모델들조차 시각적 추론에서 낮은 성능을 보임을 입증합니다.

핵심

VisBrowse-Bench: "눈을 뜨고 검색하는 AI"를 위한 새로운 시험지

안녕하세요! 오늘 소개해 드릴 논문은 인공지능 (AI) 이 인터넷을 검색할 때, 단순히 '글자'만 읽는 게 아니라 '이미지'도 제대로 보고 이해할 수 있는지 테스트하는 새로운 기준을 만들었다는 이야기입니다.

이 내용을 마치 새로운 요리 대회를 준비하는 상황으로 비유해서 쉽게 설명해 드릴게요.

---

1. 기존 문제: "눈을 감고 요리하기"

지금까지 AI 검색 기술 (멀티모달 에이전트) 을 평가하던 기준들은 큰 문제가 있었습니다.

• 문제 상황: 요리사 (AI) 가 "이 사진 속 건물이 원래 뭐였지?"라고 물어볼 때, 기존 시험지는 AI 에게 사진을 검색 엔진에 그냥 던져주기만 하라고 했습니다.
• 결과: AI 는 사진 속 내용을 직접 분석할 필요 없이, 검색 엔진이 "이건 맥주 공장입니다"라고 알려주면 그걸 그대로 답했습니다. 마치 눈을 감고 요리사에게 "이게 소금인지 설탕인지 알려줘"라고 묻고, 옆에서 누군가 "소금이야"라고 속삭여 주는 꼴입니다.
• 한계: AI 는 실제로 사진을 보고 "아, 저기 맥주 통이 있네!"라고 스스로 추론하는 능력을 전혀 보여주지 못했습니다.

2. 새로운 해결책: VisBrowse-Bench (비즈브라우저 벤치)

연구팀 (안타 그룹, CASIA 등) 은 **"진짜 요리사라면 눈을 뜨고 재료를 보고 판단해야 한다"**고 생각했습니다. 그래서 VisBrowse-Bench라는 새로운 시험지를 만들었습니다.

이 시험지의 핵심은 **"이미지 없이는 답을 낼 수 없는 미스터리"**를 출제하는 것입니다.

• 예시: "이 사진 속 사람이 들고 있는 지팡이를 보고, 이 사람이 등장하는 영화 포스터를 찾아보세요. 그리고 그 포스터에서 그 사람 아래에 있는 인물이 어떤 종족인지 찾아보세요."
• 왜 어려운가?
  1. 먼저 사진 속 인물을 정확히 식별해야 합니다 (텍스트로는 안 됩니다).
  2. 그 인물이 나오는 영화 포스터를 찾아야 합니다.
  3. 찾은 포스터에서 누가 아래에 있는지 다시 사진으로 확인해야 합니다.
  4. 그 인물의 종족을 찾아야 합니다.

이 과정은 마치 수사관이 사건 현장 (사진) 을 보고, 관련 증거 (다른 사진, 문서) 를 찾아내고, 조각난 퍼즐을 맞춰真相을 밝히는 과정과 같습니다. 단순히 "구글에 검색"만 해서는 절대 풀 수 없습니다.

3. 실험 결과: AI 들의 실력은?

연구팀은 최신 AI 모델들 (Claude, GPT, Gemini 등) 에게 이 시험지를 풀어보게 했습니다. 결과는 생각보다 매우 어려웠습니다.

• 최고의 AI (Claude-4.6-Opus): 정답률 47.6%
  • "아직 절반도 못 맞추네?"라고 생각하실 수 있습니다. 하지만 이 시험지는 정말 어렵게 설계되었기 때문입니다.
• 전문 검색 AI (Deep Research): 정답률 41.1%
  • 검색에 특화된 AI 조차도 이미지 분석이 필요할 때 막힙니다.
• 오픈소스 모델: 정답률 14.2%
  • 아직은 많이 부족합니다.

결론: AI 는 글을 읽고 검색하는 건 잘하지만, 사진을 보고 그 의미를 파악해서 새로운 정보를 찾아내는 능력은 아직 인간에 비해 훨씬 떨어집니다.

4. 연구팀의 제안: "스마트한 검색 에이전트"

이 문제를 해결하기 위해 연구팀은 AI 가 스스로 다음과 같은 행동을 하도록 **작업 흐름 (워크플로우)**을 설계했습니다.

1. 사진 잘라보기 (Crop): 사진의 특정 부분을 확대해서 자세히 봅니다.
2. 역검색 (Reverse Search): 사진 조각을 가지고 인터넷에서 비슷한 이미지를 찾아냅니다.
3. 웹페이지 방문: 찾은 웹페이지에 들어가서 텍스트와 이미지를 함께 분석합니다.

이 과정을 통해 AI 는 **"글자만 읽는 검색"**에서 **"눈을 뜨고 보고, 생각하고, 찾아내는 검색"**으로 진화할 수 있습니다.

5. 요약: 왜 이 연구가 중요할까요?

이 논문은 **"AI 가 인터넷을 검색할 때, 눈 (이미지) 을 제대로 쓸 수 있어야 한다"**는 것을 증명했습니다.

• 기존: AI 는 검색 엔진이 알려주는 텍스트만 믿었습니다. (눈을 감음)
• 새로운 기준 (VisBrowse-Bench): AI 는 직접 사진을 보고, 그걸 바탕으로 새로운 정보를 찾아내야 합니다. (눈을 뜸)

이 시험지를 통해 우리는 AI 가 진짜 현실 세계 (사진, 영상, 복잡한 웹페이지) 에서 얼마나 똑똑하게 일할 수 있는지를 더 정확하게 측정할 수 있게 되었습니다. 앞으로 AI 가 우리 대신 여행 계획을 세우거나, 복잡한 물건을 고를 때, 이 '눈'을 제대로 뜨고 일할 수 있기를 기대해 봅니다!

기술 요약

1. 문제 정의 (Problem)

다중 모달 대규모 언어 모델 (MLLM) 의 발전으로 웹 탐색 에이전트 (Browsing Agents) 가 현실 세계의 다중 모달 정보를 수집하고 추론하는 능력이 향상되었습니다. 그러나 기존 벤치마크는 다음과 같은 두 가지 근본적인 한계를 가지고 있습니다.

• 시각적 추론 능력 평가의 부족: 대부분의 기존 벤치마크 (예: MMSearch, BrowseComp-VL) 는 이미지 검색 도구를 호출하는 능력만 테스트하거나, 이미지 검색을 통해 시각적 쿼리의 의미론적 정보를 쉽게 얻을 수 있어 MLLM 의 진정한 시각적 이해 능력을 평가하지 못합니다.
• 탐색 과정에서의 네이티브 시각 정보 무시: 기존 작업들은 초기 이미지에서 엔티티 이름만 추출한 후, 나머지 추론 과정을 텍스트 검색으로만 수행합니다. 즉, 탐색 과정에서 발견되는 추가적인 시각적 정보 (웹페이지 내의 이미지, 다이어그램 등) 를 적극적으로 수집하고 추론하는 '비주얼 네이티브 (Visual-Native)' 검색 능력을 평가하지 못합니다.

2. 방법론 (Methodology)

가. VisBrowse-Bench (새로운 벤치마크)

이 논문은 위 한계를 해결하기 위해 VisBrowse-Bench를 제안합니다.

• 데이터 구성: 169 개의 VQA(Visual Question Answering) 인스턴스로 구성되며, 미디어, 생활, 예술, 지리, 기술, 스포츠, 금융 등 7 개의 주요 도메인을 포괄합니다.
• 설계 원칙:
  1. 다중 모달 정보 통합: 질의 형성 및 증거 수집 단계에서 텍스트와 시각 정보를 모두 능동적으로 처리해야 합니다.
  2. 시각 능력 강제 (Visual Competency Enforcement): 시각 정보는 텍스트 설명으로 대체 불가능해야 하며, 공간적 위치 파악 (Spatial Grounding), 속성 인식, 관계 분석 등 핵심 시각 능력을 요구하도록 설계되었습니다.
• 구축 프로세스: 도메인 전문가가 다단계 파이프라인을 통해 데이터를 수집하고, 3 홉 (hop) 이상의 다단계 추론과 최소 2 개 이상의 시각적 증거 블록을 포함하도록 엄격하게 검증했습니다.

나. 에이전트 워크플로우 (Agentic Workflow)

MLLM 이 시각 정보를 능동적으로 수집하고 추론할 수 있도록 5 가지 핵심 도구를 갖춘 워크플로우를 제안했습니다.

• 사용 도구:
  1. text_search: 텍스트 기반 웹 검색.
  2. image_search: 텍스트 쿼리를 통한 이미지 검색.
  3. reverse_image_search: 이미지 기반 역검색.
  4. image_crop: 관심 영역 (ROI) 자르기 및 정밀 분석.
  5. webpage_visit: 웹페이지 구조화 정보 추출 및 요약.
• 작동 방식: 에이전트는 초기 질의를 분석하고, 도구 호출을 통해 텍스트/시각 증거를 교차 검증하며, 내부 상태를 업데이트하여 최종 답변을 도출하는 폐쇄 루프 (Closed Loop) 방식으로 작동합니다.

3. 주요 기여 (Key Contributions)

1. 문제 식별: 기존 벤치마크가 시각적 추론 능력 평가와 탐색 과정 내 비주얼 네이티브 정보 통합을 소홀히 하고 있음을 규명.
2. VisBrowse-Bench 제안: 인간 전문가가 엄격하게 검증한 169 개의 고난도 인스턴스로 구성된 새로운 벤치마크 개발. 이는 검색 능력과 시각적 추론 능력을 동시에 평가합니다.
3. 다중 턴 시각 정보 검색 - 추론 워크플로우 도입: 현실 세계의 다중 모달 문제를 해결하기 위한 에이전트 워크플로우를 제안하고, 이를 통해 모델의 성능이 크게 향상됨을 입증했으나 여전히 한계가 있음을 보임.

4. 실험 결과 (Results)

저자들은 오픈소스 및 클로즈드소스 모델 (Claude, GPT, Gemini, Kimi, Qwen 등) 을 VisBrowse-Bench 에서 평가했습니다.

• 성능 한계: 가장 성능이 뛰어난 모델인 Claude-4.6-Opus조차 정확도 **47.6%**만 달성했습니다. 독점적인 Deep Research 모델인 o3-deep-research는 **41.1%**의 정확도를 보였습니다. 오픈소스 모델 (Qwen3-VL-235B) 은 약 14.2% 로 매우 낮은 성능을 보였습니다.
• 도구 사용의 중요성:
  • Direct Answer (도구 미사용): 모든 모델이 낮은 성능을 보임 (내부 지식 부족).
  • + Text Search: 성능이 일부 향상되었으나, 시각적 증거가 필요한 질문에는 한계가 있음.
  • + Image Search (전체 도구 사용): 성능이 추가적으로 향상됨. 특히 Kimi-K2.5는 이미지 검색 도구를 빈번하게 사용하여 가장 큰 성능 향상을 보였습니다.
• 도구 사용 패턴 분석: 성공적인 모델 (Claude-4.6-Opus) 은 5 가지 도구를 균형 있게 사용하는 반면, 실패한 사례에서는 강력한 시각적 추론 능력을 활용하지 못하고 텍스트 기반 검색에 의존하거나 이미지 분석을 잘못 수행하는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 기준: VisBrowse-Bench 는 단순한 도구 호출 능력을 넘어, 탐색 과정에서 시각적 증거를 능동적으로 수집하고 교차 검증하며 추론하는 능력을 평가하는 새로운 표준을 제시합니다.
• 향후 연구 방향: 현재 최첨단 모델조차 50% 미만의 정확도를 보인 것은 현실 세계의 복잡한 다중 모달 검색 과제가 여전히 매우 어렵다는 것을 의미합니다. 이는 MLLM 이 텍스트뿐만 아니라 웹 환경의 시각적 정보를 깊이 있게 이해하고 통합하는 '비주얼 네이티브' 에이전트 개발의 필요성을 강조합니다.
• 실용성: 이 벤치마크와 워크플로우는 실제 웹 탐색, 리서칭, 정보 검색 에이전트 개발에 있어 시각적 이해의 중요성을 부각시키고, 향후 모델 향상을 위한 구체적인 방향성을 제시합니다.

요약하자면, 이 논문은 시각 정보를 단순히 입력받는 것을 넘어, 탐색 과정 전체에 걸쳐 시각적 증거를 능동적으로 찾고 추론해야 하는 'Visual-Native Search'의 중요성을 강조하며, 이를 평가하기 위한 엄격한 벤치마크와 에이전트 프레임워크를 제시했습니다.