💬 NLP

VistaHop: Benchmarking Multi-hop Visual Reasoning for Visual DeepSearch

이 논문은 비주얼 딥서치(Visual DeepSearch)를 위한 복잡한 멀티홉 시각적 추론 및 반복적인 이미지 검사 수행 능력을 평가하기 위해 설계된 새로운 벤치마크이자 평가 환경인 VistaHop을 소개하며, 이를 통해 현재의 최첨단 모델들이 여전히 이러한 과업에서 상당한 어려움을 겪고 있음을 밝힌다.

원저자: Hang He, Chuhuai Yue, Chengqi Dong, Chengcheng Wan, Ting Su, Haiying Sun, Jiajun Chai, Xiaohan Wang, Guojun Yin

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hang He, Chuhuai Yue, Chengqi Dong, Chengcheng Wan, Ting Su, Haiying Sun, Jiajun Chai, Xiaohan Wang, Guojun Yin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하기 위해 탐정을 고용한다고 상상해 보십시오. 과거에 대부분의 "AI 탐정 테스트"는 단순한 수수께끼와 같았습니다. AI에게 사진 한 장을 보여주고 "자동차 색깔이 무엇인가요?"라고 묻는 식이었죠. AI는 딱 한 번 훑어보고, 색상을 추측한 뒤 바로 다음으로 넘어갔습니다.

하지만 실제 세상의 수사는 훨씬 더 어렵습니다. 때로는 사건을 해결하기 위해 신발에 새겨진 아주 작은 로고를 확대해서 보고, 그 브랜드의 역사를 찾아보고, 그 공장이 어디에 있는지 알아낸 뒤, 그곳의 날씨를 확인하고, 이 모든 점들을 연결하여 누가 현장에 있었는지 알아내야 할 때도 있습니다.

이 논문인 VistaHop은 AI 탐정들이 실제로 이러한 심층적이고 다단계적인 작업을 수행할 수 있는지 확인하기 위해 훨씬 더 까별한 테스트를 구축하는 것에 관한 것입니다.

문제점: "한 번 훑어보기"의 함정

저자들은 현재의 AI 테스트가 너무 쉽다고 주장합니다. 그것은 마치 탐정에게 사진을 주며 "이 사진에 개가 있나요?"라고 묻는 것과 같습니다. AI는 그냥 한 번 쓱 보고는 "네"라고 답합니다.

진정한 "시각적 딥서치(Visual DeepSearch)"는 다릅니다. 이는 AI에게 다음과 같은 능력을 요구합니다:

자세히 보기: 이미지의 특정 부분(예: 표지판의 아주 작은 글자)을 확대해서 보기.
왔다 갔다 하기: 단서를 놓쳤음을 깨닫고, 다시 확대하고, 사진의 다른 부분을 살펴보기.
점들을 연결하기: 사진에서 본 것과 외부 지식(예: 데이터베이스 검색)을 결 many 단계에 걸쳐 결합하기.

저자들은 기존의 테스트들이 AI가 텍스트 힌트를 사용하거나 실제로 세부 사항을 "보지" 않고 추측하게 함으로써 속임수를 쓰도록 허용하기 때문에 실패한다고 말합니다.

해결책: VistaHop (더 복잡한 "장애물 코스")

이를 해결하기 위해 팀은 복잡한 장애물 코스처럼 설계된 새로운 벤치마크(테스트 세트)인 VistaHop을 만들었습니다.

설정: 그들은 번화한 도시 거리나 박물관 같은 고품질 사진 300장을 수집했습니다.
과업: 그들은 AI가 긴 여정을 떠나도록 강제하는 350개의 질문을 만들었습니다.
- 예시: "오른쪽 하단에 있는 주황색 컨테이너를 보세요. 그 회사의 로고를 찾으세요. 그 회사가 언제 설립되었는지 찾아보세요. 이제 그 본사가 있는 도시를 찾으세요. 그 도시가 설립된 연도는 언제인가요? 두 연도를 빼세요."
규칙: AI는 단순히 추측해서는 안 됩니다. 반드시 이미지의 특정 부분을 보았고, 로고를 찾았으며, 단서의 사슬을 따라갔음을 증명해야 합니다. 만약 AI가 이미지를 보지 않고 질문의 텍스트만을 사용하여 답하려고 한다면, 테스트는 이를 잡아내어 답변을 거부합니다.

그들은 또한 AI가 훈련할 수 있는 "체육관"인 VistaArena를 구축했습니다. 이를 통해 AI는 돋보기(이미지 크롭/확대), 검색 엔진(사실 찾기), 계산기와 같은 도구를 사용할 수 있습니다.

결과: AI는 아직 초보 단계이다

저자들은 사용 가능한 가장 똑똑한 AI 모델들(SenseNova, GPT-5, Gemini 등)을 이 장애물 코스에 통과시켰습니다.

판결은 어떠했을까요? AI는 매우 고전했습니다.

가장 뛰어난 모델조차 첫 시도에서 정답률이 약 **24%**에 불과했습니다.
AI가 검색 도구를 사용하지 않고 오직 이미지만 보도록 강제했을 때, 정답률은 8% 미만이었습니다.
AI는 도구(확대 및 검색)를 사용할 수 있을 때 더 나아졌지만, "단서의 사슬"이 너무 길어지거나 사진의 여러 다른 지점을 살펴봐야 하는 경우에는 여전히 자주 실패했습니다.

시사점

이 논문은 AI가 이미지를 "보는" 데는 능숙해지고 있지만, 끈기 있는 조사관이 되는 데는 여전히 매우 서투르다는 결론을 내립니다. AI는 너무 빨리 포기하거나, 미세한 세부 사항을 놓치거나, 이미지를 다시 확인하러 돌아가는 것을 잊어버리는 경 경향이 있습니다.

저자들이 VistaHop을 만든 것은 제품을 팔기 위해서가 아니라, 우리가 진정으로 복잡한 시각적 미스터리를 이해하는 AI를 원한다면 더 나은 테스트와 더 나은 훈련 방법이 필요하다는 것을 세상에 보여주기 위함입니다. 그들은 다른 연구자들이 더 나은 "탐정"을 만들 수 있도록 자신들의 데이터와 코드를 공개했습니다.

기술 요약: VistaHop: Visual DeepSearch를 위한 멀티홉 시각적 추론 벤치마킹

문제 정의

멀티모달 대규모 추론 모델(MLRM)의 최근 발전은 에이전트가 수동적인 이미지 이해를 넘어 미세한 시각적 인지와 도구 지원 추론으로 나아갈 수 있게 했습니다. 이는 에이전트가 작업 관련 이미지 영역을 능동적으로 조사하고, 외부 증거를 검색 또는 검증하며, 여러 추론 단계를 통해 시각적 단서들을 연결해야 하는 Visual DeepSearch라는 환경을 탄생시켰습니다.

그러나 기존의 벤치마크는 이러한 능력을 평가하기에 불충분합니다. 현재의 데이터셋은 주로 단일 단계의 시각적 이해나 고립된 이미지-질문 쌍에 집중되어 있습니다. 이들은 다음과 같은 네 가지 결정적인 한계를 가집니다:

시각 중심 검색의 부재: 작업들이 시각적 증거를 다시 방문하는 과정 없이 언어를 통해 추론이 진행되는 정적인 이미지-질문 쌍에 의존하는 경우가 많습니다.
얕은 추론 깊이: 작업들이 멀티홉 증거 체인을 요구하는 경우가 드물어, 모델이 얕은 인식이나 지름길 추론을 통해 문제를 해결할 수 있게 합니다.
반복적인 검사의 부재: 모델이 이미지 영역을 반복적으로 재방문하거나 특정 시각적 앵커에 추론을 근거 지우는 능력을 평가하지 않습니다.
정답 유출(Answer Leakage): 많은 데이터셋이 진정한 시각적 탐색 없이 텍스트 단서, 사전 지식 또는 암기된 연관 관계를 통해 정답을 유추할 수 있게 합니다.

결과적으로, 현재의 MLRM이 심층적이고 반복적이며 증거에 기반한 시각적 탐색을 지원할 수 있는지 판단하기 위한 체계적인 평가가 부족한 실정입니다.

방법론

1. VISTAHOP 벤치마크 구축

저자들은 멀티홉 시각적 추론과 반복적인 이미지 검사를 평가하기 위해 설계된 포괄적인 벤치마크인 VISTAHOP를 소개합니다. 구축 파이프라인은 자동화 및 인간 검증을 거친 7단계로 구성됩니다:

이미지 소스 필터링 및 엔티티 추출: Wikimedia Commons 및 Unsplash와 같은 출처에서 시각적 풍부함이 높은 고해상도(4K+) 이미지를 필터링합니다. LLM(GEMINI-3.1-PRO)은 바운딩 박스와 속성을 포함한 영역 수준의 엔티티(예: 로고, 랜드마크, 텍스트)를 추출합니다.
엔티티 지식 강화 및 시드 선택: 추출된 엔티티는 Wikipedia/Wikidata 지식으로 강화됩니다. 이웃 검색을 지원할 구조화된 속성의 가용성에 따라 유효한 시드 엔티티가 선택됩니다.
증거 체인 구축: 시각적 시드 엔티티( $v_0$ )에서 타겟 정답( $v_k$ )까지 관계형 홉( $k \ge 5$ )을 통해 멀티홉 체인이 구축됩니다. 관계는 범주(예: 부분-전체, 시간적, 공간적)로 정규화됩니다. LLM 기반 관계 검사기가 각 홉을 신뢰도 임계값( $\tau_{nli} = 0.9$ )으로 검증하고, 난이도를 보장하기 위해 지나치게 익숙한 엔티티를 필터링합니다.
텍얼 QA 구축: 이러한 체인의 터미널 노드를 위해 자연어 질문이 생성됩니다. 질문은 직접적인 문자열 매칭을 방지하기 위해 간접적인 형태로 작성됩니다.
VQA 생성 및 안티-리키지(Anti-Leakage) 검증: 세 개의 에이전트 루프(Solver, Judge, Rewrite)는 질문이 텍스트만으로 해결될 수 없음을 보장합니다. Solver는 텍스트만을 사용하여 답변을 시도하며, 성공할 경우 Judge가 유출을 플래그하고, Rewrite 에이전트는 시각적 의존성을 유지하면서 텍스트 지름길을 가리기 위해 질문을 수정합니다.
멀티 체인 융합: 교차 체인 추론을 평가하기 위해 여러 관련된 VQA 인스턴스가 융합됩니다. 중간 값(예: 연도, 개수)이 추출되어 산술 또는 조건부 연산(덧셈, 뺄셈, max/min)을 통해 결합되어 여러 시각적 앵커를 요구하는 복잡한 융합 질문을 형성합니다.
인간 검토: 어노테이터가 추론 경로, 정답의 유일성 및 가독성을 검증합니다.

데이터셋 통계: VISTAHOP은 25개의 시각적 탐색 시나리오(Life, Science, Society, Technology, Culture)에 걸쳐 300개의 고해상도 이미지를 포함합니다. 여기에는 350개의 멀티홉 QA 작업이 포함되며, 이는 190개의 싱글 체인과 160개의 멀티 체인 융합 작업으로 구성되고 평균 체인 길이는 7.43 홉입니다.

2. VISTAARENA 평가 프레임워크

VISTAHOP에서 모델을 테스트하기 위해 저자들은 다음을 지원하는 통합 평가 환경인 VISTAARENA를 제안합니다:

탐색 에이전트(Search Agent): 질문, 이미지, 히스토리를 관찰하는 반복적 에이전트입니다. 이 에이전트는 텍스트 검색(웹 검색), 이미지 검색(역 이미지 검색), 이미지 크롭(로컬 영역 검사) 도구를 호출할 수 있습니다.
검증 에이전트(Validation Agent): 최종 답변이 정답과 의미론적으로 동등한지(Pass@1)를 평가하고, 증거 근거를 확인하며, 도구 활용도를 모니터링하는 LLM-as-a-judge입니다.

주요 기여

VISTAHOP 벤치마크: 멀티홉 시각적 추론, 반복적인 이미지 검사, 그리고 멀티 체인 VQA 작업을 통한 증거 기반 답변 생성을 평가하기 위해 특히 설계된 최초의 Visual DeepSearch 전용 벤치마크입니다.
자동화된 구축 파이프라인: 엄격한 안티-리키지 검증을 통해 데이터 품질을 제어하고 텍스트 전용 지름길을 최소화하면서, 시각적으로 근거가 명확한 롱체인 추론 작업을 생성하는 확장 가능한 자동화 프로세스입니다.
VISTAARENA 프레임까지: 직접 답변, 검색 증강 추론 및 멀티 앵커 추론 설정에서 MLRM의 성능을 분석하기 위한 통합 평가 환경입니다.

실험 결과

저자들은 Gemini 2.5 Pro, GPT-5, Claude-4-Sonnet, Qwen3-VL 변형을 포함한 일반 목적 모델과 학습된 에이전트형 검색 모델(SenseNova-MARS-32B, Tongyi-DeepResearch-30B-A3B) 등 7개의 대표적인 MLRM을 평가했습니다.

전반적인 성능: 최첨단 모델들조차 상당한 어려움을 겪고 있습니다. 가장 성능이 좋은 모델인 SenseNova-MARS-32B는 Search+Crop 설정에서 **Pass@1이 24.31%**에 불과했습니다.
도구의 영향: 도구 사용은 매우 중요합니다. 평균적으로 성능이 No-Tool(7.72%)에서 Search+Crop(20.11%)으로 향상되었습니다. 가장 우수한 모델은 허용된 라운드의 89.4%에서 도구를 활용했습니다.
난이도 스케일링: 성능은 난이도가 높아짐에 따라 급격히 떨어집니다. Search+Crop 환경에서 Pass@1은 Level 2(5-10 홉)의 24.40%에서 Level 3(>10 홉)의 15.03%로 감소했습니다.
실패 모드: 잘못된 트레이스 분석 결과, 주요 실패 유형은 잘못되거나 누락된 시각적 앵커(27.4%), 검색 드리프트(24.1%), 그리고 롱체인 계획 붕괴(21.5%)였습니다.

의의 및 주장

본 논문은 현재의 MLRM이 Visual DeepSearch의 과제를 해결하기에는 아직 멀리 떨어져 있다고 주장합니다. 낮은 성능 점수는 다음을 강조합니다:

특화된 벤치마크의 필요성: 기존 벤치마크는 반복적인 시각적 증거 탐색과 영역 수준의 근거 작용의 복잡성을 포착하지 못합니다.
학습 격차 존재: 현재 모델들은 롱홉 시각적 추론, 시각적 증거 재방문, 멀리 흩어진 멀티 앵커 증거 융합 능력에서 부족함을 보입니다.
미래 방향: 본 연구는 심층적이고 증거에 기반한 시각적 탐색이 가능한 에이전트를 발전시키기 위해 특화된 훈련 방법과 벤치마크가 필요함을 역설합니다.

저자들은 현재 모델의 역량에 대해 겸허한 입장을 취하며, 가장 진보된 에이전트형 모델조차 VISTAHOP이 요구하는 다단계, 시각 중심적 추론을 안정적으로 실행하는 데 실패한다는 점을 언급했습니다. 데이터셋과 코드는 이 분야의 추가 연구를 촉진하기 위해 공개되었습니다.