AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

이 논문은 기존 벤치마크의 한계를 극복하고 현실적이고 복잡한 시각적 시나리오에서 장기적 도구 활용 능력을 평가하기 위해 25 개의 하위 도메인과 7 개 카테고리에 걸친 'AgentVista'라는 새로운 멀티모달 에이전트 벤치마크를 소개하며, 최신 모델들이 이러한 과제를 해결하는 데 여전히 큰 격차가 있음을 보여줍니다.

핵심

🕵️‍♂️ 에이전트 비스타 (AgentVista): AI 의 '실전 실력'을 시험하는 초고난도 미션

이 논문은 인공지능 (AI) 이 단순히 그림을 보고 "이게 개다"라고 말하는 수준을 넘어, 실제 복잡한 현실 세계의 문제를 해결할 수 있는지를 테스트하는 새로운 기준을 소개합니다.

이걸 쉽게 이해하기 위해 **'AI 를 신입 사원으로 채용하는 면접'**이라고 상상해 보세요.

---

1. 기존 면접 vs. 새로운 면접 (왜 이 논문이 중요한가요?)

기존의 AI 테스트 (과거의 면접):
기존 시험들은 AI 에게 "이 사진에서 빨간색 차를 찾아줘"나 "이 웹페이지에서 전화번호를 찾아줘" 같은 단순한 미션만 주었습니다.

• 비유: 마치 신입 사원에게 "책상 위 빨간 펜을 찾아오세요"라고만 시킨 것과 같습니다. 아주 쉽고, 한 번에 끝납니다.

새로운 테스트 (AgentVista):
이 논문이 만든 AgentVista는 훨씬 더 현실적이고 까다롭습니다.

• 상황: "이 사진 (1) 에 있는 바닥 장판 스타일과 똑같은 걸 찾아서, (2) 내 방 (사진 2) 에 깔 수 있는지 확인하고, (3) 온라인 쇼핑몰에서 가격을 비교해서 (4) 최종 설치 비용을 계산해 줘."
• 비유: 신입 사원에게 "고객이 보내온 낡은 사진 보고, 비슷한 제품 찾아서, 재고 확인하고, 내 방 치수 재서 예산까지 짜오라"는 복합 미션을 주는 것입니다.
• 핵심: AI 는 그림을 보고, 인터넷을 검색하고, 계산기를 두드리고, 웹페이지를 넘나드는 **여러 가지 도구 (Tool)**를 번갈아 쓰며 긴 과정을 거쳐야 정답을 맞출 수 있습니다.

2. 시험지 구성 (무엇을 테스트하나?)

이 시험지는 **7 개의 큰 분야 (쇼핑, 여행, 공학, 문화 등)**와 25 개의 세부 주제로 나뉩니다.

• 예시 1 (여행): "이 지도 (사진) 를 보고, 오늘 오후 5 시에 문을 닫는 가게를 제외하고, 버스를 타고 이동할 때 가장 효율적인 순서와 총 교통비를 계산해 줘."
• 예시 2 (쇼핑): "이 사진의 견과류 알레르기가 있는 친구를 위해, 초콜릿 소스 중 당분이 가장 적고 견과류가 전혀 없는 제품을 찾아줘."

중요한 점: 정답은 하나뿐이며, AI 가 스스로 검색하고 계산해서 증명할 수 있어야 합니다.

3. 시험 결과: AI 들은 얼마나 잘할까? (현실적인 충격)

최고 수준의 AI 모델들 (구글의 Gemini, 오픈 AI 의 GPT 시리즈 등) 을 이 시험에 풀어보게 했더니 결과가 놀라웠습니다.

• 성적표: 가장 잘한 모델 (Gemini-3-Pro) 의 점수는 **27.3%**에 불과했습니다. (100 점 만점에 27 점!)
• 현실: 나머지 모델들은 10 점대, 심지어 0 점대도 있었습니다.
• 비유: "최고 영재라고 불리는 대학생들이, '실제 현장'에서 일하라고 시키니 10 문제 중 7 개를 틀리고, 심지어 25 번이나 질문을 바꿔가며 헤매다 결국 실패했다"는 뜻입니다.

왜 실패할까요?

1. 눈이 안 좋음 (Visual Misidentification): 사진 속 작은 글씨나 디테일을 잘못 읽어서 시작부터 엉뚱한 길로 빠집니다.
2. 망상 (Hallucination): 검색도 안 해보고, "아마도 이런 제품일 거야"라고 임의로 사실을 지어냅니다.
3. 도구 사용 실수: 검색을 하거나 계산기를 쓸 때 명령을 잘못 내립니다.

4. 왜 이 연구가 중요한가?

지금까지의 AI 는 **'교과서 문제'**는 잘 풀지만, **'현장 문제'**는 못 풉니다.

• 기존: "이게 뭐야?" (지식)
• AgentVista: "이걸로 어떻게 해결해?" (행동)

이 논문은 AI 개발자들에게 **"너희는 아직 실전 투입이 안 된다"**고 경고하며, 앞으로는 실제 사진과 복잡한 상황에서 여러 도구를 능숙하게 다룰 수 있는 AI 를 만들어야 한다고 말합니다.

5. 결론: AI 의 미래는 '현실 감각'이다

AgentVista는 AI 가 단순히 지식을 외우는 것을 넘어, 실제 인간의 삶 (집 수리, 쇼핑, 여행 계획 등) 에서 유용한 조력자가 될 수 있는지 확인하는 **'실전 훈련장'**입니다.

지금 AI 들은 아직 초보 수습생 수준이지만, 이 테스트를 통해 어떤 부분이 약한지 (예: 사진 디테일 파악, 긴 과정의 기억력) 를 정확히 파악할 수 있게 되었습니다. 앞으로는 이 '실전 시험'을 통과할 수 있는 똑똑하고 신뢰할 수 있는 AI 가 등장하기를 기대해 봅니다! 🚀

---

한 줄 요약:

"지금 AI 들은 '사진 보고 말하기'는 잘하지만, '사진 보고 복잡한 일 처리하기'는 아직 초보 수준입니다. 이 논문은 그 실력을 진짜 현실에서 테스트해 보는 새로운 기준을 제시합니다."

기술 요약

1. 문제 정의 (Problem Definition)

실제 세계의 멀티모달 에이전트는 시각적 증거에 기반한 다단계 워크플로우를 해결해야 합니다 (예: 배선 사진과 도면을 연결하여 기기 고장을 진단하거나, 교통 지도를 해석하여 여행 계획을 수립하는 등). 그러나 기존 멀티모달 벤치마크는 다음과 같은 한계가 있었습니다:

• 단순화된 평가: 주로 단일 턴의 시각적 추론이나 특정 도구 사용 기술 (웹 서핑, 코드 생성 등) 에만 초점을 맞추어, 실제 에이전트가 요구하는 장기적 (long-horizon) 도구 사용과 **시각적 미묘함 (visual subtlety)**을 포착하지 못함.
• 현실성 부족: 많은 벤치마크가 시각적 상태를 단순화하거나 일상적인 워크플로우와 동떨어진 도구 패턴을 사용하여, 실제 환경에서의 'Grounding(현실 기반 연결)' 능력을 제대로 평가하지 못함.
• 종합성 부재: 다양한 모달리티 (이미지, 텍스트, 코드) 를 가로지르는 복잡한 도구 상호작용을 통합적으로 평가할 수 있는 기준이 부재함.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 AGENTVISTA라는 새로운 벤치마크를 제안했습니다.

A. 데이터셋 구성 및 특징

• 규모: 총 209 개의 작업 (Tasks) 으로 구성되며, 7 개의 주요 카테고리 (기술, 상업, 지리, 엔터테인먼트, 사회, 학술, 문화) 와 25 개의 하위 도메인을 포괄합니다.
• 데이터 소스: 30 만 개 이상의 실제 이미지와 사용자 요구사항 (VisionArena, WildVision, 커뮤니티 포럼 등) 에서 수집.
• 핵심 설계 원칙:
  1. 비전 중심 (Vision-centric): 텍스트로 답할 수 없으며, 이미지 내의 세부적인 시각적 단서 (작은 텍스트, 복잡한 객체 관계 등) 를 이해하고 비교해야만 해결 가능한 과제.
  2. 자연스러운 혼합 도구 사용 (Natural Interleaved Hybrid Tool Use): 웹 검색, 이미지 검색, 페이지 탐색, 코드 실행 (이미지 처리 및 계산) 등 다양한 도구를 **교차 (interleaved)**하여 사용해야 함. 단일 도구만으로는 해결 불가능.
  3. 검증 가능성 (Verifiability): 명확하고 결정론적인 정답 (숫자, 엔티티 이름 등) 을 가지며, 시간이 지나도 변하지 않도록 사실 확인을 거침.

B. 데이터 생성 파이프라인

1. 에이전트 중심 필터링: CLAUDE-OPUS-4 를 활용해 시각적 정보가 풍부한 이미지와 검증 가능한 쿼리를 선별.
2. 전문가 최종화: 어노테이터가 실제 사용자 요청을 반영하여 쿼리를 다듬고, 정답과 핵심 증거를 기록.
3. 실행 필터링: 실제 도구 환경에서 작업을 실행하여 답이 도출 가능한지 확인. 최소 2 가지 이상의 도구 카테고리가 교차 사용되어야 함.
4. 이중 검증: 시각적 증거와 도구 단계, 정답의 유효성을 2 단계에 걸쳐 재확인.

C. 평가 환경

• 도구 세트: Web Search, Image Search, Visit (웹페이지 방문), Code Interpreter (이미지 처리 및 계산) 등 4 가지 핵심 도구 제공.
• 평가 모델: GPT-4.1, GPT-5 시리즈, GEMINI-3-PRO, CLAUDE 시리즈, QWEN3-VL 등 최첨단 멀티모달 모델 14 개 평가.
• 메트릭: 최종 정답 정확도 (Accuracy) 및 평균 도구 호출 턴 수.

3. 주요 기여 (Key Contributions)

1. 초고난도 현실적 벤치마크 제안: 기존 벤치마크보다 훨씬 복잡하고 현실적인 시각적 환경에서 장기적 도구 상호작용을 평가하는 최초의 포괄적인 벤치마크.
2. 다양한 도구 사용 패턴 통합: 시각 조작, 웹 검색, 코드 실행을 자연스럽게 혼합한 '하이브리드 워크플로우'를 평가할 수 있는 프레임워크 제공.
3. 모델 성능의 한계 규명: 현재 최첨단 모델조차 복잡한 멀티모달 에이전트 작업을 해결하는 데 심각한 어려움을 겪고 있음을 실증.

4. 실험 결과 (Results)

• 극도로 낮은 성능: 평가된 모든 모델 중 가장 성능이 좋은 GEMINI-3-PRO조차 전체 정확도가 **27.3%**에 불과함. 4 개의 모델은 15% 미만의 정확도를 기록.
• 장기적 상호작용의 어려움: 평균 도구 호출 턴 수는 12.67 회로, 많은 작업이 25 회 이상의 도구 호출을 필요로 함. 이는 단순한 도구 체인이 아닌 복잡한 추론이 필요함을 시사.
• 도메인별 편차: 모델마다 강점이 다른 도메인이 존재 (예: GPT-5 시리즈는 기술/상업 분야, GEMINI-3-PRO 는 지리/문화 분야). 그러나 어느 모델도 모든 도메인에서 일관된 능력을 보이지 않음.
• 멀티 이미지 입력의 효과: 단일 이미지보다 여러 이미지를 입력했을 때 성능이 향상됨 (GEMINI-3-PRO 의 경우 23.7% → 36.8%). 이는 추가적인 시각적 증거가 모호성을 줄여주기 때문.
• 오류 분석 (Error Analysis):
  • 가장 큰 실패 원인: 시각적 오인식 (Visual Misidentification). 이미지 내의 작은 단서를 잘못 읽거나 유사한 객체를 혼동하는 것이 전체 실패의 주원인.
  • 2 위 원인: 지식 환각 (Knowledge Hallucination). 검색된 정보나 이미지 증거 없이 사실을捏造하는 경우.
• 테스트 시간 확장 (Test-Time Scaling): 샘플링 횟수를 늘리고 Best-of-K 전략을 적용하면 성능이 향상되지만 (K=16 에서 30.62%), 여전히 해결되지 않는 과제가 많아 강화학습 등 추가 최적화가 필요함.

5. 의의 및 결론 (Significance)

• 현실적 에이전트 개발의 길잡이: AGENTVISTA 는 현재 멀티모달 에이전트가 직면한 시각적 Grounding과 장기적 도구 사용의 병목 현상을 명확히 보여줍니다.
• 향후 연구 방향 제시: 단순히 도구를 호출하는 것을 넘어, 시각적 세부 사항을 정확하게 인식하고 이를 바탕으로 신뢰할 수 있는 추론을 수행하는 모델 개발의 필요성을 강조합니다.
• 실용적 응용: 쇼핑 보조, 여행 계획, 기기 고장 진단 등 실제 사용자 요구를 충족시키는 신뢰할 수 있는 에이전트 개발을 가속화할 것으로 기대됩니다.

요약하자면, AGENTVISTA는 현재 AI 에이전트들이 "눈으로 보고, 도구를 활용하며, 복잡한 현실 문제를 해결하는" 능력에서 여전히 큰 한계가 있음을 드러내는 중요한 벤치마크이며, 이를 통해 더 강력하고 신뢰할 수 있는 멀티모달 에이전트 개발을 촉진할 것입니다.