LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트가 외부 도구 (Tool) 를 활용하는 능력은 일반 지능 (AGI) 으로 가는 핵심 단계입니다. 특히 **모델 컨텍스트 프로토콜 (MCP, Model Context Protocol)**은 LLM 과 외부 도구를 연결하는 핵심 인프라로 급성장하여 10,000 개 이상의 서버와 다양한 도구를 보유하고 있습니다.

그러나 기존 평가 벤치마크는 다음과 같은 한계로 인해 실제 MCP 사용 환경을 제대로 반영하지 못합니다:

• 제한된 규모: 기존 벤치마크 (예: MCPBench) 는 소수의 서버 (약 10 개) 만을 다루며, 대규모 도구 검색 (Retrieval) 과 다중 도구 조합 (Composition) 의 복잡성을 무시합니다.
• 비현실적인 설정: 많은 도구 벤치마크가 시뮬레이션된 API 나 불안정한 실제 API 에 의존하며, MCP 의 안정적이고 패키지화된 관리 모델을 반영하지 못합니다.
• 정적 환경 평가: 실제 MCP 환경은 실시간 데이터 (뉴스, 주식, 날씨 등) 를 기반으로 동적으로 변하지만, 기존 평가는 정적 데이터에 머무릅니다.

따라서 대규모, 다양한 MCP 생태계에서 에이전트의 도구 검색 및 조합 능력을 어떻게 체계적으로 평가할 수 있는지, 그리고 동적이고 재현 가능한 평가 방법론을 어떻게 설계할 것인지가 주요 연구 질문입니다.

2. 제안된 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 LiveMCPBench를 제안했습니다. 이는 세 가지 핵심 구성 요소로 이루어집니다.

2.1 LiveMCPBench (벤치마크)

• 다양한 일상 작업 (Diverse Daily Tasks): 6 가지 도메인 (사무, 라이프스타일, 여가, 금융, 여행, 쇼핑) 에 속한 95 개의 다단계 일상 작업을 포함합니다.
• 동적 특성: 작업은 실시간 정보 (날씨, 뉴스, 주가 등) 에 의존하며, 단일 도구 호출이 아닌 여러 도구의 조합과 순차적 추론을 요구합니다.
• 작업 생성: 컴퓨터 과학 전공 학생 2 개 그룹 (제안자 및 검증자) 이 참여하여 실제 시나리오 기반의 작업을 제안하고, LLM 을 보조적으로 활용하되 인간이 엄격하게 검증하는 2 단계 프로세스를 거쳤습니다.

2.2 LiveMCPTool (도구셋)

• 대규모 재현 가능 도구셋: 10,000 개 이상의 MCP 서버 중 의존성 (API 키 등) 없이 즉시 사용 가능한 70 개의 MCP 서버와 527 개의 도구를 선별하여 Docker 환경으로 패키징했습니다.
• 범용성: 발견 (Discovery), 시각화 (Visualization), 파일 접근 (File Access) 등 5 가지 기능 카테고리로 분류되어 있으며, 외부 API 키 설정 없이도 재현 가능한 실험 환경을 제공합니다.

2.3 LiveMCPEval (평가 프레임워크)

• LLM-as-a-Judge: 고정된 정답 경로 대신, **핵심 포인트 (Key Points)**를 기반으로 작업 성공 여부를 판단합니다.
• 동적 평가: 실시간으로 변하는 데이터 소스 (날씨, 뉴스 등) 와 여러 개의 유효한 해결 경로 (Solution Trajectories) 를 모두 수용할 수 있는 자동 평가 시스템을 구축했습니다.
• 확장성: 새로운 MCP 서버와 작업이 추가되어도 비용 없이 확장 가능한 구조를 가집니다.

2.4 MCP Copilot Agent (베이스라인 에이전트)

• ReACT 기반 에이전트: 도구 검색 (Route) 과 실행 (Execute) 을 반복하는 ReACT 패턴을 따르며, MCP 의 서버 - 도구 계층 구조를 이해하고 적응적으로 도구 조합을 수행합니다.
• POMDP 모델링: 부분 관측 마코프 결정 과정으로 모델링하여, 도구 설명과 실행 피드백을 기반으로 최적의 행동을 선택합니다.

3. 주요 기여 (Key Contributions)

1. LiveMCPBench 도입: 대규모 MCP 생태계에서의 검색 및 다중 도구 조합 능력을 평가하는 최초의 대규모, 재현 가능한 벤치마크 (95 개 작업, 70 개 서버, 527 개 도구) 를 제시했습니다.
2. 재현 가능한 도구셋 및 평가 프레임워크: API 키 설정 없이 바로 사용할 수 있는 도구셋과 동적 환경에서의 자동 평가 프레임워크를 공개하여 연구의 재현성을 높였습니다.
3. 대규모 진단 및 통찰: 12 개의 최첨단 LLM 을 평가하여 도구 검색이 주요 병목 현상임을 규명하고, 능동적인 도구 조합이 성공률과 강한 상관관계가 있음을 증명했습니다.

4. 실험 결과 (Results)

12 개의 최첨단 LLM (Claude, GPT, Qwen, DeepSeek, Gemini 등) 을 대상으로 실험한 결과는 다음과 같습니다:

• 성능 격차: Claude-Sonnet-4 가 **78.95%**의 높은 작업 성공률을 보인 반면, 대부분의 모델은 30~50% 수준에 머물렀습니다.
• 도구 조합의 중요성: 성공률이 높은 모델 (Claude-Sonnet-4) 은 평균적으로 더 많은 도구 (2.71 개) 를 호출하고 실행 (5.59 회) 하며, 능동적으로 탐색하는 경향을 보였습니다. 반면, 소극적인 모델은 실패율이 높았습니다.
• 주요 병목 현상 (Error Analysis): 실패 사례의 약 **50%**가 도구 검색 (Retrieval) 오류에서 발생했습니다. 이는 에이전트가 필요한 도구를 찾지 못하거나 잘못된 도구를 선택하는 문제가 가장 큰 장애물임을 시사합니다.
  • Query Error: 잘못된 쿼리 생성
  • Retrieve Error: 의미적 유사성 부족으로 적절한 도구 미검색 (가장 빈번)
  • Tool Error: 올바른 도구를 찾았으나 파라미터 입력 오류
  • Other Error: 네트워크 타임아웃 등 처리 실패
• 평가 신뢰도: DeepSeek-V3 를 평가자로 사용할 때 인간 annotator 와의 일치율이 **81.05%**에 달하여, 자동 평가 프레임워크의 신뢰성을 입증했습니다.

5. 의의 및 시사점 (Significance)

• 실제 환경 반영: 기존 시뮬레이션 기반 벤치마크를 넘어, 실제 MCP 생태계의 동적이고 대규모 특성을 반영한 최초의 평가 기준을 제시했습니다.
• 연구 방향 제시: 에이전트의 성능 향상을 위해서는 단순한 추론 능력 강화뿐만 아니라, 강건한 도구 검색 (Retrieval) 메커니즘과 효율적인 도구 조합 (Composition) 전략에 대한 연구가 시급함을 강조했습니다.
• 오픈 소스 및 재현성: 코드, 데이터, 도구셋을 공개하여 (https://icip-cas.github.io/LiveMCPBench) 향후 MCP 에이전트 연구의 표준 벤치마크 역할을 할 것으로 기대됩니다.

결론적으로, 이 논문은 MCP 기반 에이전트가 방대한 도구 바다를 항해할 때 직면하는 검색의 어려움과 조합의 복잡성을 체계적으로 진단하고, 이를 해결하기 위한 새로운 평가 패러다임을 제시했다는 점에서 큰 의의가 있습니다.