기술 요약: LiveMCP-101

문제 제기

AI 에이전트가 외부 도구와 상호작용하는 능력을 입증해 왔음에도 불구하고, 현재 평가 벤치마크는 emerging 모델 컨텍스트 프로토콜 (MCP) 에 적용될 때 상당한 한계를 겪고 있습니다. 기존 벤치마크는 주로 정적이고 공급자별 도구 정의와 합성 또는 모의 환경에 의존합니다. 이러한 설정은 시간이 지남에 따라 데이터가 변하고 도구 사용 가능성이 변화하는 실제 세계 도구 응답의 시간적 변동성과 동적 특성을 포착하지 못합니다. 그 결과, 현실적인 시나리오에서 복잡한 다단계 작업을 해결하기 위해 여러 MCP 도구를 동적으로 발견하고 조정하며 오케스트레이션해야 하는 에이전트에 대한 엄격한 스트레스 테스트가 부족합니다.

방법론

1. 벤치마크 구축: LiveMCP-101

저자들은 다양한 MCP 도구의 조화된 사용을 요구하는 101 개의 실제 세계 쿼리로 구성된 LiveMCP-101 벤치마크를 소개합니다.

• 범위: 이 벤치마크는 여행, 소프트웨어 개발, 금융, 지식 연구 등의 카테고리에 걸쳐 41 개의 MCP 서버와 260 개의 도구를 포괄합니다.
• 난이도 계층화: 작업은 세 가지 등급으로 분류됩니다: 쉬움 (30), 중간 (30), 어려움 (41). 난이도는 추론 복잡성 (계획/파라미터화) 과 도구 체인 길이에 따라 결정됩니다.
• 쿼리 생성: 쿼리는 LLM(GPT-4.1 및 o3) 을 사용하여 생성되었으며, 해결 가능성, 명확성 및 객관적 검증 가능성을 보장하기 위해 반복적인 인간-루프 수정을 거쳐 정제되었습니다.
• 실행 계획: 각 쿼리는 도구 호출의 단계별 시퀀스, 명시적 파라미터화, 그리고 후처리 코드를 지정하는 검증된 실행 계획과 짝을 이룹니다. 이러한 계획은 평균 5.4 회의 도구 호출(최대 15 회) 을 포함하며, 라이브 환경에 대해 결정적으로 올바른 결과를 산출하도록 수동으로 검증되었습니다.

2. 병렬 평가 프레임워크

라이브 도구 응답의 비정상적 특성을 해결하기 위해 저자들은 병렬 평가 프레임워크를 제안합니다:

• 참조 에이전트: 참조 에이전트는 검증된 실행 계획을 엄격히 따라 동시성 참조 출력을 생성합니다. 이는 정적 사전 계산 답변이 아닌 평가 시점의 동적 기준 진실 (ground truth) 로서 기능합니다.
• 평가 대상 에이전트: 대상 에이전트는 쿼리와 사전 정의된 도구 풀 (방해 요소 포함) 을 수신하여 작업을 자율적으로 계획하고 실행합니다.
• 판정: LLM 판정자 (GPT-4.1) 는 1~5 리커트 척도를 사용하여 참조 출력에 대비해 평가 대상 에이전트의 최종 결과 및 실행 궤적을 점수화합니다. 이 설정은 시간적 드리프트를 완화하고 공정한 비교를 가능하게 합니다.

3. 지표

평가에는 다섯 가지 주요 지표를 사용합니다:

• 작업 성공률 (TSR): 올바르게 해결된 작업의 비율.
• 평균 결과 점수 (ARS): 최종 출력의 평균 정규화 점수.
• 평균 궤적 점수 (ATS): 실행 경로에서의 논리적 일관성과 완전성에 대한 평가.
• 평균 토큰 소비: 작업당 총 출력 토큰 수.
• 평균 도구 호출: 작업당 총 도구 호출 횟수.

주요 기여

1. LiveMCP-101 벤치마크: 동적 환경에서 조화된 MCP 도구 사용을 평가하도록 설계된 101 개의 다양한 실제 세계 다단계 작업 데이터셋.
2. 병렬 평가 프로토콜: 검증된 실행 계획을 기반으로 실시간 참조 출력을 생성하는 새로운 접근 방식으로, 라이브 도구 평가에서의 시간적 드리프트 문제를 해결합니다.
3. 포괄적인 모델 평가: 18 개의 대표적인 LLM(GPT-5 와 같은 최첨단 폐쇄형 모델과 Qwen 및 Llama 와 같은 오픈소스 모델 포함) 에 대한 체계적 평가.
4. 세부적인 실패 분석: 향후 개선을 위한 진단 프레임워크를 제공하기 위해 세 가지 주요 오류 범주에 걸쳐 7 가지 고유한 실패 모드를 식별.

실험 결과

성능 개요

18 개 모델을 대상으로 한 실험은 현재 에이전트 능력과 실제 세계 다단계 도구 오케스트레이션 요구 사항 사이에 상당한 격차가 있음을 보여줍니다:

• 낮은 성공률: 가장 강력한 최첨단 모델인 GPT-5조차 전체적으로 작업 성공률 (TSR) 이 **58.42%**에 불과하며, 어려운 작업에서는 **39.02%**로 떨어집니다.
• 모델 계층: 최상위 성능 모델로는 GPT-5, o3, GPT-5-mini 가 포함됩니다. 중위권 모델 (예: GPT-4.1, Gemini-2.5-Pro) 은 합리적인 성능을 보이지만 크게 뒤처집니다. 오픈소스 모델은 뒤처져 있으며, Qwen3-235B-A22B가 최고의 오픈소스 TSR(22.77%) 을 달성했고 Llama 모델은 부진한 성능을 보였습니다.
• 상관관계: 더 높은 궤적 점수 (ATS) 는 결과 점수 (ARS) 와 양의 상관관계를 보이며, 이는 신뢰할 수 있는 도구 선택과 파라미터화가 성공에 중요함을 시사합니다.

토큰 효율성

• 폐쇄형 모델: 작은 토큰 예산으로 TSR 이 급격히 상승한 후 정체되는 "로그 모양"의 경향을 보입니다. 추가 토큰은 체감 수익을 감소시키며, 종종 새로운 증거 대신 중복성을 추가합니다.
• 오픈소스 모델: 더 낮은 토큰 효율성을 보여주며, 현저히 낮은 성공률을 달성하기 위해 동등하거나 더 높은 토큰 예산이 필요하여, 토큰을 신뢰할 수 있는 증거로 전환하는 데 어려움을 겪음을 시사합니다.

실패 분석

저자들은 세 가지 그룹으로 분류된 7 가지 실패 모드를 식별합니다:

1. 도구 계획 및 오케스트레이션 오류:
   • 요구 사항 무시: 명시적 제약 조건 누락.
   • 과도한 자신감 있는 자체 해결: 도구 호출 없이 내부 지식으로 답변 시도.
   • 비생산적 사고: 실행 없이 장황한 계획 루프.
   • 잘못된 도구 선택: 부적절한 도구 선택.
2. 파라미터 오류:
   • 구문 오류: 잘못 형성된 파라미터 (예: 잘못된 유형).
   • 의미 오류: 작업 의도와 불일치하는 잘 형성된 파라미터.
3. 출력 처리 오류:
   • 출력 파싱 오류: 도구 출력을 올바르게 파싱하거나 변환하지 못함 (예: JSON 추출 실패).

주요 발견: 의미 오류는 최상위 모델의 지배적인 실패 모드 (16~25%) 이며, 구문 오류는 성능이 낮은 모델 (Llama-3.3 의 경우 최대 48%) 을 괴롭힙니다. 출력 파싱 오류는 모든 모델에 걸쳐 지속적인 "마지막 마일" 문제를 나타냅니다.

중요성 및 주장

이 논문은 LiveMCP-101이 정적 벤치마크를 넘어 동적 다단계 도구 오케스트레이션의 복잡성을 해결하는 실제 세계 에이전트 능력 평가에 대한 엄격한 기준을 설정한다고 주장합니다. 결과는 최첨단 LLM 조차도 현실적인 시나리오에서 신뢰성에 어려움을 겪고 있음을 강조하며, 계획, 파라미터화, 출력 처리에 대한 표적 개선의 필요성을 부각시킵니다.

저자들은 이 작업을 더 신뢰할 수 있고 신뢰할 만한 자율 에이전트 개발을 촉진하는 진단 도구로 위치시킵니다. 시간적 변동성과 복잡한 제약 조건에 대비해 에이전트를 스트레스 테스트할 수 있는 프레임워크를 제공함으로써, 이 논문은 자율 시스템의 광범위한 배포와 관련된 위험을 완화하고 실제 적용 전 견고성을 보장하는 것을 목표로 합니다. 이 작업은 이러한 에이전트 한계를 해결한다고 주장하는 것이 아니라, 더 능력이 있는 MCP 지원 에이전트를 향한 향후 연구를 안내하기 위해 필요한 벤치마크와 실패 분석을 제공합니다.