기술 요약: ComplexMCP

문제 제기

현재의 대규모 언어 모델 (LLM) 에이전트는 고립된 API 호출에서는 숙련도를 보이지만, 상업용 소프트웨어 자동화의 "마지막 1 마일"에서는 현저히 어려움을 겪습니다. 실제 기업 및 소비자 환경에서 도구들은 거의 독립적이지 않으며, 원자적이고 상호의존성이 매우 높으며, 환경적 노이즈 (예: 네트워크 지연, 상태 불일치, 일시적 오류 등) 에 취약합니다. 기존 벤치마크는 이러한 복잡성을 포착하지 못합니다. ToolBench 와 같은 데이터셋은 현실적인 실행 환경 없이 독립적인 RESTful API 에 의존하는 반면, $\tau$-Bench 나 BFCL 과 같은 다른 벤치마크는 규모가 부족하거나, 실제 호출 없이 추상 구문 트리 매칭에 의존하거나, 현실 세계의 모호성과 확률적 특성이 결여된 정밀하게 정의된 환경을 사용합니다. 결과적으로, 에이전트가 대규모 상호의존적 도구 생태계를 견고하게 탐색하고 오류 복원력을 입증하는 능력을 평가하는 데 결정적인 격차가 존재합니다.

방법론

저자들은 동적이고 상태가 있으며 확률적인 도구 생태계를 시뮬레이션하기 위해 모델 컨텍스트 프로토콜 (MCP) 을 기반으로 구축된 엄격한 평가 프레임워크인 ComplexMCP를 소개합니다.

1. 시스템 아키텍처

ComplexMCP 는 15 개의 MCP 서버에 걸쳐 있는 315 개의 서로 다른 도구를 통합하며, 두 가지 패러다임으로 분류됩니다:

• 상태 유지 서버 (7 개 애플리케이션): 에이전트의 실행 과정에서 지속적인 환경 상태 ($S$) 를 유지합니다. 여기에는 LightOS(시스템 조정), LightTalk(소셜 플랫폼), LightShop(전자상거래), LightWeather(기상), LightFlight(항공), LightStock(금융 거래), LightNews(미디어) 가 포함됩니다. 이러한 도구들은 강력한 상호의존성을 보입니다. 예를 들어, 메시지를 보내려면 사용자 ID 를 해결하고, 네트워크 상태를 확인하며, 연락처 차단 해제 작업을 수행해야 할 수 있습니다.
• 상태 비유지 서버 (8 개 애플리케이션): 호출 간 상태를 유지하지 않고 수학, 암호학, 화학, 문자열 처리와 같은 독립적인 기능적 작업을 처리합니다.

2. 시드 기반 동역학

재현성과 환경적 다양성을 모두 보장하기 위해 ComplexMCP 는 시드 기반 아키텍처를 사용합니다. 단일 무작위 시드 ($\sigma$) 가 결정적으로 다음을 제어합니다:

• 환경 초기화: 시드를 기반으로 합성 지식 베이스 (사용자 프로필, 거래 내역 등) 가 샘플링되어 고유하지만 구조적으로 일관된 환경을 생성합니다.
• 실행 교란: 시드는 API 실패나 네트워크 지연과 같은 실행 중의 확률적 사건을 지배하여 현실 세계의 예측 불가능성을 시뮬레이션합니다.

3. 평가 프레임워크

이 벤치마크는 주관적인 LLM-판정자 (LLM-as-a-judge) 점수 매기기가 아닌 결정론적 규칙 기반 평가 시스템을 활용합니다.

• 지표: 시스템은 수동으로 선별된 지시 세트에서 파생된 기준 진실 목표 상태 ($env_{gt}$) 에 대해 최종 환경 상태 ($env_{new}$) 를 비교합니다.
• 주요 지표:
  • 완료율 ($R_c$): 올바르게 수정된 상태 요소의 수를 총 필요한 변경 사항의 수로 나눈 비율.
  • 오작동률 ($R_b$): 변경되지 않아야 할 상태 요소를 수정하는 등 의도하지 않은 부작용의 비율.
• 성공 기준: $R_c = 1$이고 $R_b = 0$일 때만 궤적이 정확하다고 간주됩니다.

4. 실험 설정

저자들은 47 개 수동으로 선별된 작업에 걸쳐 16 개의 최첨단 상용 LLM(GPT-4o, GPT-5, Gemini 시리즈, Claude 시리즈, Llama-3, Qwen-3-Max, DeepSeek-V3 등 포함) 을 평가했습니다. 이러한 작업들은 명시적 힌트 없이 여러 도구를 조정해야 하므로 에이전트가 내부 추론에 의존하도록 강제합니다. 연구에서는 효율성과 논리적 무결성 간의 트레이드오프를 평가하기 위해 "전체 컨텍스트 (Full-Context)" 프롬프팅과 검색 증강 생성 (RAG) 전략 (표준 및 반복적) 을 비교했습니다.

주요 결과

평가 결과, 현재 최첨단 (SOTA) 모델과 인간 수행 능력 사이에 극명한 성능 격차가 드러났습니다:

• 성공률: 최고 성능 모델인 Gemini-3-Flash는 **55.31%**의 성공률을 기록한 반면, GPT-5.1은 **19.14%**를 기록했습니다. 반면, 인간 자원봉사자들은 **93.61%**의 성공률을 달성했습니다.
• 토큰 병목 현상: "전체 컨텍스트" ReAct 패러다임은 막대한 토큰 오버헤드를 초래합니다. 평균 11 회 도구 라운드가 필요한 작업의 경우, 도구 설명이 약 30,000 토큰 포함된 초기 시스템 프롬프트가 12 번 재제출되어 작업당 약 360,000 개의 입력 토큰이 발생합니다. 이는 상당한 경제적 비용과 지연 시간을 초래합니다.
• RAG 의 한계: 반복적 RAG 는 토큰 수를 줄여 효율성을 개선했지만, 전체 컨텍스트 방법의 성능을 따라잡지 못했습니다. 저자들은 이를 복잡한 다단계 워크플로우에 필수적인 잠재적 도구 의존성을 의미 기반 검색이 포착하지 못했기 때문이라고 분석했습니다.

식별된 실패 모드

세밀한 궤적 분석은 세 가지 근본적인 병목 현상을 식별했습니다:

1. 도구 검색 포화: 행동 공간이 확장됨에 따라 (예: 300 개 이상의 도구), 많은 모델이 "인지 과부하"를 겪어 성공률이 감소합니다. 일부 모델 (Gemini-3-Flash, Claude-Opus-4) 은 긴 컨텍스트 처리를 통해 이를 완화하는 반면, 다른 모델 (GPT-4o, DeepSeek-V3) 은 현저히 어려움을 겪습니다.
2. "청정 상태" 편향 (과신): 모델들은 종종 환경이 기본값이나 비어 있는 상태에 있다고 가정하여, 기존 장바구니 내용이나 네트워크 상태 확인과 같은 중요한 검증 단계를 생략합니다. 이로 인해 중복 항목 구매나 기존 충돌 해결 실패와 같은 의도하지 않은 결과가 발생합니다.
3. 전략적 체념: 일시적 오류 (예: 네트워크 타임아웃) 를 마주치면 모델들은 재시도나 acc_network와 같은 완화 도구 호출과 같은 복구 전략을 시도하기보다 작업을 조기에 중단하는 경우가 많습니다. 이러한 행동은 GPT-5 에서 특히 두드러졌는데, 대체 솔루션을 추구하기보다 "정중하게 항복"하는 경향이 있었습니다.

중요성과 주장

이 논문은 ComplexMCP를 차세대 견고한 자율 시스템을 위한 핵심 테스트베드로 위치시킵니다. 주요 기여점은 다음과 같습니다:

• 현실성: 통합된 MCP 네이티브 아키텍처 하에 대규모 도구 세트와 상태 유지, 확률적, 동적 환경을 동시에 통합한 최초의 벤치마크입니다.
• 진단 가치: "청정 상태" 편향 및 전략적 체념과 같은 구체적인 실패 모드를 식별함으로써, 단순 도구 호출을 넘어 진정한 환경 인식 및 복구로 에이전트의 견고성을 개선하기 위한 명확한 로드맵을 제공합니다.
• 표준화: 모델 컨텍스트 프로토콜을 활용함으로써 ComplexMCP 는 도구 사용 인터페이스의 표준화되고 재현 가능하며 상호 운용 가능한 평가를 촉진하여 현재 에이전트 연구의 분열 문제를 해결합니다.

저자들은 현재 에이전트들이 가능성을 보이지만 상호의존적 워크플로우에는 여전히 부족하며, ComplexMCP 가 현실 세계 소프트웨어 자동화의 복잡성을 처리할 수 있는 에이전트 개발을 위한 필수적인 단계라고 결론지었습니다.