기술 요약: MCP-Cosmos

문제 정의

모델 컨텍스트 프로토콜 (MCP) 은 대규모 언어 모델 (LLM) 과 외부 도구 간의 인터페이스를 표준화했으나, 에이전트가 운영 환경을 개념화하는 방식에는 근본적인 아키텍처 격차가 여전히 존재합니다. 현재 패러다임은 다음과 같이 양분되어 있습니다:

1. 계획 중심 프레임워크(예: TaskBench) 는 정적 도구 정의와 고수준 의사결정에 의존하지만, 실제 실행 역학의 확률적 특성을 종종 간과합니다.
2. 반응형 실행 프레임워크(예: MCP-Bench 의 ReAct) 는 교차된 관찰과 행동을 통해 환경을 탐색하지만, '수평선 근시 (horizon myopia)'로 고통받습니다. 이러한 에이전트는 종종 하류 결과를 예측하지 못해 불필요한 도구 호출, 되돌릴 수 없는 상태 실패, 그리고 비효율적인 탐색을 초래합니다.

핵심 문제는 에이전트가 실제 실행에 착수하기 전에 잠재 공간에서 상태 전이를 시뮬레이션하고 계획을 정제할 메커니즘이 부재하여, 비용이 많이 드는 실제 세계의 실패를 방지하지 못한다는 점입니다.

방법론: MCP-Cosmos

저자들은 에이전트를 반응형 실행에서 **예측적 인지 (Predictive Cognition)**로 전환하기 위해 MCP 상호작용 루프에 **월드 모델 (World Models, WM)**을 통합하는 MCP-Cosmos 프레임워크를 제안합니다. 이 프레임워크는 "Bring Your Own World Model (BYOWM)" 전략을 기반으로 하여, 이질적인 월드 모델이 모듈식으로 통합될 수 있도록 합니다.

워크플로우는 두 가지 명확한 단계로 구성됩니다:

1. 1 단계: 시뮬레이션 및 사전 계획 수립: 에이전트는 실제 실행의 비용을 치르지 않고 잠재 공간에서 잠재적인 행동 시퀀스를 시뮬레이션하기 위해 월드 모델을 활용합니다. 에이전트는 실행 가능한 궤적이 식별될 때까지 시뮬레이션된 관찰에 기반하여 도구 호출을 반복적으로 생성하고 계획을 수정합니다. 이 단계에서는 MCP 도구 정의를 단순한 API 엔드포인트가 아닌 예측적 월드 모델 ($P(s_{t+1}|s_t, a_t)$) 의 구성 요소로 간주합니다.
2. 2 단계: 실제 환경 실행: 에이전트는 실제 환경에서 선택된 최적의 계획을 실행합니다. 프레임워크는 실패 시 계획 조정을 지원하지만, 초기 예측적 계획의 효과를 격리하기 위해 벤치마킹 파이프라인에서는 수정 단계를 제외했습니다.

실험 설정:

• 데이터셋: 2-3 개의 서버 시나리오에 걸쳐 교차 도메인 도구 의존성과 모호한 지시를 가진 MCP-Bench의 24 개 비용 효율적 작업.
• 에이전트 아키텍처:
  • ReAct (베이스라인): 월드 모델 없이 표준 추론 및 실행.
  • ReAct-Plan-Exec: 실행 전 월드 모델 시뮬레이션을 사용하여 사전 계획을 생성.
  • SPIRAL-Exec: 예측적 시뮬레이션을 위해 LLM 플래너 및 시뮬레이터가 지원하는 몬테카를로 트리 검색 (MCTS) 사용.
• 월드 모델: 세 가지 모델을 평가했습니다:
  • GPT-OSS-120B 및 Claude-Sonnet-4.6(LLM 기반 월드 모델).
  • Arctic-AWM-4B(MCP 환경에 특별히 훈련된 4B 파라미터 에이전트 월드 모델).

주요 기여

1. BYOWM 아키텍처: 기존 MCP 생태계에 이질적인 월드 모델을 통합할 수 있는 모듈식 에이전트 전략.
2. 예측 효율성 벤치마킹: 300 개 이상의 궤적을 통해 월드 모델이 통합된 에이전트와 강력한 베이스라인 간의 비교 분석.
3. 평가 격차 분석: 월드 모델의 특정 이점 (실패 방지 및 중복 감소 등) 을 포착하지 못하는 현재 지표 (작업 완결성을 우선시함) 의 한계 식별.
4. 새로운 평가 지표 (실행 품질): 도구 호출 성공률과 정규화된 평균 도구 호출 수의 평균으로 정의된 실행 품질 (Execution Quality) 제안. 이 지표는 불필요한 재시도를 패널티로 부과하고 효율적인 실행을 보상하며, 불필요한 호출이 지연과 비용을 증가시키는 실제 배포 제약을 더 잘 반영합니다.

결과

실험은 정확성, 효율성, 모델 능력 간의 상충 관계에 대해 미묘한 결과를 도출했습니다:

• 베이스라인 대비 성능: 월드 모델이 강화된 에이전트 (ReAct-Plan-Exec 및 SPIRAL-Exec) 는 도구 선택, 파라미터 정확도, 그리고 계획 효과성(특히 병렬 처리 및 의존성 인식) 에서 ReAct 베이스라인을 일관되게 능가했습니다.
• 작업 완결성: 흥미롭게도 베이스라인 ReAct 에이전트가 가장 높은 작업 이행 및 작업 완결성 점수를 유지했습니다. 이는 월드 모델이 도구 선택의 품질을 향상시키지만, 베이스라인의 시행착오 복구 루프가 덜 효율적이기는 해도 결국 올바른 결과에 도달하는 데 여전히 효과적임을 시사합니다.
• 효율성 향상: 월드 모델의 도입은 도구 호출 수를 크게 줄였습니다. 예를 들어, SPIRAL-Exec + AWM-4B 구성은 낮은 단계 수로 완벽한 실행 품질 점수를 달성한 반면, 베이스라인 ReAct 에이전트는 훨씬 더 많은 호출이 필요했습니다 (WM 에이전트의 경우 평균 1.12~7.91 회 대비 7.04 회).
• 플래너 상호작용: 월드 모델이 없는 더 강력한 플래너 (Claude-Sonnet-4.6) 는 공격적인 탐색을 보이며 GPT-OSS-120B 베이스라인보다 거의 4 배 많은 도구 호출을 발생시켰습니다. 그러나 월드 모델과 짝을 이룰 때, 더 강력한 플래너의 탐색은 제한되어 실시간 환경을 탐구하기보다는 검증된 계획에 착수하도록 강요받았습니다.
• 모델별 세부 사항: 전용으로 제작된 Arctic-AWM-4B는 대부분의 구성에서 범용 LLM(GPT-OSS-120B, Claude-Sonnet-4.6) 만큼 효과적이지는 않았지만, 효율성 지표에서는 뛰어났습니다.

중요성 및 주장

본 논문은 MCP-Cosmos 가 반응형 실행에서 예측적 인지로의 전환이 에이전트의 견고성과 자원 효율성을 크게 향상시킬 수 있음을 보여준다고 주장합니다. 환경 전이 역학을 내부화함으로써 에이전트는 실제 실행 전에 궤적을 정제하기 위해 가상의 선제적 탐색을 수행할 수 있습니다.

저자들은 이 맥락에서 월드 모델의 주요 가치가 반드시 더 높은 원시 작업 완결률 달성 (반응형 에이전트가 종종 무차별적인 재시도를 통해 달성할 수 있음) 에 있는 것이 아니라, 실행 오버헤드 감소에 있다고 강조합니다. 제안된 실행 품질 지표는 전통적인 지표가 종종 간과하는 이러한 효율성 향상을 포착하기 위한 평가 방법론의 필수적인 진화로 제시됩니다.

이 연구는 현재 전문화된 월드 모델 (AWM-4B 등) 이 모든 측면에서 범용 LLM 을 능가하지는 않을 수 있지만, MCP-Cosmos 프레임워크와 평가 스위트는 특히 도구 호출 실패와 중복이 중요한 비용이 되는 복잡하고 다단계 작업에 대해 향후 MCP 전용 월드 모델을 평가하고 발전시키는 데 필요한 인프라를 제공한다고 결론지었습니다.