🤖 AI

MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation

이 논문은 다양한 사회적 및 기업용 도구와의 상호작용을 시뮬레이션함으로써 실세계의 개인화된 애플리케이션에서 대규모 언어 모델 에이전트를 평가하기 위해 설계된 최초의 벤치마크인 MCP-Persona를 소개하며, 이를 통해 현재의 최첨단 시스템들이 가진 상당한 성능 격차를 밝혀낸다.

원저자: Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 뛰어난 로봇 비서(AI 에이전트)가 있다고 상상해 보세요. 이 로봇은 교과서에 나온 질문에 답하는 데는 아주 능숙합니다. 하지만 이제 당신은 이 로봇을 고용해 당신의 실제 삶을 관리하게 하고 싶습니다. 실제 달력을 확인하고, 실제 소셜 미디어에 게시물을 올리고, 실제 동료들에게 메시지를 보내는 일 말이죠.

문제는 이 로봇이 당신의 세상에서 실제로 살아본 적이 없다는 것입니다. 이는 마치 조종사에게 평평하고 텅 빈 하늘만 있는 비행 시뮬레이터를 훈련시킨 뒤, 이제 실제 폭풍우가 몰아치고 승객이 탑승한 실제 비행기에 착륙하라고 요구하는 것과 같습니다.

이 논문인 MCP-Persona는 우리가 이 로봇들을 우리 실제 삶에 풀어놓기 전에, 이들을 테스트할 수 있는 새로운 방법을 소개합니다. 다음은 쉬운 비유를 사용한 요약입니다.

1. 문제점: "교과서" vs. "실제 세상"

현재 AI 에이전트에 대한 테스트는 학생에게 깨끗한 화이트보드 위에서 수학 문제를 풀라고 하는 것과 같습니다. 그곳에서는 잘 작동하죠. 하지만 실제 삶은 복잡합니다.

격차: 실제 앱(Slack, Instagram, 또는 업무용 달력 등)은 "개인적"입니다. 이 앱들은 당신의 이름, 친구, 이력, 그리고 비밀을 알고 있습니다.
프라이버시 장벽: AI를 테스트하기 위해 연구자에게 당신의 실제 비밀번호를 그냥 줄 수는 없습니다. 그것은 보안상의 재앙입니다.
결과: 지금까지는 AI가 당신의 개인적인 디지털 삶을 처리하다가 충돌하거나 실수를 하지 않을지 안전하고 공정하게 확인할 방법이 없었습니다.

2. 해결책: "디지털 트윈" 도시 구축

저자들은 실제 사람의 데이터를 사용하지 않으면서도 실제 앱을 완벽하게 모방하는 고도의 기술적인 안전한 "테마파크", 즉 MCP-Persona를 구축했습니다.

그들은 세 가지 창의적인 단계를 거쳤습니다.

단계 A: "스파이" 도구 (Tool-Traverse)
단순히 앱의 설명서(종종 불완전한)를 읽는 대신, 그들은 로봇을 보내 실제 앱을 수천 번 직접 사용하게 했습니다. 로봇은 모든 버튼을 클릭하고, 무언가를 망가뜨려 보기도 하며, 성공과 실패에 대해 앱이 어떻게 반응하는지를 정확하게 기록했습니다.
- 비유: 운전 매뉴얼을 읽는 것이 아니라, 로봇이 차를 1,000번 운전하게 하여 브레이크가 어떻게 끼익 소리를 내고 엔진이 어떻게 멈추는지 정확히 배우게 하는 것과 같습니다. 그 후 그들은 이 데이터를 사용하여 실제 앱과 똑같이 작동하는 완벽한 "가짜" 버전의 앱을 만들었습니다.
단계 B: "가짜 인생" (Context-Tree)
테스트를 현실적으로 만들기 위해, 그들은 가짜 사용자 프로필이 필요했습니다. 그들은 "데이터 트리"를 구축했습니다. 줄기는 "사용자"이고, 가지는 "달력", "메시지", "사진"입니다. 그들은 실제 이름이나 전화번호를 삭제하면서, 현실적으로 보이는 데이터(가짜 게시물이나 가짜 회의 시간 등)로 이 가지들을 채웠습니다.
- 비喻: 영화 세트장을 설정하는 것과 같습니다. 배우(AI)는 돌아다니고, 냉장고를 열고, 달력을 확인할 수 있지만, 그 안의 모든 것은 소품입니다. 어떤 실제 비밀도 노출되지 않습니다.
단계 C: "혼란스러운 스크립트" (Persona-Gen)
실제 인간은 완벽한 지시를 내리지 않습니다. 우리는 "어떤" 상사인지, 혹은 "어떤" 앱을 사용해야 하는지 명시하지 않은 채, "상사에게 아프다고 말해줘"라고 말하곤 합니다. 시스템은 자동으로 약간 모호한 과업을 생성하여, AI가 주어진 "가짜 인생"을 둘러보며 누락된 정보를 스스로 찾아내도록 강제합니다.
- 비유: 단서가 숨겨져 있는 보물찾기와 같습니다. AI는 "아, 지시사항에는 어떤 달력인지 나와 있지 않지만, 환경에 '업무용' 달력이 있으니 이걸 사용해야겠다"라고 판단해야 합니다.

3. 결과: 로봇들은 여전히 서투르다

저자들은 세계 최고의 AI 모델들(GPT-5나 Claude 같은)을 이 "디지털 트윈 도시"에서 테스트했습니다. 결과는 놀라웠습니다.

성적표: 가장 뛰어난 모델들조차 절반 이상의 경우에 실패했습니다. 정확도가 50% 미만이었습니다.
주요 실수:
1. 맹목성 (Blindness): AI는 환경 속에 숨겨진 단서들을 자주 무시했습니다. (예: 지시는 "Song Ke에게 메시지 보내"라고 했고 환경에 Song Ke의 ID가 있었지만, AI는 그냥 아무나 임의로 추측해 버렸습니다).
2. 단계 건너뛰기 (Skipping Steps): AI는 필요한 작은 단계들을 먼저 거치지 않고 복잡한 과업을 수행하려고 시도했습니다. (예: 전화번호를 사용자 ID로 먼저 변환하는 과정 없이 바로 회의를 예약하려고 함).
3. 기억 상실 (Memory Loss): 대화가 길어지면 AI는 규칙이나 처음에 시작했던 맥락을 잊어버렸습니다.

4. 이것이 중요한 이유

이 논문은 "AI가 쓸모없다"고 말하는 것이 아닙니다. "우리는 AI를 거품 속에서 테스트해 왔으며, 이제 그들이 복잡하고 개인적인 실제 세상으로 발을 들였을 때 어려움을 겪는다는 것을 알게 되었다"라고 말하는 것입니다.

MCP-Persona는 이 AI 에이전트들이 훈련할 수 있는 새로운 체육관입니다. 이를 통해 개발자들은 자신의 로봇이 정확히 어디에서 실패하고 있는지(예: 사용자 ID를 확인하는 것을 잊어버리는 것 등)를 파악하여, 우리가 실제 이메일, 달력, 소셜 미디어 계정을 믿고 맡기기 전에 수정할 수 있도록 해줍니다.

요약하자면: 이 논문은 AI 에이전트가 개인적인 과업을 수행하도록 테스트하기 위한 안전하고 현실적인 비디오 게임을 만들었으며, 그 결과 가장 "똑똑한" AI들조차 현재 우리의 복잡한 디지털 삶의 세부 사항을 탐색하는 데는 형편없다는 것을 발견했습니다.

기술 요약: MCP-Persona

문제 정의

모델 컨텍스트 프로토콜(Model Context Protocol, MCP)은 대규모 언어 모델(LLM)을 외부 도구 및 데이터와 연결하는 표준이 되었습니다. 그러나 기존 벤치마크는 주로 일반적이고 상태가 없는(stateless) 정보 탐색형 도구를 평가하는 데 치중되어 있습니다. 이러한 벤치마크는 개별 사용자 계정, 과거 행동 기록, 로컬 데이터베이스와 밀접하게 결합된 실제 개인화된 애플리케이션(예: 소셜 미디어, 기업용 협업 스위트)의 복잡성을 다루지 못합니다.

이러한 영역에서 에이전트를 평가하는 데에는 세 가지 결정적인 장벽이 존재합니다:

배포 비용: 현실적인 테스트를 위해서는 개인 사용자 데이터에 대한 접근과 환경 구축을 위한 상당한 인간의 노력이 필요합니다.
개인정보 보호 제약: 운영 보안상의 이유로 개인적 컨텍스트의 수집 및 공유가 제한되며, 이는 오픈 소스 벤치마크 구축을 저해합니다.
시뮬레이션 안정성: 이질적인 사용자들을 시뮬레이션하면서도 공정한 평가를 보장하는 안정적이고 실행 가능한 환경을 유지하는 것은 기술적으로 매우 까다롭습니다.

결과적으로, 개인화되고 상태가 있는(stateful) 도구 사용에 대한 최첨단(SOTA) 에이전트의 성능은 여전히 미개척 영역이며 충분히 평가되지 않은 상태로 남아 있습니다.

방법론: MCP-Persona

이 간극을 메우기 위해 저자들은 환경 시뮬레이션을 통해 실제 개인화된 MCP 도구에 대한 에이전트 성능을 평가하도록 설계된 최초의 벤치마크인 MCP-Persona를 소개합니다. 이 시스템은 도구(Tools), 컨텍스트(Contexts, 사용자 프로필), 그리고 **태스크(Tasks)**라는 세 가지 핵심 구성 요소의 상호작용을 기반으로 구축되었습니다.

1. Tool-Traverse (도구 시뮬레이션)

정적인 문서에 의존하는 대신, 저자들은 고충실도의 로컬 MCP 서버 복제본을 생성하기 위해 "순회 후 시뮬레이션(traverse-then-simulate)" 패러다임을 제안합니다.

데이터 수집: 저자들은 샌드박스 환경과 테스트 계정을 갖춘 12개의 다양한 MCP 서버(Lark, Slack, Rednote, Instagram 포함)를 수동으로 배포했습니다.
진본 함수 호출(FC) 순회:
- 부트스트래핑(Bootstrapping): 인간 주석가들이 정상적인 동작을 기록하기 위해 유효한 "시드(seed)" 함수 호출을 생성합니다.
- 적대적 유도(Adversarial Induction): LLM 기반 파이프라인이 잘못된 입력(예: 타입 불일치, 스키마 위반)을 생성하여 에러 처리 로직과 결정 경계(decision boundaries)를 포착합니다.
코드 기반 시뮬레이션: 수집된 성공 및 실패 트레이스를 사용하여, LLM은 각 도구에 대한 실행 가능한 파이썬 코드를 자율적으로 합성합니다. 이 코드는 엔티티 지속성(로드, 저장, 쿼리, 수정)을 관리하는 Context Handler 모듈과 동적 컨텍스트에 대한 입력을 검증하는 로직을 포함하는 상태 유지 시뮬레이터 역할을 합니다.

2. Context-Tree (컨텍스트 구축)

상태 유지 작업을 지원하기 위해, 저자들은 각 서버를 위한 구조화되고 가변적인 Context-Tree를 구축합니다.

계층 구조: 도구 파라미터에 기반하여 트리 구조가 정의됩니다 (예: 사용자 → 캘린더 → 이벤트).
콘텐츠 소싱: 노드는 다음 네 가지 방법을 통해 채워집니다:
1. 열거(Enumerate): 고정된 집합으로부터의 제약된 샘플링.
2. 자유 형식(Free-Form): LLM이 생성한 텍스트.
3. 무작위(Random): 형식 제약이 있는 합성 생성.
4. 진본(Authentic): 민감한 데이터가 마스킹된 실제 콘텐츠(예: 실제 Rednote 게시물).
연결(Linking): 관계적 일관성을 보장하기 위해 생성된 콘텐츠에서 식별자(identifier)를 샘플링하여 교차 엔티티 링크를 설정합니다.

3. Persona-Gen (태스크 생성)

두 단계의 파이프라인을 통해 173개의 인간 검증된 개인화 태스크를 생성합니다.

프로토타입 합성: 의존성, 다양성, 일관성 제약에 따라 도구 호출 체인을 샘플링합니다. LLM은 플레이스홀더(placeholder)가 포함된 추상적인 지침 스켈레톤( $S_{proto}$ )을 생성합니다.
컨텍스트 주입 및 퍼징(Fuzzification): Context-Tree의 현실적인 값들이 플레이스홀더를 대체합니다. 결정적으로, 실세계의 모호함을 모사하기 위해 **지침 퍼징(instruction fuzzification)**이 적용됩니다. 즉, 실행 특정 파라미터(암묵적 컨텍스트)가 지침에서 제거됩니다 (예: 사용자가 "내 상사에게 메시지 보내줘"라고 말할 때 상사의 ID를 명시하지 않아, 에이전트가 환경으로부터 이를 추론해야 하는 상황).
인간 검증: 주석가들은 퍼지 지침(fuzzy instruction), 디커플링된 컨텍스트, 그리고 그라운드 트루스(ground-truth) 도구 체인 사이의 정렬을 확인하기 위해 태스크를 검토합니다.

평가 지표

본 벤치마크는 체크포인트 기반(LLM이 판단하는 중간 단계) 및 실행 기반(CRUD 작업 성공률) 평가를 모두 사용합니다. 지표에는 체크포인트 정확도(Acc), 0.8에서의 성공률(SR-0.8), 그리고 실행 정확도(Exec-Acc)가 포함됩니다.

주요 결과

10개 이상의 SOTA 모델(GPT-5, Claude-Sonnet-4.5 및 다양한 오픈 소스 모델 포함)을 대상으로 단일 서버 및 교차 서버 시나리오에서 광범위한 실험을 수행했습니다.

현저한 성능 격차: 가장 발전된 모델들조차 고전하고 있으며, 어떤 모델도 벤치마크에서 50% 이상의 정확도를 달성하지 못했습니다. Claude-Sonnet-4.5가 전체 정확도 41.50%로 가장 높았으며, GPT-5가 41.45%로 그 뒤를 이었습니다.
태스크 난이도:
- 이메일 태스크는 단순한 작업 덕분에 가장 쉬웠습니다.
- 소셜 미디어 및 협업 플랫폼은 교차 사용자 상호작작용과 암묵적 엔티티 해소(entity resolution)로 인해 더 어려웠습니다.
- 교차 서버(Hodgepodge) 태스크가 가장 어려웠으며, 이는 서로 다른 생태계 간의 도구 조율에서의 실패를 강조합니다.
실패 유형: 궤적 분석 결과 세 가지 반복되는 실패 아키타입이 식별되었습니다:
- 탐색 부족(Under-exploration): 에이전트가 누락된 암묵적 정보를 얻기 위해 환경을 쿼리하는 데 실패함 (예: 이름으로부터 사용자 ID를 찾아내는 데 실패).
- 의존성 건너뛰기(Skipping Dependencies): 에이전트가 필수적인 중간 단계를 건너뜀 (예: 회의를 잡기 전 전화번호를 사용자 ID로 변환하는 과정을 생략).
- 긴 컨텍스트 저하(Long Context Degradation): 컨텍스트 윈도우가 방대한 페이로드로 채워짐에 따라 성능이 급격히 떨어져, 에이전트가 초기 제약 조건을 놓치게 됨.
시뮬레이션 충실도: Tool-Traverse 방식은 문서 기반 베이스라인(Vanilla)보다 크게 앞서며, 행동 정렬도에서 58.0% 대비 94.0%를 달성하여, 실제 서버를 순회하는 것이 더 정확한 에러 처리 및 응답 구조를 얻는 데 유리함을 입증했습니다.
기술 강화: 전용 스킬 문서를 제공하는 것(특히 수동으로 정제된 것)이 성능을 향상시켰으나, 여전히 상당한 격차가 존재했습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

Tool-Traverse: 계정 기반 서버의 오픈 평가 불가능성을 극복하고, 실제 개인용 MCP 도구를 충실히 재현하는 엄격한 시뮬레이션 방법론.
MCP-Persona 벤치마크: 소셜 미디어, 협업, 콘텐츠 관리, 이메일의 네 가지 대표적인 개인화 시나리오에 걸쳐 173개의 인간 검증된 태스크를 포함하는 새로운 평가 플랫폼으로, 커뮤니케이션 및 협업 워크플로우에서 에이전트를 테스트해야 하는 비판적 요구를 해결함.
경험적 통찰: 본 연구는 SOTA 에이전트가 개인화된 도구 사용, 특히 암묵적 그라운딩(implicit grounding), 다단계 상태 유지, 교차 도구 조율 측면에서 상당한 한계가 있음을 밝혀냄.

저자들은 MCP-Persona를 일반 목적의 어시스턴트와 깊이 있게 개인화되고 기술 중심적인 대응 모델 사이의 간극을 메우고, 실제 사용자의 정교하고 컨텍스트가 풍부한 워크플로우를 처리할 수 있는 에이전트 개발을 가속화하기 위한 재현 가능하고 프라이버시를 보호하는 테스트베드로 정의합니다.