Real Faults in Model Context Protocol (MCP) Software: a Comprehensive Taxonomy

이 논문은 모델 컨텍스트 프로토콜 (MCP) 기반 소프트웨어의 실재 결함에 대한 첫 번째 대규모 분류 체계를 제시하고, 실무자 조사를 통해 그 유효성을 검증하여 보다 견고하고 안전한 AI 소프트웨어 개발에 필요한 통찰을 제공합니다.

핵심

이 논문은 **"MCP(모델 컨텍스트 프로토콜)"**이라는 새로운 기술이 도입되면서 생긴 소프트웨어 문제들을 체계적으로 분석한 연구입니다.

쉽게 말해, **"인공지능 (AI) 이 외부 도구 (파일, 데이터베이스, 웹 등) 와 손잡고 일할 때 생기는 오작동들의 종류와 원인을 찾아낸 지도"**라고 볼 수 있습니다.

이 복잡한 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

🏠 비유: AI 는 '명령을 내리는 사장님', MCP 는 '비서'

상상해 보세요.

• AI (LLM): 모든 일을 지시할 수 있지만, 직접 손발을 쓸 수 없는 **'초능력을 가진 사장님'**입니다.
• 외부 도구 (파일, DB, 웹 API): 사장님이 직접 건드릴 수 없는 '창고, 금고, 우편함' 같은 것들입니다.
• MCP (Model Context Protocol): 사장님과 창고/금고를 연결해주는 **'전문 비서'**입니다.

이전에는 사장님이 창고에 물건을 가져오라고 할 때, 비서마다 방식이 달랐습니다. 어떤 비서는 "창고 열쇠를 줘"라고 하고, 어떤 비서는 "창고 문을 두드려"라고 했습니다. 그래서 소통이 안 되거나 실수가 잦았습니다.

MCP는 이 모든 비서들이 **똑같은 규칙 (프로토콜)**을 따르도록 만든 '표준 매뉴얼'입니다. 하지만 이 새로운 매뉴얼이 생기고 나서, 비서들 (MCP 서버) 이 새로운 규칙을 따라 하다가 **새로운 종류의 실수 (버그)**들을 저지르기 시작했습니다.

이 논문은 바로 그 **'새로운 실수들'**을 수집하고 분류한 것입니다.

---

🔍 연구가 어떻게 진행되었나요? (수사팀의 작업)

연구진들은 마치 형사 수사팀처럼 행동했습니다.

1. 현장 수색 (데이터 수집): GitHub(소프트웨어 개발자들이 코드를 공유하는 곳) 에 있는 수천 개의 MCP 관련 프로젝트에서 "에러가 났다"는 신고 (이슈) 3,000 건 이상을 모았습니다.
2. 증거 분류 (클러스터링): 이 수많은 신고 중 진짜 '고장'에 해당하는 것만 골라내고, 비슷한 실수끼리 묶었습니다. (예: "문서가 안 읽힌다"는 것과 "코드가 안 실행된다"는 것을 구분)
3. 전문가 인터뷰 (설문조사): 분류한 실수들이 실제로 현장에서 일어나는지, 개발자들에게 물어봤습니다. (41 명의 전문가가 참여)
4. 결과 도출: 결국 5 가지 큰 범주로 실수들을 정리했습니다.

---

📋 발견된 5 가지 주요 실수 유형 (비서들의 실수 목록)

연구진은 MCP 서버에서 발생하는 실수를 다음과 같이 5 가지로 분류했습니다.

1. 🛠️ 서버 설정 문제 (Server Setting)

• 비유: 비서가 출근하기 전에 전원 코드를 꽂지 않거나, 컴퓨터가 켜지지 않는 경우입니다.
• 실제: 서버를 시작할 때 필요한 프로그램이 없거나, 윈도우/맥 등 운영체제 때문에 작동하지 않거나, 로그 (기록) 설정이 잘못되어서 서버가 아예 뜨지 않는 경우입니다.

2. ⚙️ 도구 설정 및 연결 문제 (Server/Tool Configuration)

• 비유: 비서가 사장님의 지시를 받으면 창고 열쇠를 잘못 찾거나, 금고 비밀번호를 잘못 입력하는 경우입니다.
• 실제: AI 가 "파일 열어줘"라고 했을 때, 그 파일을 찾는 도구 (Tool) 가 제대로 등록되지 않았거나, 연결이 끊기거나, 비밀번호 인증이 실패하는 경우입니다. 가장 많이 발생하는 문제 중 하나입니다.

3. 🤝 호스트 (사용자 앱) 와의 연결 문제 (Server/Host Configuration)

• 비유: 사장님 (사용자 앱, 예: 클로드, IDE) 과 비서 (서버) 가 대화할 때 언어가 안 통하거나, 약속 시간을 잘못 잡는 경우입니다.
• 실제: 사장님이 비서를 부르는 방식 (연결 설정) 이 비서가 이해하는 방식과 달라서 연결이 안 되거나, 세션이 꼬여서 다른 사람의 파일을 열어버리는 등의 문제가 생깁니다.

4. 📖 문서 부족 문제 (Documentation)

• 비유: 비서에게 주는 사용 설명서가 엉망이거나, 예시 코드가 잘못된 경우입니다.
• 실제: 개발자들이 어떻게 써야 할지 몰라 헤매게 만드는 문서의 오류입니다. MCP 가 아직 새 기술이라 문서가 아직 완벽하지 않아서 많이 발생합니다.

5. 💻 일반 프로그래밍 실수 (General Programming)

• 비유: 비서 본인이 오타를 내거나, 문법 실수를 하는 경우입니다.
• 실제: MCP 특유의 문제라기보다, 모든 소프트웨어에서 흔히 발생하는 코드 실수들입니다.

---

💡 이 연구가 우리에게 주는 교훈

1. 어디가 가장 위험한가?
   • 개발자들은 **"도구 연결 (Tool Connection)"**과 "문서 (Documentation)" 부분에서 가장 자주 고생했습니다. 특히 도구가 제대로 작동하지 않으면 AI 가 아예 일을 못 하므로, 이 부분이 가장 중요합니다.
2. 어떤 문제가 가장 무서운가?
   • 자주 발생하지는 않지만, "도구 등록 (Tool Discovery)" 문제가 발생하면 시스템 전체가 마비될 수 있어 가장 위험한 (Critical) 문제로 꼽혔습니다.
3. MCP 고유의 문제 vs 일반 문제
   • 일반적인 소프트웨어 버그는 해결하는 데 시간이 오래 걸리고, 경험 많은 개발자가 해결합니다.
   • 반면, MCP 특유의 버그는 해결하는 데는 상대적으로 빠르지만 (중요한 문제라 우선순위가 높아서), 많은 개발자가 모여서 토론해야 할 정도로 복잡하고 새로운 문제들이 많습니다.

🚀 결론

이 논문은 **"AI 가 외부 도구와 손잡고 일할 때, 어디가 가장 잘 고장 나는지"**에 대한 첫 번째 종합 지도를 그렸습니다.

이 지도를 통해 개발자들은 시스템을 만들 때 미리 이 부분들을 점검하고, 더 튼튼하고 안전한 AI 소프트웨어를 만들 수 있게 되었습니다. 마치 새로운 도로를 낼 때, 어디에 함정이 있는지 미리 표시해 둔 것과 같습니다.

기술 요약

논문 요약: Model Context Protocol (MCP) 소프트웨어의 실제 결함에 대한 포괄적 분류체계

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 급속한 발전으로 인해 소프트웨어 시스템이 복잡한 추론 및 상호작용 능력을 갖추게 되었습니다. 특히 LLM 이 외부 도구 및 리소스와 통합되는 과정에서 Model Context Protocol (MCP) 이 표준화된 통신 프로토콜로 등장했습니다. MCP 는 호스트 (AI 애플리케이션), 클라이언트, 서버 간의 구조화된 인터페이스를 제공하여 상호 운용성을 높입니다.
• 문제점: MCP 기반 시스템의 채택이 증가하고 있지만, 기존 전통적 소프트웨어와는 근본적으로 다른 확률적 (probabilistic) 특성과 복잡한 아키텍처로 인해 새로운 유형의 결함 (Faults) 이 발생합니다.
  • 기존 LLM 기반 시스템 연구는 광범위하게 이루어졌으나, MCP 서버 자체에서 발생하는 실제 결함의 특성, 유형, 그리고 그 분류 체계에 대한 체계적인 연구는 전무했습니다.
  • 이로 인해 MCP 기반 시스템의 신뢰성, 보안, 견고성을 보장하기 위한 효과적인 테스트 및 디버깅 기법 개발이 어렵습니다.

2. 연구 방법론 (Methodology)

이 연구는 MCP 서버의 실제 결함을 식별하고 분류하기 위해 다음과 같은 실증적 방법론을 적용했습니다.

• 데이터 수집:
  • GitHub 의 오픈소스 저장소를 대상으로 MCP Python SDK 를 사용하는 13,555 개의 저장소를 식별했습니다.
  • 인기 기준 (Star/Fork 수), 언어 (영어), 그리고 실제 MCP 기능 구현 여부 등을 기준으로 필터링하여 385 개의 유효한 MCP 서버 저장소를 선정했습니다.
  • 이 저장소들에서 총 30,795 개의 닫힌 이슈 (Closed Issues) 를 추출했습니다.
• 데이터 전처리 및 분류:
  • 추출된 이슈 중 비영어권 이슈를 제거하고, 기능 요청이나 질문이 아닌 3,282 개의 실제 결함 (Bug) 관련 이슈로 선별했습니다.
  • LLM 활용: GPT-4o-mini 를 사용하여 이슈를 '버그', '기능 요청', '질문' 등으로 자동 분류하고, 요약 (Summarization) 을 생성했습니다.
  • 클러스터링: 생성된 요약 텍스트를 BERTopic 프레임워크 (임베딩, UMAP 차원 축소, KMeans 클러스터링) 를 사용하여 주제별로 그룹화했습니다.
• 수동 라벨링 및 분류체계 구축:
  • 101 개의 클러스터 중 MCP 핵심 기능 (서버, 도구, 호스트) 과 직접 관련된 9 개 클러스터 (383 건) 와 키워드 'MCP'가 포함된 이슈 (407 건) 를 선정했습니다.
  • 두 명의 연구자가 독립적으로 오픈 코딩 (Open Coding) 방식을 통해 407 건의 이슈를 수동으로 분석하고 라벨링했습니다.
  • 합의 과정을 거쳐 최종 5 가지 상위 카테고리로 구성된 분류체계 (Taxonomy) 를 도출했습니다.
• 검증 (Validation):
  • 제안된 분류체계의 타당성을 검증하기 위해 41 명의 MCP 실무자 (개발자, 연구자, 관리자 등) 를 대상으로 설문조사를 실시했습니다.

3. 주요 기여 (Key Contributions)

1. MCP 서버 결함에 대한 최초의 대규모 실증 연구: MCP 서버 개발 과정에서 발생하는 실제 결함에 대한 체계적인 분석을 수행했습니다.
2. 포괄적인 결함 분류체계 (Taxonomy) 제안: 407 개의 실제 사례를 바탕으로 5 가지 상위 카테고리 및 하위 세부 카테고리로 구성된 분류체계를 제시했습니다.
3. 실무자 검증을 통한 타당성 확보: 제안된 분류체계가 실제 개발 환경에서 발생하며, 실무자들이 인지하는 결함 유형과 일치함을 설문조사를 통해 입증했습니다.
4. MCP 결함의 고유 특성 규명: MCP 결함과 비-MCP 결함 간의 차이점 (해결 시간, 논의 복잡도, 개발자 경험 수준 등) 을 정량적으로 분석했습니다.

4. 주요 결과 (Results)

A. 결함 분류체계 (5 가지 상위 카테고리)
연구는 MCP 서버 결함을 다음과 같이 분류했습니다:

1. Server Setting (27.45%): 서버 환경 설정, 의존성 (Dependency) 문제, 플랫폼 호환성 (Windows/Linux/macOS), 배포, 리소스 관리, 로깅, 네트워크 설정 등.
2. Server/Tool Configuration (31.74%): 도구 (Tool) 의 호출/실행, 등록/발견, 응답 처리, 인증/권한 부여, 연결 설정 등. 가장 빈번한 카테고리 중 하나입니다.
3. Server/Host Configuration (28.64%): 호스트 (IDE, 앱 등) 와 서버 간의 연결 설정, LLM 통합 문제, 호스트 의존성, 세션 관리, 로깅 등.
4. Documentation (6.92%): 문서, 예제 코드, 설정 가이드의 오류.
5. General Programming (5.25%): MCP 특유의 문제가 아닌 일반적인 소프트웨어 버그 (구문 오류, 포인터 오류 등).

B. 설문조사 결과 및 실무자 인식

• 빈도: 도구 응답 처리 (Tool Response Handling) 와 문서 (Documentation) 관련 결함이 가장 빈번하게 보고되었습니다.
• 심각도 (Severity): 도구 발견 및 등록 (Tool Discovery & Registration) 결함은 빈도는 상대적으로 낮았으나, 시스템의 핵심 기능이 마비될 수 있어 가장 치명적 (Critical) 으로 인식되었습니다.
• 해결 노력: 도구 인증 (Tool Authentication) 문제 해결에 가장 많은 노력이 소요되는 것으로 나타났으며, 이는 표준화된 인증 프로토콜 부재와 관련이 있습니다.

C. MCP 결함 vs 비-MCP 결함 특성 비교

• 논의 복잡도: MCP 관련 결함은 비-MCP 결함에 비해 이슈당 댓글 수와 참여자 수가 더 많았습니다. 이는 MCP 기술의 신기성으로 인해 원인을 파악하기 위해 더 많은 기술적 논의가 필요하기 때문입니다.
• 해결 시간: 흥미롭게도 MCP 관련 결함은 비-MCP 결함보다 해결 시간이 더 짧았습니다. 이는 MCP 관련 문제가 시스템의 핵심 기능에 영향을 미치므로 전문가들이 우선순위를 높게 두어 빠르게 대응하기 때문입니다.
• 개발자 경험: MCP 핵심 기능 (서버/도구/호스트 설정) 관련 결함은 더 높은 경험 수준을 가진 개발자가 해결하는 반면, 일반 프로그래밍 오류는 상대적으로 경험이 적은 개발자가 해결하는 경향이 있었습니다.

5. 연구의 의의 및 시사점 (Significance)

• 실무적 기여: MCP 기반 시스템을 개발하는 엔지니어에게 가장 오류가 발생하기 쉬운 (error-prone) 영역과 치명적인 구성 요소를 식별하여, 시스템 설계 및 구현 단계에서 견고성과 신뢰성을 높이는 데 실질적인 가이드를 제공합니다.
• 연구적 기여: LLM 기반 소프트웨어의 신뢰성 공학 (Reliability Engineering) 에 대한 기초 지식을 확립했습니다. 이는 향후 MCP 기반 시스템의 결함 탐지, 진단, 자동 수정 (Self-healing) 기술 개발을 위한 기준점 (Baseline) 으로 활용될 수 있습니다.
• 향후 방향: 이 연구는 MCP 클라이언트 분석 및 장기적인 데이터 추이를 포함하는 확장 연구와, MCP 결함을 사전에 탐지하고 완화하는 자동화 기법 개발의 필요성을 제기합니다.

---

결론적으로, 본 논문은 MCP 라는 새로운 프로토콜 생태계에서 발생하는 결함의 본질을 처음으로 체계적으로 규명하였으며, 이를 통해 더 안전하고 신뢰할 수 있는 AI 기반 소프트웨어 시스템 구축을 위한 중요한 통찰을 제공했습니다.