Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

1. 문제 정의 (Problem)

• 배경: 에이전트 AI 는 외부 함수를 호출하여 작업을 수행하는 능력을 갖췄으며, 이를 표준화하기 위해 MCP 와 같은 프레임워크가 사용되고 있습니다.
• 취약점: 기존 연구는 주로 프롬프트 인젝션이나 재일브레이킹 (Jailbreaking) 을 통해 LLM 이 해로운 콘텐츠를 생성하도록 유도하는 데 집중했습니다. 그러나 함수 호출 과정 자체를 조작하여 모델이 의도치 않은 특정 함수를 실행하도록 만드는 공격은 충분히 연구되지 않았습니다.
• 위험: 공격자가 특정 함수의 설명 (Description) 에 악성 토큰을 삽입하면, 모델이 사용자의 정상적인 요청과 관계없이 공격자가 선택한 함수 (예: 데이터 삭제, 권한 탈취 등) 를 호출할 수 있습니다. 이는 데이터 유출, 시스템 파괴, 무한 루프 등 심각한 결과를 초래할 수 있습니다.

2. 방법론 (Methodology)

저자들은 **함수 하이재킹 공격 (FHA)**을 개발하여 기존 GCG (Gradient-based Causal Generation) 재일브레이킹 공격을 함수 호출 작업에 적용했습니다.

• 공격 시나리오:
  • 공격자는 사용자의 프롬프트를 제어할 수 없으며, 오직 **함수 목록 중 특정 대상 함수 (Target Function) 의 설명 (Description)**만 수정할 수 있다고 가정합니다.
  • 이는 MCP 환경에서 소스 코드는 접근 불가하지만 텍스트 설명은 노출되는 현실적인 위협 모델을 반영합니다.
• 공격 기법:
  • 적대적 토큰 삽입: 대상 함수의 설명에 GCG 알고리즘을 변형하여 생성된 적대적 토큰 (Adversarial Suffix) 을 삽입합니다.
  • 목표: 모델이 사용자의 요청과 상관없이, 수정된 설명을 가진 대상 함수를 선택하도록 유도합니다.
  • 최적화: 모델이 특정 함수 이름 (Target Function Name) 을 생성하도록 손실 함수 (Loss Function) 를 최소화하는 방향으로 토큰을 최적화합니다.
  • 보편성 (Universality): 단일 공격 문자열이 다양한 사용자 쿼리 (Query) 와 페이로드 (Payload) 변형에서도 작동하도록 배치 (Batch) 학습을 통해 범용 공격을 구현했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 벡터 제시: 함수 호출 모델의 선택 메커니즘을 조작하여 특정 함수를 강제로 호출하는 FHA 를 최초로 제안했습니다.
2. 강건성 (Robustness): 기존 공격들이 프롬프트와 함수 간의 의미적 유사성에 의존하는 것과 달리, FHA 는 맥락 (Context) 에 무관하며 다양한 도메인과 함수 세트에서 효과적입니다.
3. 범용성 (Universality): 단일 공격 함수가 다양한 쿼리 유형 (의미적 변형, 인자 변경, 다중 의도 등) 과 페이로드 변형 (함수 추가/제거/순서 변경) 에 대해 작동하는 범용 공격을 구현했습니다.
4. 실제 환경 검증: MCP (GitHub, Slack 등) 와 BFCL (Berkley Function Calling Leaderboard) 데이터셋을 포함한 실제 시나리오에서 공격을 검증했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): 5 가지 다른 모델 (Llama-3.2-3B, Mistral-7B, Qwen-3 시리즈 등) 을 대상으로 실험한 결과, **70% ~ 100%**의 공격 성공률을 기록했습니다.
  • 특히, 추론 모델 (Reasoning Models) 의 경우思考 (Thinking) 단계를 우회하도록 공격이 설계되어 성공적으로 작동했습니다.
• 기존 공격 대비 우위:
  • 함수 인젝션 (Function Injection) 및 선호도 조작 (MPMA) 공격과 비교했을 때, FHA 는 훨씬 더 높은 성공률과 일반화 능력을 보였습니다.
  • MPMA 는 유사한 기능을 가진 함수들 사이에서만 작동하는 반면, FHA 는 의미적으로 전혀 다른 함수들 사이에서도 작동합니다.
• 페일로드 변형에 대한 강건성:
  • 함수의 위치 변경, 함수 수 증가 (노이즈 추가) 등 페이로드가 변형되더라도 공격은 유지되었습니다.
  • 특히 '배치 (Batch) 학습'을 통해 다양한 함수 수와 위치를 포함한 데이터로 학습된 공격은 새로운 페이로드 변형에도 85% 이상의 성공률을 보였습니다.
• MCP 실제 적용: GitHub 및 Slack MCP 서버에서 실제 공격 시나리오 (예: 저장소 생성 요청을 삭제 요청으로 변경) 를 성공적으로 수행했습니다.

5. 의의 및 시사점 (Significance)

• 보안 경고: 에이전트 AI 시스템이 외부 도구와 상호작용할 때, 단순한 프롬프트 인젝션뿐만 아니라 함수 정의 자체의 조작이 치명적인 위협이 될 수 있음을 보여줍니다.
• 방어 필요성: 기존 LLM 보안 대책만으로는 충분하지 않으며, 에이전트 시스템에는 강력한 가드레일 (Guardrails) 과 보안 모듈이 필수적입니다.
  • 함수 설명의 무결성 검증
  • 함수 호출 전 의도 확인 (Intent Verification)
  • 적대적 토큰 탐지 메커니즘 도입 필요
• 향후 연구 방향: 더 큰 규모의 모델과 복잡한 페이로드에서의 취약점 분석, 그리고 공격을 방어하기 위한 새로운 아키텍처 설계가 필요합니다.

결론

이 논문은 에이전트 AI 의 핵심인 함수 호출 메커니즘이 적대적 공격에 얼마나 취약한지를 입증했습니다. 공격자가 함수 설명만 조작함으로써 모델의 행동을 완전히 장악할 수 있다는 사실은, 향후 에이전트 시스템의 설계와 배포 시 보안이 최우선 고려사항이어야 함을 강력하게 시사합니다.