CASCADE: A Cascaded Hybrid Defense Architecture for Prompt Injection Detection in MCP-Based Systems

논문 개요

본 연구는 대규모 언어 모델 (LLM) 이 외부 도구를 호출하는 표준 프로토콜인 MCP(Model Context Protocol) 기반 시스템에서 발생하는 프롬프트 인젝션 (Prompt Injection) 및 도구 오염 (Tool Poisoning) 공격을 탐지하기 위한 새로운 방어 아키텍처인 CASCADE를 제안합니다. 기존 방어 시스템의 높은 오탐율 (False Positive Rate), 외부 API 의존성, 화이트박스 접근 요구 등의 한계를 극복하고, 완전히 로컬 환경에서 작동하는 3 단계 계층형 하이브리드 방어 체계를 제시합니다.

1. 문제 정의 (Problem Statement)

• MCP 의 보안 취약점: MCP 는 LLM 이 외부 도구와 상호작용할 수 있게 하지만, 이는 전통적인 프롬프트 인젝션 외에도 **도구 오염 (Tool Poisoning, OWASP MCP03:2025)**과 같은 새로운 공격 표면을 노출시킵니다. 공격자는 도구 설명이나 메타데이터에 악성 코드를 주입하여 모델이 특정 도구를 실행하거나 민감한 데이터를 유출하도록 조작할 수 있습니다.
• 기존 방어 시스템의 한계:
  • 높은 오탐율 (FPR): 기존 연구들 (예: Jamshidi et al.) 은 91~97% 의 극도로 높은 오탐율을 보여 실용성이 떨어집니다.
  • API 의존성 및 프라이버시: 많은 시스템이 외부 LLM API 를 사용하여 민감한 데이터를 외부로 전송해야 하므로 프라이버시 문제가 발생합니다.
  • 화이트박스 요구: 일부 고성능 시스템은 모델 내부의 어텐션 패턴 등 접근 권한 (화이트박스) 을 요구하여 블랙박스 API 기반 시스템에는 적용 불가능합니다.
  • 단일 계층 접근: 규칙 기반 또는 LLM 기반 중 하나만 사용하여 하이브리드 접근법의 이점을 충분히 활용하지 못합니다.

2. 제안된 방법론: CASCADE 아키텍처

CASCADE 는 입력을 처리하는 3 단계 계층 (Tiered) 구조로 구성되어 있으며, 모든 처리는 로컬 환경에서 수행됩니다.

• Layer 1: 빠른 전처리 필터링 (Pre-Filter Layer)

  • 기능: 저비용으로 대량의 입력을 빠르게 선별합니다.
  • 기술: 정규식 (Regex), 구문 가중치 (Phrase weighting), 엔트로피 분석을 사용합니다.
  • 전처리: 유니코드 정규화, 동형 문자 (Homoglyph) 변환, Base64/ROT13 등 다양한 인코딩/난독화 디코딩을 수행하여 우회 시도를 차단합니다.
  • 판단: 100 개 이상의 정규식 패턴을 7 가지 카테고리로 분류하여 위험 점수 (0~100) 를 산출합니다. 점수가 50 을 초과하거나 인젝션 모드가 감지되면 즉시 차단 (BLOCK) 합니다.

• Layer 2: 의미 분석 및 LLM 폴백 (Semantic Judge Layer)

  • 기능: Layer 1 을 통과한 의심스러운 입력에 대한 심층 의미 분석을 수행합니다.
  • 전략 (Embedding-First, LLM-Fallback):
    1. 먼저 BGE(BGE-base) 임베딩 모델을 사용하여 알려진 공격 패턴과의 유사도를 계산합니다.
    2. 임베딩 결과가 모호하거나 실패할 경우에만 Ollama 에서 실행되는 Llama3(8B) 모델을 폴백 (Fallback) 메커니즘으로 호출합니다.
  • 결과: 고위험 (BLOCK), 의심 (REVIEW - 인간 검토 대기), 안전 (ALLOW) 의 3 가지 결정을 내립니다.

• Layer 3: 출력 필터링 (Output Filter Layer)

  • 기능: MCP 호스트 (LLM) 가 생성한 응답을 최종 검사합니다.
  • 기술: 키워드 탐지, API 키/비밀번호 패턴 매칭, Base64 엔트로피 분석을 통해 데이터 유출 시도나 악성 응답을 차단합니다.

3. 주요 기여 (Key Contributions)

1. 완전 로컬 운영 (Fully Local Operation): 외부 API 호출 없이 BGE 임베딩과 Ollama Llama3 만을 사용하여 데이터 프라이버시를 완벽하게 보호합니다.
2. 하이브리드 3 계층 아키텍처: 규칙 기반 필터링, 임베딩 기반 의미 분석, LLM 폴백을 결합하여 속도와 정확도의 균형을 달성했습니다.
3. 실제 데이터셋 기반 평가: 5,000 개의 샘플 (GitHub Adversarial, VulnerableMCP, OWASP 등 다양한 실제 소스 기반) 을 사용하여 합성 데이터에 의존하지 않는 평가를 수행했습니다.
4. 실용적인 성능: 기존 연구들의 높은 오탐율 문제를 해결하여 낮은 오탐율과 높은 정밀도를 동시에 달성했습니다.
5. 세부 공격 유형 분석: 31 가지 공격 유형을 6 단계 티어로 분류하여 각 유형별 탐지 성능을 상세히 분석했습니다.

4. 실험 결과 (Results)

5,000 개의 샘플 (1,521 개 정상, 3,479 개 악성) 로 평가한 결과는 다음과 같습니다.

• 전체 성능 지표:

  • 정밀도 (Precision): 95.85% (악성으로 판단된 것 중 실제 악성인 비율)
  • 오탐율 (FPR): 6.06% (정상 입력을 잘못 차단한 비율)
  • 재현율 (Recall): 61.05%
  • F1-Score: 74.59%
  • 특이도 (Specificity): 93.94%

• 공격 유형별 성능:

  • 높은 탐지율: 데이터 유출 (91.5%), 프롬프트 인젝션 (84.2%)
  • 개선 필요: 의미적 공격 (Semantic Attack, 52.5%), 도구 오염 (Tool Poisoning, 59.9%)
  • 오류 분석: 92 개의 오탐은 모두 직접적인 공격 (Direct Attack) 카테고리에서 발생했으며, 이는 정상적인 보안 교육 자료 등이 공격 패턴과 문법적으로 유사하기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성 확보: 95.85% 의 높은 정밀도와 6.06% 의 낮은 오탐율은 기존 연구들 (91~97% 오탐율) 에 비해 실용적인 배포가 가능함을 입증했습니다.
• 프라이버시 보호: 외부 API 의존성을 제거함으로써 기업 및 개인 사용자의 민감한 데이터를 보호할 수 있는 보안 솔루션을 제시했습니다.
• 한계 및 향후 과제:
  • 현재는 영어 데이터에 주로 의존하며, 다국어 환경에서의 성능은 검증되지 않았습니다.
  • 의미적 공격과 도구 오염에 대한 재현율이 상대적으로 낮아, 향후 ML 기반 의미 분석 강화 및 도구별 전용 탐지 메커니즘 개발이 필요합니다.
  • 31 가지 공격 유형 중 9 가지 (29%) 에 대해서는 탐지율이 0% 였으며, 이는 향후 아키텍처 개선이 필요한 영역입니다.

요약하자면, CASCADE 는 MCP 기반 LLM 시스템의 새로운 위협에 대응하기 위해, 로컬 환경에서 작동하며 높은 정밀도와 낮은 오탐율을 동시에 달성한 혁신적인 하이브리드 방어 아키텍처입니다.