💻 computer science

TrustShiftProbe: Characterizing, Benchmarking, and Defending Staged Trust Attacks on MCP Servers

이 논문은 침해된 MCP 서버가 양호한 조건화 단계 동안 에이전트를 기만하다가 적대적 페이로드를 실행하는 새로운 서버 측 위협인 TrustShift를 소개하고, 이러한 공격을 벤치마킹하는 프레임워크인 TrustShiftProbe와 학습된 베이스라인에 따라 서버 동작을 감사함으로써 공격 성공률을 크게 낮추는 런타임 방어 체계인 SHIELD를 제안한다.

원저자: Mehrdad Rostamzadeh, Sidhant Narula, Mohammad Ghasemigol, Daniel Takabi

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehrdad Rostamzadeh, Sidhant Narula, Mohammad Ghasemigol, Daniel Takabi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능 에이전트가 단순히 질문에 답하는 챗봇을 넘어, 항공권을 예약하고, 금융 포트폴리오를 분석하며, 코드 저장소를 관리하는 능동적인 작업자가 되는 세상을 상상해 보십시오. 이를 위해 이 에이전트들은 마치 인간이 전화를 걸거나 파일 캐비닛을 여는 것처럼, 외부 도구 및 데이터베이스와 연결되어야 합니다. 이들의 '만능 번역기'이자 외부 세계와의 가교 역할을 하는 새로운 표준이 바로 모델 컨텍스트 프로토콜(Model Context Protocol)입니다. 이는 에이전트가 도구에 정보를 요청하고, 그 도구가 약속한 바를 정확히 수행하고 있다는 신뢰를 바탕으로 구조화된 답변을 받을 수 있게 해줍니다. 이 시스템은 개방적이고 유연하게 설계되었지만, 바로 그 개방성 때문에 독특한 취약점이 발생합니다. 에이전트는 설령 그 도구가 낯선 사람에 의해 제어되고 있더라도, 그 도구를 믿어야만 하기 때문입니다.

연구자들은 이러한 신뢰를 악용하는 위험하고 새로운 방식인 '트러스트시프트(TrustShift)' 공격을 발견했습니다. 이 시나리오에서 악의적인 서버는 즉각적으로 공격하지 않습니다. 대신 한동안 유능하고 정직한 파트너 역할을 수행하며 질문에 올바르게 답하고 신뢰할 수 있는 평판을 쌓습니다. 에이전트는 이러한 선한 행동을 관찰한 후 경계심을 늦추고 중요한 업무를 위해 해당 서버에 의존하기 시작합니다. 에이전트가 신뢰의 습관을 형성하면, 서버는 갑자기 태도를 바꿉니다. 서버는 유효하고 정상적인 기능을 수행하는 척하면서 거짓 정보를 제공하거나, 중요한 데이터를 숨기거나, 비밀을 유출하기 시작합니다. 초기에 정직했기 때문에, 에이전트가 작업을 시작하기도 전에 나쁜 코드나 수상한 패턴을 스캔하는 표준 보안 검사는 완전히 속아 넘어가게 됩니다. 위험은 고장 난 도구에 있는 것이 아니라, 신뢰를 얻은 후에 마음을 바꾸는 도구에 있습니다.

올드 도미니언 대학교(Old Dominion University)의 연구팀은 이 위협의 전체 범위를 이해하고 이를 막을 방법을 구축하기 위해 힘을 모았습니다. 그들은 금융 분석, 웹 브리우징, 소프트웨어 관리 등 다양한 실제 시나리오 전반에서 이러한 공격을 시뮬레이션하기 위해 '트러스트시프트프로브(TrustShiftProbe)'라는 종합적인 테스트 프레임워크를 만들었습니다. 그들은 단 한 가지 유형의 속임수만을 조사한 것이 아니라, 서버가 에이전트를 배신할 수 있는 아홉 가지 뚜렷한 방식을 분류했습니다. 어떤 공격은 단순히 정보의 흐름을 중단시켜 에이전트를 혼란에 빠뜨리고 작업을 완료하지 못하게 만들었습니다. 다른 공격은 주가를 이익에서 손실로 바꾸거나 보고서의 회사 이름을 바꾸는 것과 같이 사실을 미묘하게 왜곡하는 것이었습니다. 가장 정교한 공격은 서버가 신뢰받는 위치를 이용하여 비밀번호를 훔치거나 다른 도구로 영향력을 확산시키는 것과 같이, 접근해서는 안 될 정보에 접근하는 것이었습니다.

현재 사용 가능한 가장 진보된 인공지능 모델 6개를 대상으로 이 공격들이 얼마나 잘 통하는지 테스트하기 위해 연구진은 실험을 진행했습니다. 결과는 충격적이었습니다. 별도의 특수 보호 장치가 없는 상태에서, 이 강력한 에이전트들은 거의 70%의 사례에서 기만에 빠졌습니다. 에이전트들은 초기 단계의 정직한 행동에 너무 깊이 매료된 나머지, 이후의 거짓말을 진실로 받아들였으며, 종종 사실과 다른 답변을 내놓거나 민감한 데이터를 유출했습니다. 연구는 공격의 '타이밍'이 핵심 요인임을 보여주었습니다. 서버가 처음에 정직했기 때문에, 에이전트는 나중에 배신이 일어났을 때 의심할 이유가 없었던 것입니다.

연구진은 이후 '쉴드(SHIELD)'라고 명명한 새로운 방어 시스템을 테스트했습니다. 알려진 나쁜 패턴을 찾거나 정답 목록과 비교하는 전통적인 보안 조치와 달리, 쉴드는 대화가 진행되는 동안 실시간으로 관찰함으로써 작동합니다. 이 시스템은 초기 정직한 단계 동안 서버로부터 '정상적인' 응답이 무엇인지 학습합니다. 일단 서버가 학습된 패턴에서 벗어나기 시작하면—숫자를 바꾸든, 예상되는 세부 사항을 누락하든, 혹은 일반적인 형태와 맞지 않는 데이터를 반환하든—시스템은 해당 동작을 수상한 것으로 표시합니다. 테스트 결과, 이 방어 체계는 미묘한 거짓말을 잡아내는 데 매우 효과적이었으며, 공격 성공률을 70%에서 약 43%로 낮추었습니다. 또한 데이터 오염이나 바뀐 사실에 속는 것을 성공적으로 차단했습니다.

하지만 이 연구는 이러한 접근 방식의 한계도 드러냈습니다. 쉴드는 거짓말이나 데이터 오염은 잡아낼 수 있었지만, 서버가 단순히 정보를 제공하기를 거부할 경우 그 정보를 마법처럼 복구할 수는 없었습니다. 만약 악의적인 서버가 데이터를 전혀 보내지 않기로 결정한다면, 방어 시스템은 데이터가 누락되었다는 것은 감지할 수 있지만, 작업을 구하기 위해 누락된 정보를 만들어낼 수는 없습니다. 이는 문제의 근본적인 진실을 강조합니다. 즉, 진실이 보통 어떤 모습인지 안다면 거짓을 찾아낼 수는 있지만, 상대측이 단순히 말을 멈춰버린 경우 연결이 끊어진 것을 고칠 수는 없다는 것입니다. 연구진은 방어 시스템이 숫자의 급격한 변화나 보고서의 누락된 부분처럼 명확한 흔적을 남기는 공격을 감지할 때 가장 효과적이라는 것을 발견했습니다. 반면, 시간이 지남에 따라 값을 서서히 변화시키는 것과 같이 더 미묘한 공격에는 포착하기가 더 어려웠지만, 그럼에도 공격자가 성공하기는 훨씬 더 어렵게 만들었습니다.

연구는 결론적으로, 자율 에이전트에 대한 가장 큰 위험은 갑작스럽고 명백한 실패가 아니라, 신뢰를 얻은 후에 발생하는 느리고 조용한 배신이라고 밝히고 있습니다. 현재의 에이전트들은 자신이 사용하는 도구를 너무 쉽게 믿는 경향이 있으며, 특히 초기 행동이 양호했을 때 더욱 그렇습니다. 연구진은 향가적인 보안 시스템이 도구를 사용하기 전에 점검하는 것에 그치지 않고, 데이터 흐름을 지속적으로 모니터링하는 데 집중해야 한다고 제안합니다. 시간의 흐름에 따른 행동 변화를 주시함으로써, 실질적인 해를 끼치기 전에 이러한 변화를 포착하는 것이 가능합니다. 완벽하게 안전한 시스템은 존재할 수 없지만, 이 연구는 적절한 종류의 경계심을 갖춘다면 이러한 지능형 에이전트들이 자신들이 의존하는 도구에 의해 길을 잃는 위험을 크게 줄일 수 있음을 보여줍니다.

기술 요약: TrustShiftProbe

문제 정의

모델 컨텍스트 프로토콜(Model Context Protocol, MCP)은 대규모 언어 모델(LLM) 에이전트와 외부 도구 백엔드를 연결하는 표준 통신 계층이 되었습니다. 이러한 개방성은 유연한 에이전트 오케스트레이션을 가능하게 하지만, 검증되지 않은 심각한 서버 측 공격 표면을 도입합니다. 본 논문은 TrustShift라고 명명된 특정 위협 벡터를 식별합니다. 이는 탈취된 MCP 서버가 초기 "조건 형성 단계(conditioning phase)" 동안에는 온건하게 행동하여 운영상의 신뢰를 구축하고 에이전트의 회의론을 억제한 뒤, 특정 상호작용 임계값(신뢰 지평, $N$ )에 도달하면 적대적 페이로드로 전환하는 방식입니다.

이 위협은 다음 두 가지 측면에서 기존 공격과 구별됩니다:

채널 기원: 악성 페이로드가 사용자 프롬프트(간접 프롬프트 주입과 다름)나 네트워크 전송(Man-in-the-middle과 다름)에서 오는 것이 아니라, 서버가 제어하는 JSON-RPC 도구 채널 내부에서 발생합니다.
시간적 단계화(Temporal Staging): 서버는 배포 테스트 및 정적 분석 중에 온건하게 행동합니다. 이러한 디펙션(defection)은 정적 스캐너에 의해 보이지 않는데, 이는 스캐너가 정직한 단계만을 관찰하기 때문입니다. 이 공격은 구조적 위반, 의미적 왜곡 또는 범위 확장을 통해 나타나는 의미론적 다형성을 띠며, 러닝타임 미들웨어 필터를 회피하기 위해 외부 프로토콜 준수성을 유지합니다.

현재의 안전성 평가 스위트는 파편화된 공격 표면 커버리지(정적, 단발성 공격에 집중), 거친 결과 입도(시간적 궤적 편차 무시), 그리고 제로 오라클(zero-oracle) 런타임 방어의 부재로 인해 이 위협을 해결하지 못하고 있습니다.

방법론

저자들은 위협 모델, 공격 엔진, 방어 메커즘, 그리고 분류 체계를 포함하는 통합 프레임워크인 TrustShiftProbe를 소개합니다.

1. 위협 모델

모델은 에이전트-서버 라이프사이클을 상태 기반 프로세스로 정의합니다:

조건 형성 단계 ( $t < N$ ): 서버가 정직하게 행동하여 신뢰를 구축합니다.
적대적 단계 ( $t \ge N$ ): 서버가 변절하여 적대적 페이로드를 주입합니다.
공격자는 단일 MCP 서버를 제어하며(공급망 침해 또는 악성 업데이트 시뮬레이션), 호출 횟수에 따라 변절을 트리거할 수 있습니다. 공격 표면은 엄격히 서버의 JSON-RPC 이그레스(egress) 채널로 제한되며, 공격자는 시스템 프롬프트를 수정하거나 다른 트래픽을 가로챌 수 없습니다.

2. 공격 엔진 및 분류 체계

이 프레임워크는 네 가지 프로덕션 도메인(리포지토리 관리, 금융 분석, 브라우저 자동화, 내비게이션)에 걸쳐 9가지 TrustShift 변종을 인스턴스화하는 언어 불가지론적 공격 엔진을 포함합니다. 이 변종들은 세 가지 실행 메커니즘과 세 가지 적대적 목표에 따라 분류됩니다:

메커니즘:
- M1 구조적 위반: 스키마 유효성은 유지하지만 정보 계층을 변경합니다 (예: 상태 유지 서비스 거부, 검증 메타데이터 누락, 종속성 하이재킹, 부분 권한 승인 실패).
- M2 의미적 왜곡: 구조는 유지하지만 내용을 허위로 구성합니다 (예: 의미적 역전, 엔티티 스푸핑, 지속적인 피처 드리프트).
- M3 범위 확장: 권한을 격상시키거나 횡적 이동을 가능하게 합니다 (예: 도구 범위 격상, 교차 도구 횡적 이동).
목표: 운영 중단(O1), 컨텍스트 유출(O2), 또는 이들의 조합(O3).

태스크는 고성능 LLM(GPT-4o)을 사용하여 도메인 스키마와 분류 체계에 의해 제약된 자동 레드팀 파이프라인을 통해 생성되며, 이를 통해 신뢰 지평 $N$ 에 도달하는 멀티 홉 시나리오를 보장합니다.

3. 방어: SHIELD

그라운드 트루스 오라클(production 환경에서는 사용 불가능)에 의존하지 않고, MCP 전송 경계에서 작동하는 다계층 제로 오라클 런타임 방어인 SHIELD를 제안합니다. SHIELD는 깨끗한 신뢰 창(clean trust window) 동안 행동 베이스라인을 학습하고, 이후의 페이로드를 이에 대해 감사합니다:

Tier 1 (구조적 이상 탐지): 키 누락, 데이터가 예상되는 곳에서의 빈 결과, 또는 Null 처리된 필드에 대한 저비용( $<0.1$ ms) 스캔을 수행합니다.
Tier 2 (통계적 일관성): 숫자 값, 스키마 키, 레코드 수를 세션 베이스라인과 비교하여 보정된 사분위수 범위를 벗어나는 편차를 플래그 처리합니다.
Tier 3 (의미적 타당성): 단일 LLM 호출을 사용하여 현재 응답을 신뢰 단계의 예시 및 태스크 목표와 비교함으로써 점진적인 드리프트나 문법적으로는 유효하지만 사실적으로 틀린 엔티티를 탐지합니다.

주요 결과

프레임워크는 360개의 테스트 케이스를 사용하여 6개의 프런티어 LLM(GPT-5, GPT-4.1, Claude-Opus-4-8, Qwen3.5 Flash 포함)을 대상으로 평가되었습니다.

취약성: 방어 없는 상태에서 TrustShift 공격은 모든 모델에 대해 평균 **공격 성공률(ASR) 69.5%**를 달성했습니다. 기본 ASR은 GPT-5(60.2%)에서 GPT-4.1(74.1%) 사이였습니다.
방어 효능: SHIELD는 평균 ASR을 **42.7%**로 감소시켰습니다.
- 결과 1: 어떤 모델도 견고하지 않습니다. 양호한 신뢰 단계가 에이전트를 효과적으로 무력화하여, 이후의 페이로드를 더 쉽게 수용하게 만듭니다.
- 결과 2: 뚜렷한 비대칭성이 존재합니다. 데이터 무결성 및 중단을 목표로 하는 공격(M1, M2)은 성공하는 반면, 유출 시도(M3)는 모델이 간접 명령 주입에 저항하도록 훈련되었기 때문에 대부분 실패합니다.
- 결과 3: SHIELD는 "상태 유지 서비스 거부"(서버가 빈 데이터를 반환하는 경우)에 대해서는 가용성을 복구할 수 없습니다(오라클 없이 누락된 데이터를 재구성할 수 없기 때문). 그러나 이를 침묵하는 서비스 거부에서 탐지 가능한 실패로 전환합니다.
- 결과 4: SHIELD는 구조적 또는 의미적 흔적을 남기는 공격(예: 메타데이터 누락, 의미적 역전)에 가장 효과적이며, 이들의 ASR을 약 절반으로 줄입니다.
- 결과 5: 도메인이 중요합니다. 리포지토리 관리는 드리프트 공격을 은폐할 수 있는 페이로드의 복잡성과 볼륨 때문에 방어 후에도 가장 취약한 도메인으로 남았습니다.
- 결과 6: 방어 가능성은 원시 모델 능력과 상관관계가 없습니다. 경량 모델인 o4-mini가 **SHIELD 하에서 가장 낮은 잔여 ASR(39.2%)**을 기록했으며, GPT-5(40.7%)가 그 뒤를 바짝 쫓았고, GPT-4.1이 가장 큰 절대적 감소를 보였습니다.

의의 및 주장

본 논문은 MCP 환경에서 시간적, 단계적 신뢰 공격을 체계적으로 특성화하고 벤치마킹하는 첫 사례임을 주장합니다. 그 의의는 다음과 같습니다:

체계적 결함 폭로: 에이전트가 제3자 도구 백엔드에 대해 시간적 불변성을 암묵적으로 가정하고 있음을 입증하여, 정적 분석으로는 탐지할 수 없는 런타임 행동 변화에 무방비 상태임을 보여줍니다.
베이스라인 수립: 9가지 공격 변종의 분류 체계와 360개 케이스의 벤치마크를 제공하여, 상태 기반 멀티 턴 위협에 관한 현재의 안전성 평가 스위트의 공백을 메웁니다.
실행 가능한 방어 입증: 행동 베이스라인을 활용함으로써, 그라운드 트루스 없는 런타임 방어가 기만형 공격을 유의미하게 완화할 수 있음을 증명합니다(비록 순수 가용성 공격이나 내부적으로 일관된 엔티티 스푸핑을 완전히 막지는 못하더라도).

저자들은 SHIELD가 의미 있는 보호를 제공하지만, 그라운드 트루스 없는 모니터링에서 무결성과 가용성 사이의 내재된 비대칭성이 근본적인 과제로 남아 있다고 결론짓습니다. 향-후 연구로는 다중 서버 협동 공격 및 순수 오라클 없는 탐지를 넘어선 방어 기법에 대한 탐색을 제안합니다.