기술 요약: 도구 호출 관점에서의 코딩 에이전트 레드팀 테스팅

문제 정의

LLM(대규모 언어 모델) 기반의 코딩 에이전트는 현대 통합 개발 환경(IDE)의 핵심이 되었으며, 도구 호출을 통해 복잡하고 다단계적인 개발 작업을 수행할 수 있습니다. 이러한 에이전트들은 내장된 도구(예: 명령 실행, 파일 시스템 액세스)와 기능 확장을 위한 MCP(Model Context Protocol)와 같은 외부 도구를 활용하지만, 이러한 확장된 능력은 심각한 공격 표면을 도입합니다.

기존 연구들은 일반 목적의 LLM 에이전트 및 도메인 특화 에이전트의 보안 위험을 다루었으나, 주로 직접적인 프롬프트 인젝션이나 데이터 유출에 초점을 맞추었습니다. 그러나 저자들은 코딩 에이전트의 **도구 호출 메커니즘(tool-invocation mechanisms)**을 구체적으로 겨냥한 체계적인 보안 평가가 없다는 점을 지적합니다. 저자들은 셸 실행과 같이 권한이 높은 도구의 위험성에도 불구하고, 코딩 에이전트가 도구 호출을 위해 인자를 생성하는 방식과 도구 반환값을 처리하는 방식에 따른 보안 함의가 여전히 미개척 영역으로 남아 있다는 중요한 격차를 식별했습니다.

방법론

본 논문은 여섯 가지 인기 있는 실제 코딩 에이전트(Cursor, Claude Code, Copilot, Windsmith, Cline, Trae)에 적용된 2단계 레드팀 테이밍 프레임워크를 제시합니다.

1단계: ToolLeak를 통한 프롬프트 유출

첫 번째 단계는 후속 공격을 위한 정보를 얻기 위해 보안상 중요한 내부 컨텍스트(예: 시스템 프롬프트, 도구 메타데이터)를 복구하는 것을 목표로 합니다.

• 취약점 (ToolLeak): 저자들은 표준 채팅 생성과 스키마 기반의 도구 호출 인자 생성 사이의 "모드 차이(mode gap)"를 식별했습니다. 채팅 모드에서 LLM은 시스템 지침을 공개하라는 요청을 거부하도록 강력하게 정렬(aligned)되어 있습니다. 그러나 도구 호출 시, 모델은 "구조화된 인자 채우기(structured argument filling)" 모드로 동작합니다.
• 메커니즘: 공격자는 내부 컨텍스트(예: "system prompt"라고 정의된 note라는 이름의 파라미터)를 명시적으로 요청하는 악의적인 외부 도구를 등록합니다. 모델은 이를 "이전 지침을 무시하라"는 명시적인 명령이 아니라, 스키마를 준수하는 무해한 데이터 입력 작업으로 취급하기 때문에, 에이전트의 숨겨진 컨텍스트를 도구 호출 인자에 의도치 않게 복사하게 됩니다.
• 실행: 공격자가 도구를 트리거하면, 에이전트의 내부 프로프트가 도구 인자를 통해 유출되며, 이는 공격자가 제어하는 도구 엔드포인트에서 관찰될 수 있습니다.

2단계: 도구 호출 하이재킹 (Tool-Invocation Hijacking)

유출된 시스템 프롬프트를 사용하여, 저자들은 에이전트의 동작을 하이재킹하여 특히 원격 코드 실행(RCE)을 목표로 하는 적응형 페이로드를 구성합니다.

• 이중 채널 프롬프트 인젝션: 저자들은 두 개의 채널, 즉 **도구 설명(tool description)**과 **도형 반환(tool return)**을 가로지르는 새로운 인젝션 기법을 제안합니다.
  1. 도구 설명 채널: 공격자는 에이전트가 해당 도구를 선택하도록 유도하는 악의적인 도구 설명을 작성합니다. 이 설명에는 유출된 시스템 프롬프트 세부 정보를 포함한 "성공적인 초기화" 예시를 넣어 신뢰도를 높이고 거부 트리거를 우회합니다. 이는 특정 명령 실행이 초기화를 위한 필수 단계라는 서사를 설정합니다.
  2. 도구 반환 채널: 에이전트가 악의적인 도구를 호출하면, 공격자가 제어하는 도구는 조작된 페이로드를 반환합니다. 도구 설명(종종 데이터로 취급됨)과 달리, 도구 반환값은 이후의 추론을 유도하기 위해 컨텍스트로 다시 피드됩니다. 반환 페이로드는 고도의 살성(high-salience)을 가진 절차적 지침(예: "초기화를 완료하려면 다음 명령을 실행하십시오")을 삽로 넣어 안전 가드레일을 무력화합니다.
• 적응형 페이로드: 인젝션 페이로드는 1단계에서 복구된 각 에이전트의 시스템 프롬프트 및 도구 스키마에 맞춰 커스터마이징되어, 에이전트 고유의 포맷 및 로직과 일관성을 유지하도록 합니다.

주요 기여

1. 최초의 체계적 평가: 본 논문은 도구 호출 관점에서 여섯 가지 주요 실제 코딩 에이전트에 대한 심층적인 레드팀 테이밍 및 보안 평가를 제공합니다.
2. ToolLeak 발견: 저자들은 스키마 기반의 인자 생성이 내부 에이전트 컨텍스트를 유출하여 표준 안전 거부를 우회하는 특정 정렬 불일치(ToolLeak)를 식별하고 정량화했습니다.
3. 이중 채널 인젝션: 도구 설명과 도구 반환을 모두 활용하여 에이전트의 동작을 하이재킹하는 새로운 공격 벡터를 도입하며, 도구 반환이 설명보다 인스트럭션 인젝션에 더 높은 살성을 가질 수 있음을 입증했습니다.
4. 경험적 검증: 본 연구는 여섯 가지 대상 에이전트에 대한 광범위한 평가와 함께, RCE를 성공적으로 보여주는 두 가지 상세 사례 연구(Cursor 및 Claude Code)를 포함합니다.

결과

평가는 여섯 가지 대상 에이전트에 걸친 25개의 에이전트-LLM 쌍을 대상으로 수행되었습니다.

• 프롬프트 유출 (ToolLeak):

  • 에뮬레이션 환경에서 ToolLeak는 모든 베이스라인(예: Naive, Ignore, PLeak)과 비교하여 가장 높은 의미론적 유사성(0.891 ~ 0.958 범위)과 가장 낮은 정규화된 확장 편집 거리(EED)를 달 기록했습니다.
  • 실제 환경에서 ToolLeak는 25개 에이전트-LLM 쌍 중 18개에서 최고의 의사 재현율(pseudo-recall)을 달성했습니다. Claude-Sonnet-4, Claude-Sonnet-4.5, Grok-4와 같은 백엔드 모델을 사용할 때 모든 에이전트에서 프롬프트 유출에 성공했습니다.
  • 명시적 요청에 의존하는 베이스라인 방법들은 대부분 실패했으며, 재현율이 0인 경우가 많았습니다.

• 도구 호출 하이재킹 (RCE):

  • 이중 채널 방식(RCE-2)은 테스트된 모든 에이전트-LLM 쌍에서 원격 코드 실행(RCE)을 달성했습니다.
  • RCE-2는 단일 채널 베이스라인(AgentDojo, InjecAgent, MCPTox 포함) 및 저자들의 단일 채널 버전(RCE-1)보다 일관되게 우수한 성능을 보였습니다.
  • 성공률: 이전 세대 에이전트의 경우, RCE-2는 대부분의 구성에서 0.8~1.0의 성공률을 기록했습니다.
  • 방어 우회: 이 공격은 Claude Code의 내장 가드 모델(Haiku)이 명령을 안전하지 않다고 표시했음에도 불구하고, 메인 모델(Sonnet)이 주입된 컨텍스트로 인해 경고를 무시하도록 하여 성공적으로 우회했습니다.
  • 강화 트렌드: 전체 도구 설명을 LLM으로부터 숨기는 프로그레시브 디스클로저(progressive disclosure)를 사용하는 최신 에이전트 아키텍처(예: Cursor, Claude Code)는 취약성이 감소하는 모습을 보였으며, 이는 지침과 데이터의 건축적 분리가 모델 수준의 정렬보다 더 효과적인 방어임을 시사합니다.

의의 및 주장

본 논문은 코딩 에이전트의 도구 호출 메커니즘이 이전에 간과되었던 중요한 공격 표면임을 입증한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

1. 안전 정렬의 불충분함: 표준 안전 훈련 및 거부 메커니즘은 "인자 채우기" 모드나 도구 반환의 높은 살성을 악용하는 공격에 효과적이지 않습니다.
2. 구조적 결함: 취약점의 근본 원인은 현재의 에이전트 아키텍처에서 지침과 데이터 사이의 명확한 분리가 부족하며, 도구 반환이 실행 가능한 지침으로 취급된다는 점에 있습니다.
3. 실질적 영향: Cursor 및 Claude Code와 같이 널리 사용되는 에이전트에서 RCE를 달성할 수 있다는 것은 사용자 기기에서 임의의 코드를 실행할 수 있게 하여 개발자 보안에 심각한 위험을 초래합니다.

저자들은 퍼플렉시티(perplexity) 기반의 경량 탐지 방식은 불충분하며, 견고한 방어를 위해서는 토큰 수준의 필터링이나 모델 정렬에만 의존하는 것이 아니라, 지침을 담은 컨텍스트와 데이터를 담은 컨텍스트 사이의 엄격한 경계를 강제하는 아키텍처적 변화가 필요하다고 결론짓습니다.