QueryIPI: Query-agnostic Indirect Prompt Injection on Coding Agents

기술 요약: QueryIPI – 코딩 에이전트를 대상으로 하는 쿼리 불가지론적 간접 프롬프트 주입(Query-agnostic Indirect Prompt Injection)

문제 정의
IDE(예: VS Code Copilot, Cursor, Windsurf)에 통합된 현대적인 코딩 에이전트는 높은 권한의 시스템 액세스를 보유하고 있어 심각한 공격 표면을 생성합니다. 기존의 간접 프롬프트 주입(IPI) 연구는 주로 쿼리 특정적(query-specific) 트리거에 의존합니다. 이러한 시나리오에서는 악성 페이로드가 도구 출력이나 설명에 임베딩되지만, 사용자가 특정된 사전 결정 쿼리(예: "미로 게임을 작성해줘")를 발행할 때만 작동합니다. 이러한 의존성은 일반화 가능성을 심각하게 제한합니다. 사용자의 쿼리가 트리거와 일치하지 않으면 공격이 실패하기 때문입니다. 저자들은 이로 인해 기존의 IPI 방식이 다양하고 예측 불가능한 실제 환경의 사용자 쿼리 상황에서는 신뢰하기 어렵다고 주장합니다.

방법론: QueryIPI
본 논문은 쿼리 불가지론적(query-agnostic) IPI를 실행하도록 설계된 자동화된 프레임워크인 QueryIPI를 제안합니다. 기존 방식과 달리, QueryIPI는 사용자의 의도와 관계없이 악성 페이로드가 실행되도록 보장하며, 임의의 사용자 쿼리 하에서도 코딩 에이전트의 동작을 하이재킹하는 것을 목표로 합니다.

핵심 기술적 통찰은 **시스템 불변량(System Invariant)**의 식별에 있습니다. 사용자 쿼리는 다양하지만, 코딩 에이전트의 내부 프롬프트 구조(시스템 지침 및 내부 도구 설명으로 구성됨)는 모든 상호작용 전반에 걸쳐 일정하게 유지됩니다. QueryIPI는 이 불변량을 활용하여 악성 페이로드를 생성하도록 유도합니다.

이 프레임워크는 도구 설명을 최적화 가능한 페이로드로 사용하는 블랙박스 최적화 과정을 통해 작동합니다. 이 과정은 반복적인 프롬프트 기반 탐색에 의해 구동되는 두 가지 핵심 단계로 구성됩니다:

1. 초기 시드 생성(Initial Seed Generation): 시스템은 에이전트의 내부 프롬프트(시스템 지침 및 도구 설명)를 분석하여 에이전트 고유의 스타일, 의사 결정 로직 및 안전 제약 조건을 이해합니다. 그 후, 초기 안전 필터를 우회하고 신뢰할 수 있는 구성 요소처럼 보이기 위해 에이전트의 내부 도구를 모방하는 시드 설명을 생성합니다.
2. 반복적 성찰(Iterative Reflection): 프레임워크는 "변이 LLM(Mutation LLM)"을 사용하여 페이로드를 정교화합니다. 이는 다양한 사용자 쿼리에 대해 후보 설명을 평가합니다. 만약 에이전트가 악성 동작을 실행하지 못하면(도구를 무시하거나 동작을 거부하는 경우), 변이 LLM은 내부 프롬프트를 사용하여 실패 원인을 분석합니다. 특히 거부를 유발한 안전 규칙이나 컨텍스트 복잡성을 타겟팅하여, 이를 체계적으로 우회하도록 설명을 재작성합니다.

주요 기여

• 패러다임 전환: 본 논문은 조건부 쿼리 특정적 공격에서 벗어나 임의의 사용자 입력에 대해 작동하는 무조건적 공격으로 이동하는 최초의 쿼리 불가지론적 IPI를 공식화합니다.
• 시스템 불변량 식별: 내부 프롬프트(시스템 지침 및 도구 정의)를 사용자 쿼리와 무관하게 신뢰할 수 있는 적대적 지시 이행을 보장하기 위해 악용될 수 있는 중요한 "시스템 불변량"으로 식별했습니다.
• 자동화된 프레임워크: 블랙박스 최적화와 반복적 성찰을 사용하여 에이전트의 내부 로직과 일치하고 안전 가드레일을 우회하는 악성 도구 설명을 제작하는 자동화된 프레임워크 QueryIPI를 도입했습니다.
• 접근의 실현 가능성: 저자들은 오픈 소스 프레임워크, 프롬프트 추출 공격(최근 문헌에서 높은 성공률을 보임), 또는 유출된 저장소를 통해 이러한 내부 프롬프트를 획득하는 것이 매우 실현 가능한 시나리오라고 주장하며, 위협 모델의 실무적 타당성을 입증했습니다.

실험 결과
저자들은 백엔드 LLM(Claude-Sonnet-4)과 100개의 테스트 케이스(10개의 악성 명령 × 10개의 다양한 사용자 쿼리)를 사용하여 5개의 시뮬레이션된 실제 세계 코딩 에이전트(Cursor, Windsurf, Cline, Copilot, Trae)에 대해 QueryIPI를 평가했습니다.

• 베이스라인 대비 성능: QueryIPI는 기존 베이스라인(AgentDojo, InjecAgent, MCPTox, TIP)을 크게 상회했습니다. 가장 성능이 좋았던 베이스라인이 평균 **50%**의 성공률을 달ей한 반면, QueryIPI는 2개의 훈련 샘플 사용 시 평균 성공률 70%, 4개 사용 시 82%, 8개 사용 시 **87%**를 달성했습니다.
• 내부 프롬프트의 역할: 절제 연구(Ablation study) 결과, 내부 프롬프트에 접근할 수 없는 경우 공격 성공률이 **20%**로 급락하여 시스템 불변량의 결정적인 역할을 확인했습니다. "부분적"이거나 오래된 프롬프트만 있는 그레이박스(gray-box) 설정에서도 성공률은 **71%**로 높게 유지되었습니다.
• 실제 세계 전이 가능성: 결정적으로, 저자들은 시뮬레이션 환경에서 생성된 악성 도구 설명이 실제 코딩 에이전트로 성공적으로 전이됨을 입증했습니다. 실제 에이전트를 대상으로 한 테스트에서 QueryIPI는 평균 **50%**의 성공률을 기록한 반면, 베이스라인(TIP)은 **2%**로 떨어졌습니다.
• 강건성: 이 공격은 "샌드위치 방어(Sandwich Defense)" 및 "스포트라이팅(Spotlighting)" 변형을 포함한 다양한 방어 전략에 대해서도 효과적이었습니다(샌드위치 방어에 대해 82%의 성공률 유지). 또한, 생성된 페이로드는 낮은 퍼플렉시티(perplexity) 점수를 유지하여 통계적 이상 탐지를 피하기 용이했습니다.

의의 및 주장
본 논문은 QueryIPI가 실제 코딩 에이전트에 대한 실질적이고 결정적인 위협으로서 쿼리 불가지론적 IPI를 확립한다고 주장합니다. 내부 프롬프트가 사용자 입력과 독립적으로 작동하는 공격을 생성하는 데 악용될 수 있음을 입증함으로써, 저자들은 시스템 지침 노출이 초래하는 심각한 보안 위험을 강조합니다. 이 연구는 이전의 방어책들이 특정 사용자 쿼리에 의존하는 것은 불충분함을 강조하는데, 공격자가 이제 어떤 사용자 상호작용 하에서도 에이전트를 하이재킹할 수 있는 페이로드를 제작할 수 있기 때문입니다. 저자들은 내부 프롬프트의 노출이 이 위협의 주요 동인임을 언급하며, 이러한 공격 능력을 이해하는 것이 강력한 방어를 구축하는 데 필수적이라고 결론짓습니다.