기술 요약: 행동하기 전에 두 번 생각하라 (Think Twice Before You Act)

문제 정의

외부 도구의 통합은 대규모 언어 모델(LLM) 에이전트의 능력을 크게 확장시켰으나, 동시에 전통적인 프롬프트 인젝션을 넘어선 새로운 공격 표면을 도입했습니다. 본 논문은 공격자가 비핵심적이거나 규제가 약한 도구의 메타데이터(설명)를 조작하여 에이전트의 계획 궤적(planning trajectory)을 유도하는 정교한 공격 벡터인 **교차 도구 설명 포이즈닝(cross-tool description poisoning)**을 식별하고 이를 공식화합니다.

특정 독성 도구를 선택하도록 에이전트를 편향시키는 기존의 "도구 선호(tool-preference)" 공격과 달리, 교차 도구 설명 포이즈닝은 공격자가 독성 도구 자체가 선택되지 않더라도 다른 도구를 이용한 악의적인 동작을 유발할 수 있게 합니다. 예를 들어, 무해한 "계정 백업(Account Backup)" 도구의 설명을 포이즈닝함으로써, 플래너가 적법한 "은행 송금(Bank Transfer)" 작업의 궤적 안에 악의적인 "이메일 발송(Email Sender)" 단계(예: 계정 세부 정보를 공격자에게 전송)를 삽입하도록 유도할 수 있습니다. 핵심 과제는 포이즈닝된 설명이 여러 단계에 걸쳐 계획 컨텍스트 내에 지속되어, 후속 도구 선택에 지속적인 영향을 미칠 수 있다는 점입니다.

정적 도구 필터링, 반복 프로프팅, 또는 시스템 수준의 제약(예: Drift, Progent)과 같은 기존 방어 기제들은 이 특정 위협에 대해 효과적이지 않은 것으로 나타났습니다. 이러한 방법들은 작업 컨텍스트를 고려하지 못하거나, 내부 모델 상태(API를 통해 접근 불가능한 경우가 많음)에 의존하거나, 정상적인 도구 사용과 포이즈닝된 메타데이터에 의해 영향을 받은 사용을 구분하지 못합니다.

방법론: Tool-Guard

이러한 한계를 해결하기 위해 저자들은 격리된 계획(isolated planning) 개념에 기반한 새로운 시스템 수준의 방어 체계인 Tool-Guard를 제안합니다. 핵심 철학은 도구를 영구적으로 비활성화하지 않으면서, 포이즈닝된 설명과 영향의 대상 사이의 연결을 끊음으로써 보안의 격리 원칙을 에이전트 계획에 적용하는 것입니다.

핵심 메커니즘

Tool-Guard는 다음 세 가지 주요 단계를 포함하는 동적이고 반복적인 루프를 통해 작동합니다.

1. 동적 도구 세트 분할 (Dynamic Tool Set Partitioning):
   시스템은 사용 가능한 도구 집합 $K$를 두 개의 서로 소인 리스트로 유지하는 동적 분할을 수행합니다.

   • 영향을 받은 리스트 ($K_{inf}$): 포이즈닝된 설명에 의해 영향을 받은 것으로 의심되는 도구들을 포함합니다 (초기값은 빈 리스트).
   • 기타 리스트 ($K_{others}$): 나머지 도구들을 포함합니다.
     도구는 악의적이라고 가정되지 않습니다. 다만, 도구 호출이 사용자 의도와 일치하지 않거나 컨텍스트에 제대로 근거하지 않은 경우 $K_{inf}$로 이동됩니다.

2. 격리된 계획 (Isolated Planning):
   Tool-Guard는 전체 도구 세트를 사용하여 플래너에 쿼리를 보내는 대신, 엄격한 격리 하에 두 번의 쿼리를 보냅니다.

   • 한 번은 $K_{inf}$에 있는 설명들만 사용하여 쿼리합니다.
   • 다른 한 번은 $K_{others}$에 있는 설명들만 사용하여 쿼리합니다.
     이를 통해 한 서브셋(subset)에 있는 포이즈닝된 설명이 다른 서브셋의 도구 선택이나 파라미터 설정에 영향을 주는 것을 방지합니다. 그 후 시스템은 두 결과 계획 중 하나의 후보 동작을 선택합니다. 만약 두 서브셋 모두 유효한 동작을 생성하면 타이브레이커(tie-breaker)를 적용하며, 둘 다 생성하지 못하면 궤적을 종료합니다.

3. 실행 전 검증 및 리스트 업데이트 (Pre-Execution Validation and List Update):
   선택된 도구 호출을 실행하기 전, Tool-Guard는 LLM 기반 검증기를 사용하여 두 가지 시맨틱 체크를 수행합니다.

   • 정렬 체크 (Alignment Check): 해당 동작이 사용자의 의도 및 검증된 진행 상황과 일치하는지 확인합니다.
   • 의심 체크 (Suspiction Check): 인자(arguments)가 사용자 요청이나 이전 도구 출력에 근거하고 있는지 확인하며, 명확한 출처가 없는 민감한 엔티티(예: 수신 주소)를 식별합니다.

   검증에 실패할 경우, 해당 도구는 **영향을 받은 리스트($K_{inf}$)**로 이동되며, 플래너는 업데이트된 분할 하에서 **재계획(replan)**을 수행하도록 트리거됩니다. 이 반복적인 프로세스는 유효한 도구의 유용성을 보존하면서 해로운 영향 경로를 점진적으로 격리합니다.

MCP로의 확장

본 방법론은 동일한 격리 로직을 서버 수준에서 적용하여 서버들을 영향을 받은 그룹과 영향을 받지 않은 그룹으로 분할함으로써, 크로스 서버 포이즈닝을 방지하는 방식으로 Model Context Protocol(MCP)으로 확장됩니다.

주요 기여

1. 교차 도구 설명 포이즈닝의 특성화: 본 논문은 비핵심 도구의 설명을 포이즈닝함으로써 공격자가 안전 필수적인 도구 호출에 악의적인 단계를 주입할 수 있음을 입증합니다. 이는 포이즈닝된 도구가 호출되지 않더라도 발생할 수 있습니다. 또한 기존 방어 기제들이 이러한 지속적인 영향에 대해 높은 공격 성공률(ASR)을 보임을 보여줍니다.
2. Tool-Guard 방어 체계: 저자들은 도구 세트를 동적으로 분할하고 격리된 계획을 사용하는 방어책을 제안합니다. 실행 전 동작을 검증하고 의심스러운 도구를 격리함으로써, 도구 가용성을 완전히 유지하면서도 악의적인 교차 도구 유도 경로를 차단합니다.
3. 포괄적인 평가: AgentDojo 및 ASB (Agent Security Bench) 벤치마크를 통한 광범위한 실험을 통해, Tool-Guard가 높은 작업 유용성을 유지하면서 ASR을 무시할 수 있는 수준으로 낮춘다는 것을 입 demonstrate 합니다. 또한 효율성과 적응형 공격 변종에 대한 견고성을 정량화합니다.

실험 결과

저자들은 여러 LLM(GPT-4o, GPT-4o-mini, Gemini-2.5, Claude-3.5)과 두 개의 벤치마크에 대해 다섯 가지 기존 방어 메커니즘(System Prompt, Tool Filtering, Repeat Prompt, Drift, Progent)을 대상으로 Tool-Guard를 평가했습니다.

• 공격 성공률 (ASR): Tool-Guard는 ASR을 무시할 수 있는 수준으로 낮추었습니다 (예: AgentDojo에서 ~43%에서 ~2% 또는 0%로, ASB의 대부분 모델에서 ~72-96%에서 0%로 감소). 반면, 기존 방어 기제들은 ASR을 유의미하게 낮추지 못했습니다 (예: Drift와 Progent는 AgentDojo에서 각각 24.7%와 19.6%의 ASR을 보임).
• 유용성 보존 (Utility Preservation): Tool-Guard는 유해한 조건과 양호한 조건 모두에서 높은 작업 유용성을 유지했습니다. 도구를 무차별적으로 차단하는 "오버킬(over-kill)" 방식의 방어와 달리, Tool-Guard는 공격 상황에서도 기존 베이스라인과 비슷하거나 더 나은 유용성 점수를 기록하며 작업을 완료할 수 있는 능력을 보존했습니다.
• 효율성:
  • 토큰 오버헤드: Tool-Guard는 방어 없는 베이스라인 대비 약 1.5배의 토큰 사용량 증가를 기록했으며, 이는 Drift나 Progent와 같은 다른 시스템 수준 방어 기제보다 현저히 낮습니다.
  • 지연 시간 (Latency): 재계획 메커니즘으로 인해 베이스라인 대비 약 3.7배의 런타임 오버헤드가 발생했습니다 (Progent의 1.2배보다는 높지만 Drift의 7.3배보다는 낮음).
• 견고성:
  • 안정성: 방어 기제는 낮은 표준 편차와 함께 여러 실행에서 안정성을 유지했습니다.
  • 적응형 공격 (Adaptive Attacks): Tool-Guard는 조작된 정당화를 통해 검증을 회피하려는 시맨틱 적응형 공격과 최적화 기반 공격(PAIR, TAP)에 대해 견고함을 유지했습니다. 최적화 기반 공격이 ASR을 약간 높였으나(예: PAIR 하에서 2.06%), 이는 공격자가 계획에 영향을 줄 만큼 명시적이면서도 검증을 피할 만큼 미묘해야 하는 본질적인 트레이드오프를 보여줍니다.
  • 스트레스 테스트: 핵심적인 고빈도 도구가 포이즈닝된 경우에도 Tool-Guard는 ASR을 낮은 한 자릿수 수준으로 유지했습니다.

의의 및 주장

본 논문은 도구 설명이 LLM 에이전트의 중요하고도 이전에 탐구되지 않은 공격 표면임을 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 새로운 위협 벡터 식별: 계획 컨텍스트 내에서 도구 메타데이터의 지속적인 특성을 이용함으로써 기존 방어를 우회하는 교차 도구 설명 포이즈닝을 공식화했습니다.
2. 방어의 한계 입증: 현재의 최첨단 방어 기제들이 지속적인 교차 도구 영향력에 대해서는 불충분함을 보여주었습니다.
3. 시스템 수준 솔루션 제안: 실행 시점의 안전 장치나 정적 스캐닝에만 의존하는 대신, 영향력을 격리함으로써 공격을 효과적으로 완화하는 Tool-Guard를 도입했습니다.
4. 보안과 유용성의 균형: 효과적인 방어가 에이전트의 유용성을 희생할 필요가 없음을 증명했습니다. Tool-Guard는 최소한의 토큰 오버헤드로 강력한 보안을 달자하면서 "오버킬" 동작 없이 작동합니다.

저자들은 도구 증강 LLM 에이전트를 위한 효과적인 방어는 단순히 프롬프트 인젝션 방어나 정적 도구 필터링에 의존하는 것이 아니라, 격리된 계획과 같은 메커니즘을 통해 교차 도구 영향력을 명시적으로 다루어야 한다고 결론짓습니다.