AgentSentry: LLM 에이전트의 간접 프롬프트 주입 (IPI) 방어를 위한 시계열 인과 진단 및 컨텍스트 정화

이 논문은 도구 증강형 대규모 언어 모델 (LLM) 에이전트가 직면한 간접 프롬프트 주입 (Indirect Prompt Injection, IPI) 공격을 해결하기 위해 AgentSentry라는 새로운 추론 시간 (inference-time) 방어 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

• 배경: 현대 LLM 에이전트는 검색, 이메일, 캘린더, 기업 API 등 외부 도구를 활용하여 복잡한 작업을 수행합니다.
• 위협 (IPI): 공격자는 사용자의 직접적인 프롬프트를 제어할 필요 없이, 에이전트가 참조하는 신뢰할 수 없는 콘텐츠 (이메일, 문서, 검색 결과 등) 에 악성 지시를 삽입합니다.
• 특징:
  • 다중 턱 (Multi-turn) 및 지연된 장악: 악성 지시는 초기 단계의 읽기 작업 (read) 에서 주입되지만, 실제 해로운 행동 (예: 데이터 유출, 파일 삭제) 은 몇 턱이 지난 후 실행됩니다.
  • 기존 방어책의 한계: 기존 방어 기법 (휴리스틱 탐지, 행동 유사성 임계값, 엄격한 차단 등) 은 공격을 탐지하면 작업을 중단하거나 도구를 광범위하게 차단하는 경향이 있습니다. 이로 인해 공격이 발생하지 않은 정상적인 작업까지 중단되어 작업 유틸리티 (Utility) 가 크게 저하됩니다.
  • 핵심 과제: 악성 콘텐츠가 에이전트의 의사결정을 언제, 어디서 장악 (takeover) 했는지 인과적으로 식별하고, 작업을 중단하지 않으면서 안전하게 복구하는 방법이 필요합니다.

2. 방법론 (Methodology)

AgentSentry 는 IPI 를 시계열 인과적 장악 (Temporal Causal Takeover) 과정으로 모델링하며, 두 가지 핵심 단계로 구성됩니다.

2.1 시계열 인과 진단 (Temporal Causal Diagnostics)

• 도구 반환 경계 (Tool-return Boundaries) 분석: 에이전트가 도구 결과를 받아들이고 다음 행동을 결정하는 시점 (경계) 에서 진단을 수행합니다.
• 통제된 반사실적 재실행 (Controlled Counterfactual Re-executions): 각 경계에서 4 가지 변형 시나리오를 'Dry-run'(실제 실행 없이 시뮬레이션) 방식으로 수행합니다.
  1. Orig: 원래 사용자 입력 + 원래 악성 콘텐츠
  2. Mask: 중립적인 진단 프롬프트 (사용자 목표 제거) + 원래 악성 콘텐츠
  3. Mask_Sanitized: 중립 프롬프트 + 정제된 (악성 지시 제거) 콘텐츠
  4. Orig_Sanitized: 원래 사용자 입력 + 정제된 콘텐츠
• 인과 효과 추정: 위 시나리오들을 비교하여 다음 행동이 사용자 목표에 의해 주도되는지, 아니면 악성 콘텐츠 (중개자) 에 의해 주도되는지 계산합니다.
  • 간접 효과 (Indirect Effect, IE): 악성 콘텐츠가 제거되었을 때 위험도가 감소하는 정도를 측정하여 장악 여부를 판단합니다.
  • 시계열 추세: 여러 턱에 걸쳐 사용자 목표의 영향력이 약화되고 악성 콘텐츠의 영향력이 강화되는 추세를 감지합니다.

2.2 인과 게이트 컨텍스트 정화 (Causally Gated Context Purification)

• 조건부 개입: 진단 결과 악성 콘텐츠가 의사결정을 주도한다고 판단될 때만 개입합니다.
• 정화 (Purification): 악성 지시 (imperative directives) 나 우선순위 재정의 명령을 제거하되, 작업 수행에 필요한 사실적 증거 (fact, 데이터, 타임스탬프 등) 는 보존합니다.
  • 예: "이 파일을 삭제하라"는 명령은 제거하되, "파일 A 의 생성 날짜는 2024 년"이라는 사실은 유지.
• 안전한 계속 실행 (Safe Continuation): 정화된 컨텍스트를 기반으로 에이전트가 원래 작업을 계속 수행하도록 합니다. 작업을 중단하거나 도구를 차단하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 추론 시간 방어 체계: 도구 증강형 LLM 에이전트에서 다중 턱 IPI 를 '시계열 인과적 장악'으로 모델링하고, 탐지, 국소화, 완화 (mitigation) 를 통합한 최초의 추론 시간 방어 솔루션을 제안했습니다.
2. 해석 가능한 장악 국소화: 휴리스틱이나 텍스트 매칭에 의존하지 않고, 통제된 반사실적 재실행을 통해 악성 콘텐츠가 언제부터 의사결정을 주도했는지 인과적으로 해석 가능한 시점을 정확히 찾아냅니다.
3. 작업 중단 없는 방어: 공격을 탐지하더라도 작업을 즉시 중단하지 않고, 인과적으로 정화된 컨텍스트를 통해 안전하게 작업을 계속 수행할 수 있게 하여 유틸리티를 극대화합니다.
4. 성능 검증: AgentDojo 벤치마크에서 다양한 공격 유형과 블랙박스 LLM(GPT-4o, GPT-3.5, Qwen-3-Max) 을 대상으로 평가했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): 모든 평가된 공격 유형에서 **0%**를 기록하여 완벽한 방어를 달성했습니다.
• 공격 하 유틸리티 (UA, Utility Under Attack): 평균 **74.55%**를 달성했습니다.
  • 기존 최강의 베이스라인 (Task Shield, MELON 등) 대비 20.8~33.6%p만큼의 성능 향상을 보였습니다.
  • 특히 'Tool Knowledge' 공격 유형에서 기존 방어 기법들이 급격히 성능이 떨어졌을 때, AgentSentry 는 높은 유틸리티를 유지했습니다.
• 정상 작업 성능 (CU): 방어 메커니즘이 정상적인 작업 수행에 부정적인 영향을 미치지 않아, 방어 없는 상태와 유사한 성능을 유지했습니다.

5. 의의 및 중요성 (Significance)

• 실용적 방어 패러다임 전환: 기존 방어 방식이 "탐지 후 차단 (Stop/Block)"이라는 수동적이고 보수적인 접근이었다면, AgentSentry 는 "원인 제거 후 복구 (Purify & Continue)"라는 능동적이고 정교한 접근을 제시합니다.
• 실제 배포 가능성: 모델의 내부 파라미터를 변경하거나 재학습이 필요 없는 블랙박스 환경에서도 적용 가능하며, 지연 시간 (latency) 이 제한된 환경에서도 실행 가능한 경량화된 진단 프로토콜을 제공합니다.
• 신뢰할 수 있는 에이전트 구축: 기업 환경에서 이메일, 문서, 캘린더 등 민감한 데이터를 다루는 에이전트가 악성 콘텐츠에 의해 조작되지 않고, 사용자의 의도대로 안전하게 장기 작업을 수행할 수 있는 기반을 마련했습니다.

결론적으로 AgentSentry 는 LLM 에이전트의 보안과 유용성 (Utility) 사이의 트레이드오프를 획기적으로 개선하여, 실제 환경에서의 안전한 에이전트 배포를 가능하게 하는 중요한 기술적 진보입니다.