1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 통합된 애플리케이션에서 프롬프트 인젝션 (Prompt Injection) 은 여전히 가장 실질적인 공격 벡터 중 하나입니다. 특히 LLM 에이전트가 이메일 발송, API 호출, 코드 실행 등 실제 세계의 행동 (Real-world Actions) 을 수행할 수 있게 되면서, 공격 성공 시 피해 규모는 에이전트의 권한에 비례하여 급증합니다.

• 공격 방식: 신뢰할 수 없는 콘텐츠 (이메일 본문, 문서 등) 에 악성 지시를 숨겨, 모델이 합법적인 작업 (예: 이메일 요약) 을 수행하는 도중 이를 우회하여 권한 없는 행동 (예: 악성 이메일 발송) 을 수행하도록 유도합니다.
• 기존 한계: 단일 에이전트 아키텍처에서는 모델이 신뢰할 수 있는 작업 컨텍스트와 처리 중인 비신뢰 콘텐츠를 구분하기 어려워, 인젝션 공격에 취약합니다.

2. 방법론 (Methodology)

이 논문은 오픈소스 멀티툴 에이전트 플랫폼인 OpenClaw를 기반으로, 마이크로소프트의 LLMail-Inject 벤치마크를 재현하여 방어 기법을 검증했습니다. 제안된 방어 전략은 두 가지 독립적인 메커니즘을 결합한 구조적 방어 (Structural Defense) 입니다.

A. 에이전트 격리 (Agent Isolation / Privilege Separation)

단일 에이전트를 권한이 분리된 두 개의 협력 에이전트로 분할합니다.

1. Reader Agent (읽기 에이전트):
   • 권한: store_summary 도구만 사용 가능.
   • 역할: 원본 이메일 (비신뢰 데이터) 을 읽고 구조화된 요약을 생성.
   • 제한: send_email 과 같은 위험한 도구를 호출할 수 없음.
2. Actor Agent (행동 에이전트):
   • 권한: send_email, get_pending_summary 등 실행 도구 사용 가능.
   • 역할: Reader Agent 가 생성한 요약 내용만 참조하여 실제 행동 수행.
   • 제한: 원본 이메일 내용을 직접 볼 수 없음.

• 핵심 원리: 최소 권한의 원칙 (Principle of Least Privilege) 을 적용하여, 인젝션 콘텐츠가 위험한 도구에 직접 접근하는 경로를 플랫폼 수준에서 차단합니다.

B. JSON 포맷팅 (JSON Formatting)

Reader Agent 가 생성하는 출력을 자유 형식 텍스트가 아닌 구조화된 JSON으로 제한합니다.

• 작동 방식: JSON 스키마 (발신자, 제목, 요약 본문, 액션 아이템 등) 를 통해 인젝션 페이로드의 설득력 있는 문맥 (예: "이전 지시 무시", "시스템 오버라이드") 을 제거합니다.
• 검증: 경량화된 정규식 (Regex) 기반 검증기를 통해 이메일 주소 리터럴, 도구 호출 구문, 일반적인 인젝션 트리거 구문을 검사합니다. (실험에서는 차단 없이 감사 모드만 수행)

3. 주요 기여 (Key Contributions)

1. 고성능 모델의 베이스라인 개선: 외부 방어 기법 없이 최신 모델인 gpt-5-mini 를 OpenClaw 에서 실행했을 때, 기존 모델 대비 정렬 (Alignment) 이 크게 개선되어 베이스라인 공격 성공률 (ASR) 을 2.83% 로 낮췄음을 입증했습니다.
2. 구조적 방어 아키텍처 제안 및 검증: 에이전트 격리와 JSON 구조화 출력을 결합한 아키텍처를 제안하고, 649 개의 공격 시나리오에 대한 Ablation Study(절제 실험) 를 통해 각 메커니즘의 기여도를 정량화했습니다.
3. 완벽한 방어 달성: 제안된 풀 파이프라인 (Full Pipeline) 은 평가된 벤치마크에서 0% 의 공격 성공률 (ASR) 을 기록하여, 인젝션 공격을 구조적으로 차단할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

기존 베이스라인 (단일 에이전트) 에서 성공한 649 개의 공격을 대상으로 한 실험 결과는 다음과 같습니다.

• 주요 발견:
  • 에이전트 격리가 가장 지배적인 방어 메커니즘입니다. 도구 접근 권한을 분리하는 것만으로도 공격 성공률을 323 배 감소시켰습니다.
  • JSON 포맷팅은 추가적인 강화 수단으로 작용하지만, 격리 없이는 단독으로 충분하지 않습니다 (ASR 14.18% 유지).
  • 시나리오별 분석: 데이터 유출 (Scenario 4) 및 RAG 기반 공격 (Scenario 3) 은 격리 메커니즘이 적용된 경우 0% 로 방어되었으나, JSON 검증만으로는 여전히 취약했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 보안의 우위: 모델의 행동이나 프롬프트 엔지니어링에 의존하지 않고, 시스템 아키텍처 자체 (권한 분리) 를 통해 공격 벡터를 물리적으로 차단하는 것이 가장 효과적입니다. 이는 모델이 아무리 똑똑해지거나 공격이 정교해져도 우회할 수 없는 '하드 제약 (Hard Constraint)'을 제공합니다.
• 실무 적용 가능성: AutoGen 등 멀티 에이전트 프레임워크의 발전으로, 역할 특화 (Role-specialized) 에이전트 분해가 실제 배포에 점점 더 용이해지고 있습니다.
• 권고 사항: 신뢰할 수 없는 입력을 처리하는 생산 환경의 에이전트 시스템에서는 권한이 분리된 에이전트 아키텍처와 구조화된 에이전트 간 통신을 기본 보안 요구사항으로 채택해야 합니다.

이 논문은 LLM 에이전트 보안에 있어 "모델을 더 똑똑하게 만드는 것"보다 "시스템 구조를 안전하게 설계하는 것"이 더 근본적이고 효과적인 해결책임을 강력하게 시사합니다.