PIArena: 프롬프트 인젝션 평가를 위한 통합 플랫폼에 대한 기술 요약

이 논문은 대규모 언어 모델 (LLM) 애플리케이션의 보안 위협인 프롬프트 인젝션 (Prompt Injection) 공격을 평가하기 위한 통합적이고 확장 가능한 플랫폼인 PIArena를 제안합니다. 저자들은 기존 평가 방법의 한계를 지적하고, 새로운 적응형 공격 기법을 개발하여 최신 방어 기법들의 취약점을 체계적으로 규명했습니다.

1. 문제 정의 (Problem)

프롬프트 인젝션은 신뢰할 수 없는 소스 (웹페이지, 문서 등) 에서 가져온 컨텍스트에 악성 지시를 주입하여 LLM 이 의도된 작업 대신 공격자가 원하는 작업을 수행하도록 조작하는 공격입니다. OWASP 는 이를 LLM 애플리케이션의 최상위 보안 위험으로 규정하고 있습니다.

하지만 현재 커뮤니티는 다음과 같은 심각한 격차에 직면해 있습니다:

• 통합 평가 플랫폼의 부재: 다양한 공격과 방어 기법을 플러그 앤 플레이 방식으로 통합하여 평가할 수 있는 표준화된 플랫폼이 없습니다.
• 평가의 비일관성: 각 연구마다 다른 벤치마크와 설정을 사용하여 방어 기법의 성능을 비교하기 어렵고, 재현성이 부족합니다.
• 일반화 능력의 불확실성: 특정 벤치마크에서 효과적이라고 보고된 방어 기법들이 다른 공격이나 작업 환경에서는 무력화되는 경우가 많아, 실제 robustness 를 파악하기 어렵습니다.

2. 방법론 (Methodology)

2.1 PIArena 플랫폼

PIArena 는 공격, 방어, 벤치마크, 평가자 (Evaluator) 로 구성된 4 개의 모듈을 가진 통합 플랫폼입니다.

• 표준화된 인터페이스: 공격과 방어 기법을 플러그 앤 플레이 방식으로 통합할 수 있는 통일된 API 를 제공합니다.
• 다양한 벤치마크: 질문 응답 (QA), 정보 추출, 요약, RAG(검색 증강 생성), 코드 생성 등 다양한 작업과, 피싱, 콘텐츠 홍보, 접근 차단, 인프라 장애 시뮬레이션 등 현실적인 4 가지 악성 인젝션 작업을 포함하는 데이터셋을 구축했습니다.
• 평가 지표:
  • Utility (유틸리티): LLM 이 의도된 작업을 얼마나 잘 수행하는지 측정 (F1 점수, ROUGE-L, LLM-as-a-judge 등).
  • ASR (Attack Success Rate): LLM 이 악성 인젝션 작업을 성공적으로 수행한 비율.

2.2 전략 기반 적응형 공격 (Strategy-based Adaptive Attack)

기존의 정적 (Static) 인젝션이나 그라디언트 기반의 화이트박스 공격의 한계를 극복하기 위해, 블랙박스 환경에서 방어 피드백을 기반으로 인젝션 프롬프트를 적응적으로 최적화하는 새로운 공격 기법을 설계했습니다.

• 전략 풀 (Strategy Pool): "데이터 프라이버시 추가 조항", "최근 업데이트", "편집자 수정", "시스템 설정 블록" 등 10 가지의 다양한 문법적/의미적 전략을 사용하여 인젝션 프롬프트를 재작성합니다.
• 피드백 기반 최적화 루프:
  1. Stealth 최적화: 공격이 탐지되거나 차단되면 은밀성을 높이는 방향으로 프롬프트를 수정.
  2. Imperativeness 최적화: 공격이 무시되면 명령의 권위를 높여 실행을 강제하는 방향으로 수정.
  3. 일반적 정제: 특정 신호가 없으면 실패 원인을 분석하여 우회하는 프롬프트 생성.
• 이 방식은 화이트박스 접근 없이도 높은 공격 성공률을 달성하며, 방어 기법의 일반화 능력을 검증하는 데 효과적입니다.

3. 주요 기여 (Key Contributions)

1. PIArena 개발: 다양한 벤치마크, 공격, 방어 기법을 통합하여 체계적이고 재현 가능한 평가를 가능하게 하는 확장 가능한 플랫폼을 최초로 제안했습니다.
2. 현실적인 벤치마크 구축: 단순한 지시문이 아닌, 실제 악성 목적 (피싱, 홍보 등) 을 가진 컨텍스트 인식형 인젝션 작업을 포함한 데이터셋을 구축했습니다.
3. 새로운 적응형 공격 기법 제안: 방어 피드백을 실시간으로 분석하여 프롬프트를 동적으로 최적화하는 블랙박스 전략 기반 공격을 개발했습니다.
4. 체계적인 평가 및 발견: PIArena 를 통해 기존 방어 기법들의 근본적인 한계를 규명하고, 최신 LLM 들의 취약성을 입증했습니다.

4. 주요 결과 (Results)

4.1 방어 기법의 한계

• 제한된 일반화 능력: 특정 벤치마크에서 우수한 성능을 보였던 최신 방어 기법 (PISanitizer, SecAlign++, PromptGuard 등) 이 다른 작업이나 공격 유형에서는 성능이 급격히 떨어졌습니다.
• 적응형 공격에 대한 취약성: 제안된 전략 기반 적응형 공격은 거의 모든 방어 기법을 우회했습니다. 예를 들어, PISanitizer 는 정적 공격에는 11% 의 ASR 만 보였으나, 적응형 공격에는 86% 의 ASR 을 기록하며 무력화되었습니다.
• 탐지 기반 방어와 유틸리티의 트레이드오프: 탐지 기반 방어 (PromptGuard, DataSentinel 등) 는 공격을 막는 대신 정상적인 입력까지 차단하여 유틸리티를 크게 떨어뜨리는 경우가 많았습니다.

4.2 LLM 모델별 취약성

• 오픈소스 및 클로즈드소스 모델 모두 취약: GPT-4o, GPT-5, Claude-Sonnet-4.5, Gemini-3-Pro 등 최신 상용 모델조차 높은 ASR(70% 이상) 을 보였습니다. 특히 GPT-5 와 같이 다중 방어 스택을 적용한 모델조차 70% 의 공격 성공률을 보였습니다.

4.3 작업 정렬 (Task Alignment) 시나리오

• 정보 조작 (Disinformation) 의 한계: 인젝션된 작업이 목표 작업과 일치하는 경우 (예: RAG 환경에서 잘못된 사실 주입), 공격은 명시적인 지시 없이 단순한 '허위 정보'로 변질됩니다. 이 경우 대부분의 방어 기법이 무효화되며, 이는 LLM 이 컨텍스트 내 정보의 진위를 검증할 수 없는 근본적인 한계를 보여줍니다.

4.4 다른 벤치마크에서의 평가

• PIArena 를 통해 기존에 방어 평가가 부족했던 에이전트 벤치마크 (InjecAgent, AgentDojo 등) 와 일반 프롬프트 인젝션 벤치마크 (OPI, SEP) 에서도 방어 기법들을 평가하여, 기존 연구들이 방어 성능을 과대평가했을 가능성을 시사했습니다.

5. 의의 및 결론 (Significance)

이 연구는 프롬프트 인젝션 방어 연구가 직면한 근본적인 도전을 명확히 보여주었습니다.

• 평가 표준의 필요성: 단일 벤치마크나 정적 공격만으로는 방어 기법의 진정한 강건성을 평가할 수 없으며, PIArena 와 같은 통합 플랫폼을 통한 다각적 평가가 필수적입니다.
• 적응형 위협 모델의 도입: 방어 기법 개발 시 정적 공격뿐만 아니라, 방어 피드백을 학습하여 진화하는 적응형 공격을 고려해야 합니다.
• 차세대 방어 방향: 단순한 지시문 탐지를 넘어, 컨텍스트 내 정보의 진위를 검증하는 콘텐츠 레벨의 검증 메커니즘과 시스템 수준의 안전장치가 필요함을 시사합니다.

PIArena 는 오픈소스로 공개되어 (GitHub), 연구자들이 방어 기법의 약점을 식별하고 더 강력하고 일반화 가능한 방어 솔루션을 개발하는 데 기여할 것으로 기대됩니다.