기술 요약: DataFilter를 통한 프롬프트 인젝션 방어

1. 문제 정의

본 논문은 대규모 언어 모델(LLM) 에이전트에서 발생하는 치명적인 보안 취약점인 프롬프트 인젝션(prompt injection) 문제를 다룹니다. LLM이 작업을 자동화(예: 웹 네비게이션, 도구 호출)하고 신뢰할 수 없는 외부 데이터(문서, 이메일, 도구 출력값)와 상호작용하도록 점점 더 많이 배포됨에 따라, 공격자는 이러한 데이터 내에 악의적인 지침을 주입할 수 있습니다. 이러한 인젝션은 원래의 신뢰할 수 있는 사용자 프롬프트를 무력화하여, 에이전트가 데이터 유출이나 악성코드 실행과 같이 의도하지 않은 잠재적 유해 행동을 수행하도록 유도합니다.

기존의 방어 기제들은 상당한 트레이드오프(trade-off) 문제를 안고 있습니다:

• 시스템 수준의 방어: 비사소한 시스템 재설계가 필요하며, 데이터 흐름 제어를 제한하기 때문에 종종 상당한 유틸리티 손실을 초래합니다.
• 모델 수준의 방어 (미세 조정): 모델 가중치에 대한 접근 권이 필요하므로, 독점적인 블랙박스 모델에는 적용할 수 없습니다.
• 탐지 기반 방어: 높은 오탐률(false-positive rate)을 유발하여, 양질의 입력을 거부함으로써 유틸리티 저하를 일으키는 경우가 많습니다.
• 프롬프트 기반 방어: 일반적으로 보안성이 약하며, 공격 성공률(ASR)이 종종 40%를 상회합니다.

저자들은 모델 불가지론적(모든 백엔드, 여기에는 독점 모델 포함)이며, 유틸리티를 보존하고, 시스템 재설계 없이도 높은 보안성을 제공하는 방어 체계의 공백을 확인했습니다.

2. 방법론: DataFilter

저자들은 DataFilter라는 테스트 타임(test-time), 모델 불가지론적 방어 메커니즘을 제안합니다. 전체 입력을 거부하는 탐지 시스템과 달리, DataFilter는 신뢰할 수 없는 데이터 소스와 백엔드 LLM 사이에 위치하는 필터 역할을 합니다.

핵심 메커니즘

DataFilter는 두 가지 입력을 받습니다:

1. 신뢰할 수 있는 지침 ($u$): 원래의 사용자 프롬프트.
2. 신뢰할 수 없는 데이터 ($x$): 인젝션이 포함될 가능성이 있는 외부 데이터.

필터의 임무는 악의적인 지침을 제거하면서도 신뢰할 수 있는 지침과 관련된 유익한 콘텐츠를 보존하는 정제된 버전의 데이터($x_{clean}$)를 출력하는 것입니다. 이는 조건부 시퀀스-투-시퀀스(sequence-to-sequence) 생성 문제로 프레임화됩니다.

훈련 과정 (지도 미세 조정)

필터 모델(Llama-3.1-8B-Instruct 기반)은 Alpaca 지시어 튜닝 데이터셋에서 구축된 커스텀 데이터셋을 통해 지도 미세 조정(SFT)을 거쳐 훈련됩니다. 훈련 전략은 견고함을 보장하기 위해 네 가지 핵심 설계 목표를 포함합니다:

1. 양질의 내용 보존 (Benign Preservation): 모델은 인젝션이 없는 샘플을 학습하여, 데이터가 유익하다면 변경 없이 그대로 출력하도록 학습합니다.
2. 환각 방지 (Preventing Hallucination): 인젝션을 삭제한 후 모델이 텍스트를 "완성"하려는 현상(흔한 LLM의 동작)을 막기 위해, 훈련 데이터에는 양질의 데이터를 잘라낸(truncated) 샘플이 포함됩니다. 모델은 잘린 데이터를 새로운 토큰을 생성하지 않고 정확히 그대로 출력하도록 학습합니다.
3. 무한 반복 방지 (Preventing Endless Repetition): 특수 종료 토큰(<|end_of_data|>)을 도입하고 이를 훈련시켜, 정제된 데이터 직후에 생성을 즉시 멈추도록 하여 무한 루프를 방지합니다.
4. 위치 일반화 (Positional Generalization): 인젝션을 데이터 내의 무작위 위치(시작, 중간, 끝)에 시뮬레이션하여, 필터가 위치에 상관없이 인젝션을 식별하고 제거할 수 있도록 합니다.

훈련 목적 함수는 프롬프트와 인젝션된 데이터 쌍이 주어졌을 때 정답인 깨끗한 데이터를 생성할 음의 로그 가능도(negative log-likelihood)를 최소화합니다:
$$L(\theta) = -\log p_\theta(x_{clean} | \langle u, x \rangle)$$

구조화된 데이터 처리

JSON과 같이 데이터가 구조화된 에이전트 애플리케이션의 경우, DataFilter는 구조를 파싱하고 키(key)와 값(value)의 텍text 내용을 재귀적으로 필터링한 후 객체를 재구성합니다. 이를 통해 문법적으로 유효하지 않은 JSON이 생성되는 것을 방지합니다.

3. 주요 기여

• 새로운 방어 아키텍처: DataFilter는 시스템 수준 접근 방식의 보안성과 모델 수준 접근 방식의 용이성을 결ellik히 결합한 최초의 모델 불가지론적 방어 체계이며, 백엔드 모델의 가중치를 요구하지 않습니다.
• 정교한 필터링 로직: 필터를 신뢰할 수 있는 사용자 지침에 조건화함으로써, 시스템은 악의적인 인젝션인 명령형 문장과 유익한 컨텍스트(예: 이메일의 "TODO" 목록)인 문장을 구분할 수 있습니다. 이는 기존 방식들이 어려워했던 구분점입니다.
• 포괄적인 평가: 본 논문은 다양한 벤치마크(SEP, InjecAgent, AgentDojo, AlpacaEval2)와 다양한 공격 벡터(Straightforward, Ignore, Completion, Multi-Turn, Context 공격)에 대해 방어 성능을 평가합니다.

4. 실험 결과

저자들은 PromptGuard, DataSentinel, Sandwich prompting, Spotlighting, Tool Filter 및 동시 연구인 PromptArmor를 포함한 베이스라인들과 DataFilter를 비교 평가했습니다.

보안 성능 (공격 성공률 - ASR)

• AgentDojo: DataFilter는 다양한 공격 유형에 대해 ASR을 평균 0.4%(최대 1.2%)로 낮추었으며, 이는 PromptArmor(평균 0.7%)보다 우수하고, 탐지 기반 및 프롬프트 기반 방어(종종 ASR > 20%)보다 현저히 뛰어난 성능입니다.
• InjecAgent: DataFilter는 gpt-4o에 대해 2.0%(Base attack) 및 0.0%(Enhanced attack)의 ASR을, Llama-3.1-8B-Instruct에 대해 2.1% 및 **1.2%**의 ASR을 달了一种했습니다.
• SEP (지시 이행): DataFilter는 gpt-4o와 Llama-3.1-8B-Instruct 모두에서 6가지 공격 유형 전반에 걸쳐 낮은 ASR을 유지했습니다. 특히, 합법적인 지침을 모방하는 Context 공격에 효과적인 몇 안 되는 방어책 중 하나였습니다.
• 적응형 공격 (Adaptive Attacks): 인간이 설계한 적응형 공격과 강력한 LLM 기반 적응형 공격(유전 알고리즘 사용) 하에서도, DataFilter는 테스트된 모든 방어 체계 중 가장 낮은 ASR을 유지했습니다(최악의 LLM 기반 시나리오에서 83% vs PromptArmor 93%). 다만, 저자들은 현재 어떤 방어도 가장 정교한 적응형 공격으로부터 완전히 면역될 수는 없다고 언급했습니다.

유틸리티 성능

• AgentDojo: DataFilter는 **79.4%**의 양질의 유틸리티를 보존했습니다(방어되지 않은 모델 대비 약 2% 감소). 반면, DataSentinel과 같은 탐지 기반 방어는 오탐으로 인해 심각한 유틸리티 손실(36.6%)을 겪었습니다.
• AlpacaEval2: DataFilter는 방어되지 않은 베이스라인(gpt-4o의 경우 54.1%)과 유사한 유틸리티 점수를 유지하여, 필터링 과정이 양질의 작업에 대한 응답 품질을 저하시키지 않음을 입증했습니다.

트레이드오프

논문의 도표에서 알 수 있듯이, DataFilter는 이전의 어떤 방법보다 "이상적인 방어"(ASR 0, 유틸리티 저하 0)에 더 가깝게 접근하며 우수한 보안-유틸리티 트레이드오프를 달성합니다.

5. 의의 및 주장

본 논문은 DataFilter가 블랙박스 상용 LLM을 프롬프트 인젝션으로부터 보호하기 위한 실용적이고 즉시 사용 가능한(plug-and-play) 방어책이라고 주장합니다. 그 의의는 다음과 같습니다:

1. 접근성: 모델 가중치에 대한 접근이 필요하지 않아, 독점 API를 사용하는 제3자 개발자가 배포하기 용이합니다.
2. 효과성: 컨텍스트적으로 관련성이 높고 탐지가 어려운 인젝션을 포함하여 광범위한 공격을 성공적으로 완화합니다.
3. 유틸리티 보존: 탐지 기반 시스템에서 흔히 발생하는 "과잉 거부(over-refusal)" 문제를 피하여, 에이전트가 정당한 작업을 수행하는 데 문제가 없도록 보장합니다.

저자들은 DataFilter가 현재의 공격 벡터에는 견고하지만, 가장 정교한 적응형 공격에는 여전히 취약할 수 있다는 점을 인정하며, 이는 모든 기존 방어 체계가 공유하는 한계임을 명시했습니다. 그러나 이들은 DataFilter를 생산 수준의 LLM 에이전트를 보호하기 위한 강력하고 즉각적인 단기/중기 솔루션으로 제안합니다.