The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

1. 문제 정의 (Problem)

대부분의 현재 LLM(대형 언어 모델) 방어 연구는 프롬프트 인젝션 (Prompt Injection) 을 완전히 차단할 수 있는 래퍼 (wrapper) 를 구축할 수 있다고 가정합니다. 이러한 방어 메커니즘은 일반적으로 입력을 모델에 전달하기 전에 전처리하는 함수 $D: X \to X$로 구성됩니다.

• 목표: 위험한 입력을 안전한 입력으로 변환하되, 안전한 입력은 변경하지 않고 통과시킴 (Utility Preservation).
• 가정: 방어는 연속적이어야 하며 (Continuity), 안전한 프롬프트는 수정하지 않아야 함.
• 핵심 질문: 이러한 조건 하에서 모든 출력을 안전하게 만드는 (완전한, Complete) 방어 시스템을 구축할 수 있는가?

이 논문은 연속적이고 유틸리티를 보존하는 래퍼 방어는 연결된 (connected) 프롬프트 공간에서 모든 출력을 안전하게 만들 수 없다는 것을 수학적으로 증명합니다.

2. 방법론 (Methodology)

저자들은 위상수학 (Topology), 리프시츠 연속성 (Lipschitz continuity), 그리고 이산 수학 (Discrete mathematics) 을 결합하여 방어 함수의 구조적 한계를 분석했습니다.

• 수학적 프레임워크:
  • 정렬 편차 함수 (Alignment Deviation Function, $f$): 입력 $x$가 얼마나 안전한지 (또는 위험한지) 를 나타내는 연속 함수. 임계값 $\tau$를 기준으로 안전 영역 ($S_\tau$), 위험 영역 ($U_\tau$), 경계 ($B_\tau$) 를 정의합니다.
  • 방어 함수 (Defense, $D$): 입력을 매핑하는 연속 함수. 안전 영역에서는 항등 함수 ($D(x)=x$) 로 작동해야 합니다.
  • 가정: 프롬프트 공간 $X$는 연결된 (connected) 하우스도르프 공간이며, $f$와 $D$는 연속적입니다.
• 검증 도구:
  • Lean 4 형식 검증: 모든 정리는 Mathlib 라이브러리를 사용하여 Lean 4 에서 기계적으로 검증되었습니다 (45 개 파일, 약 350 개 정리, 승인된 증명 없음).
  • 실험적 검증: Llama-3-8B, GPT-OSS-20B, GPT-5-Mini 등 3 개의 LLM 을 대상으로 프롬프트 공간의 2 차원 행동 지도 (behavioral map) 를 생성하여 이론적 예측을 검증했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 방어 시스템이 가질 수 있는 세 가지 속성 (연속성, 유틸리티 보존, 완전성) 이 동시에 성립할 수 없다는 방어 삼각형 (Defense Trilemma) 을 제시합니다.

1. 경계 고정 (Boundary Fixation, Theorem 4.1):
   • 연속적이고 유틸리티를 보존하는 방어는 안전 영역의 경계에 있는 적어도 하나의 점 ($z$, 여기서 $f(z)=\tau$) 을 변경하지 않고 통과시켜야 합니다. 즉, 방어는 경계점을 수정할 수 없습니다.
2. $\epsilon$-강건 제약 ($\epsilon$-Robust Constraint, Theorem 5.1):
   • 리프시츠 연속성 하에서, 방어는 고정된 경계점 근처의 입력에 대해 임계값 $\tau$를 일정 수준 ($\tau - LK\delta$) 이상으로 낮출 수 없습니다. 이는 방어 실패가 단일 점이 아닌 '영역 (band)'으로 확장됨을 의미합니다.
3. 지속적인 위험 영역 (Persistent Unsafe Region, Theorem 6.3):
   • 정렬 표면 (alignment surface) 이 방어 함수가 끌어내릴 수 있는 속도보다 더 가파르게 상승하는 조건 (Transversality condition) 하에서, 임계값 $\tau$를 초과하는 양의 측도 (positive-measure) 를 가진 입력 집합이 방어 후에도 계속 위험하게 남습니다.
4. 이산적 결과 (Discrete Results, Theorem 8.3):
   • 연속성 가정이 없더라도 유한 집합에서 방어는 '완전성 (모든 위험 제거)'과 '단사성 (정보 손실 없음)' 중 하나를 선택해야 합니다. 완전한 방어를 하려면 서로 다른 입력을 같은 출력으로 매핑해야 하므로 정보 손실이 불가피합니다.
5. 확장성:
   • 다중 턱 (Multi-turn), 확률적 방어 (Stochastic), 파이프라인 (Pipeline) 환경에서도 동일한 불가능성 결과가 성립함을 증명했습니다.

4. 주요 결과 (Results)

• 이론적 결과:
  • 방어 삼각형: 연속성, 유틸리티 보존, 완전성 중 최대 두 가지만 동시에 만족 가능합니다. 세 가지를 모두 만족하는 방어는 존재하지 않습니다.
  • 실패의 기하학: 실패는 특정 공격 기법의 결함이 아니라, 프롬프트 공간의 위상적 구조에서 비롯된 필연적인 결과입니다.
  • 양적 하한: 위험 영역의 부피에 대한 하한을 계산할 수 있으며, 방어 함수의 공격성 (Lipschitz 상수 $K$) 을 높이면 실패 영역의 크기가 줄어들지 않고 오히려 다른 제약이 발생합니다.
• 실험적 결과:
  • Llama-3-8B: 평탄한 정렬 표면 (작은 $L$) 을 가지며, 이론이 예측한 대로 넓은 안전 영역과 명확한 경계를 가졌습니다.
  • GPT-OSS-20B: 거친 지형 (큰 $L$) 을 보여 여러 개의 작은 위험 조각 (fragments) 이 존재함을 확인했습니다.
  • GPT-5-Mini: 임계값이 낮아 위험 영역이 비어있는 경우 ($U_\tau = \emptyset$) 에는 불가능성 정리가 적용되지 않음을 확인하여 이론의 정확성을 입증했습니다.
  • 모든 모델에서 경계 부근의 '지속적인 위험 영역'과 '단조 수렴 (monotone convergence)' 현상이 관찰되었습니다.

5. 의의 및 시사점 (Significance)

이 연구는 LLM 보안 분야에서 다음과 같은 중요한 통찰을 제공합니다:

• 방어 패러다임의 전환: "모든 공격을 차단한다"는 목표는 수학적 한계로 인해 불가능할 수 있습니다. 대신 "위험 관리 (Risk Management)" 로 접근해야 합니다.
• 엔지니어링 처방:
  1. 경계 얕게 만들기 (Shallow Boundary): 임계값 $\tau$를 설정하여 경계선에서의 모델 행동이 치명적이지 않도록 (예: 정중한 거절) 만듭니다.
  2. 리프시츠 상수 감소: 정렬 표면이 매끄럽도록 하여 방어 실패 영역을 예측 가능하고 모니터링하기 쉽게 만듭니다.
  3. 차원 축소: 프롬프트 인터페이스를 제한하여 행동 공간의 차원을 줄이고 방어 비용을 낮춥니다.
  4. 경계 모니터링: 완전한 제거 대신 경계 접근을 탐지하는 런타임 모니터링 시스템을 구축합니다.
• 범위 제한: 이 정리는 연속적이고 유틸리티를 보존하는 래퍼에 국한됩니다. 훈련 시 정렬 (RLHF), 아키텍처 변경, 불연속 필터링 (블랙리스트), 인간 개입 등은 이 정리의 제약에서 벗어나며 여전히 유효한 방어 수단이 될 수 있습니다.

결론적으로, 이 논문은 프롬프트 인젝션 방어가 단순히 기술적 결함이 아니라 구조적인 한계임을 수학적으로 증명하며, 방어 설계자가 현실적인 제약 내에서 최적의 전략을 수립할 수 있는 이론적 기반을 제공합니다.