기술 요약: 프롬프트 인젝션 방어를 위한 탐지 대신 격리(Containment)

문제 정의

프롬프트 인젝션은 에이전트 기반 대규모 언어 모델(LLM) 시스템에서 발생하는 치명적인 취약점으로, 사용자 입력에 포함된 적대적 콘텐츠가 시스템 제약 조건을 무시하고 데이터 유출, 권한 상승 또는 승인되지 않은 코드 실행을 유도하는 현상을 의미한다. 특히 민감한 데이터 저장소 및 코드 실행 샌드박스와 통합되는 현재의 프로덕션 시스템들은 탐지 기반 방어(키워드 필터링, 학습된 분류기, 퍼플렉시티 분석)에 크게 의존하고 있다.

저자들은 탐지 패러다임이 근본적인 결함을 가지고 있다고 주장한다. 즉, 탐지는 자연어에서 본질적으로 모호한 문제인 '악의적인 명령'과 '정당한 데이터' 사이의 의미론적 분류 문제를 해결하려 시도한다는 점이다. 이러한 접근 방식은 정확도와 지연 시간(latency) 사이의 피할 수 없는 트레이드오프를 발생시킨다. 높은 정확도를 가진 분류기는 추론 지연을 초고하며 지속적인 재학습을 요구하는 반면, 매우 정확한 탐지기(예: 99%)라 할지라도 공격자가 시스템을 침해하기 위해 단 한 번의 성공만 있으면 되기 때문에 실패할 수밖에 없다. 또한, 탐지 메커니즘은 명령형 구문을 포함하는 정당한 사용자 질의를 거부하는 오탐(false positive)을 생성하기도 한다.

방법론: 격리 아키텍처(The Containment Architecture)

본 논문은 탐지에서 격리로의 패러다임 전환을 제안한다. 악의적인 입력을 식별하고 거부하려고 시도하는 대신, 명령(instruction)과 데이터 사이에 암호학적 경계를 강제함으로써 적대적 콘텐츠를 구조적으로 무력화한다. 이는 네 가지 계층의 결합 가능한 방어 아키텍처를 통해 달성된다:

1. 휘발성 암호화 토큰 생성:
   컨테이너 시작 시, 256비트 엔트로피를 가진 암호학적으로 안전한 무작위 토큰($\tau$)이 생성된다. 이 토큰은 URL 안전한 base64 문자열(43자)로 인코딩된다. 결정적으로, $\tau$는 디스크, 로그 또는 환경 변수에 절대 저장되지 않으며 컨테이너 재시작 시 로테이션되어 전방향 보안(forward secrecy)을 보장한다.

2. 입력 정규화(Canonicalization):
   래핑(wrapping) 전, 사용자 입력은 인코딩 기반의 우회 벡터를 제거하기 위해 정규화 과정을 거친다. 이 과정은 유니코드 제어 문자(카테고리 Cc)와 특정 줄/단락 구분자(Zl/Zp, 예: U+2028, U+2029)를 제거하여, 토크나이저와 검증 로직이 다르게 해석할 수 있는 요소를 없앤다. 이를 통해 경계 강제 적용 전 입력이 정규화되었음을 보장한다.

3. 토큰 인증 엔벨로프 래핑:
   정규화된 입력은 XML 스타일의 엔벨로프 <untranslated_input id="{token}">...</untranslated_input> 내에 래핑된다.

   • 서버 측 검증: 래핑 전 중요한 보안 체크가 수행된다. 시스템은 이미 토큰 $\tau$를 포함하거나 엔벨로프 태그 구조를 포함하고 있는 입력을 거부한다. 이는 공격자가 엔벨로프 태그를 조기에 닫아 경계 외부로 명령을 주입하는 것을 방지하기 위 위함이다.
   • 결정적 보장: 경계는 암호학적으로 예측 불가능하다. 공격자는 $\tau$를 모르는 상태에서 유효한 닫기 태그를 구성할 수 없다.

4. 행동적 프롬프트 그라운딩(Behavioral Prompt Grounding):
   시스템 프롬프트는 LLM에게 <untranslated_input> 태그 내의 콘텐츠를 실행 가능한 명령이 아닌, 처리해야 할 데이터로 엄격하게 취급하도록 명시적으로 지시한다. 프롬프트는 엔벨로프 내부의 명령형 언어가 리터럴 텍스트로 취급되어야 함을 강조한다. 저자들은 잘못된 거부를 방지하기 위해 경고조의 문구보다는 중립적인 표현이 선호된다고 언급한다.

주요 기여

본 논문의 주요 기여는 다음과 같다:

1. 형식적 보안 보장: 저자들은 블랙박스 공격자 모델(런타임 토큰에 대한 오라클 액세스 없이) 하에서 공격자가 유효한 경계 탈출을 생성할 확률이 무시할 수 있는 수준($\le 2^{-256}$)임을 입증하는 형식적 증명(Theorem 1)을 제공한다.
2. 결합 가능한 방어 아키텍처: 모델의 동작과 독립적으로 입력 전처리 계층에서 작동하는, 형식적으로 명세된 인터페이스와 실패 모드 격리를 갖춘 4계층 시스템을 제시한다.
3. 속성 기반 테스트 방법론: 저자들은 Hypothesis 프레임워크를 사용하여 15개의 기계 검증 가능한 보안 불변량(invariants)을 정의하였다. 이 접근 방식은 기존의 예시 기반 테스트가 놓친 세 가지 프로덕션 크리티컬 버그(비항등적 정규화 버그 및 버퍼 오버플로 문제 포함)를 성공적으로 찾아냈다.
4. 실증적 검증: 네 가지 확립된 공격 코퍼스(Garak, OWASP LLM Top 10, HarmBench, 커스텀 다국어 세트)에서 추출된 547개의 적대적 패턴에 대해 종합적인 평가를 수행하였다.

결과

방어 체계는 데이터베이스, 코드 인터프리터, RAG 지식 베이스에 접근 권한이 있는 약 200명의 분석가에게 서비스되는 프로덕션 에이전트 시스템에서 평가되었다.

• 격리율(Containment Rate): 시스템은 94.3%의 구문적 격리율을 달ach했다. 이러한 경우, 적대적 입력이 성공적으로 래핑되었으며 모델은 이를 데이터로 취급했다.
• 잔여 실패(Residual Failures): 5.7%의 실패율은 전적으로 **모델 수준의 의미론적 탈옥(semantic jailbreaks)**으로 구성되었다. 이 경우, 입력은 엔벨로프 내에 구문적으로는 격리되어 있었으나, 모델이 (인지적 재구성 또는 적대적 접미사를 통해) 주입된 명령을 수행했다. 저자들은 이를 입력 계층 방어와는 별개의 문제로 분류한다.
• 오탐(False Positives): 방어 체계는 0%의 오탐을 기록했다. 시스템은 콘텐츠를 기준으로 입력을 거부하는 것이 아니라 단순히 래핑만 하기 때문에, 명령형 구문을 포함하는 정당한 질의가 올바르게 처리되었다.
• 지연 시간(Latency): 런타임 오버헤드는 요청당 <0.5ms로 측정되었으며, 이는 학습된 분류기(180ms)보다 성능이 뛰어나고 "샌드위치" 방어 기법의 토큰 팽창 문제를 피할 수 있었다.
• 버그 발견: 속성 기반 테스트는 특정 유니코드 문자가 반복적인 통과 시 검증을 우회할 수 있는 정규화 비항등성 문제와, 부하 발생 시 가장 최근의(포렌식적으로 유의미한) 이벤트를 누락시키는 로깅 버퍼 오류를 포함한 치명적인 결함들을 찾아냈다.

의의 및 주장

본 논문은 격리 접근 방식이 에이전트 기반 LLM의 보안 목표를 근본적으로 변화시킨다고 주장한다. 확률적인 의미론적 분류에서 결정적인 구문적 경계 강제로 전환함으로써, 이 방어 체계는 탐지 기반 시스템에 내재된 정확도-지연 시간 간의 트레이드오프를 제거한다.

저자들은 격리 계층이 구조적 탈출을 방지하는 암호학적으로 견고한 기초를 제공하지만, 모델 수준의 탈옥 문제를 해결하는 것은 아니라는 점을 강조한다. 5.7%의 잔여 실패율은 입력 계층 방어의 한계를 나타내며, 이를 해결하기 위해서는 상보적인 모델 수준의 안전장치(안전 학습, 가드레일 모델)가 필요하다. 그러나 격리 계층은 입력 경계가 위조 불가능함을 보장하여, 상위 수준의 방어 체계가 안전한 기질 위에서 작동할 수 있도록 한다.

본 연구는 속성 기반 테스트를 보안이 중요한 LLM 인프라의 필수 표준으로 위치시키며, 예시 기반 테스트가 간과하는 엣지 케이스 취약점을 찾아내는 데 있어 그 우월성을 입증한다. 평가 허니와스 및 속성 명세는 재현성을 높이기 위해 오픈 소스로 공개되었다.