[기술 요약] 프롬프트 및 컨텍스트 보호: 비결정적 AI를 위한 결정론적 보안

1. 문제 배경 (Problem Statement)

현재 기업용 LLM(대규모 언어 모델) 애플리케이션은 프롬프트 인젝션(Prompt Injection) 및 **컨텍스트 조작(Context Manipulation)**이라는 새로운 공격 표면에 직면해 있습니다. 기존 보안 모델이 이를 해결하지 못하는 이유는 다음과 같습니다.

• 명령과 데이터의 경계 모호성: LLM은 자연어 명령(Instruction)과 데이터(Data)를 동일한 메커니즘으로 처리하므로, 공격자가 데이터 내에 숨겨둔 명령을 구분할 수 없습니다.
• 비결정성(Non-determinism): LLM의 실행 경로는 정적 코드가 아닌 확률적 추론에 의해 생성되므로, 정적 분석이 불가능합니다.
• 기존 방어의 한계: 입력 필터링(Input Filtering)은 재구문화(Rephrasing) 공격에 취약하며, 모델 정렬(Alignment)은 실행 시점(Runtime)의 보안을 보장하지 못합니다. 즉, 확률적인 LLM을 결정론적으로 만드는 것은 근본적으로 불가능합니다.

2. 핵심 방법론 (Methodology)

본 논문의 핵심 통찰은 **"명령 생성(비결정적)과 검증(결정론적)을 분리하는 것"**입니다. LLM 자체를 보안하는 대신, LLM과 도구(Tool) 사이의 추상화 경계인 '프롬프트'와 '컨텍스트'를 암호학적으로 보호합니다.

A. 인증된 프롬프트 (Authenticated Prompts)

프롬프트의 계보(Lineage)를 추적하여 권한 상승을 방지합니다.

• 암호학적 서명: 모든 프롬프트는 (텍스트, ID, 부모, 정책, 서명) 구조를 가지며, 변조 시 즉시 탐지됩니다.
• 계보 추적 (Lineage Tracking): '부모 추적'을 통해 체인 검증을 수행하고, '루트 추적'을 통해 최초 사용자의 의도(Root Intent)로부터 얼마나 벗어났는지(Semantic Drift)를 검증합니다.
• 정책 전파 (Policy Propagation): 새로운 프롬프트가 생성될 때, 기존 정책의 교집합(Intersection)을 적용하여 **"권한은 오직 축소될 수만 있고, 확장될 수 없다"**는 원칙을 강제합니다.

B. 인증된 컨텍스트 (Authenticated Context)

에이전트의 메모리(대화 기록, 중간 결과 등)가 오염되는 것을 방지합니다.

• 주체 바인딩 (Principal Binding): 컨텍스트를 특정 사용자/에이전트 ID에 결합하여 타인의 컨텍스트를 조작하는 것을 방지합니다.
• 해시 체인 (Hash Chains): 모든 상태 변화(도구 호출, 결과 반영 등)를 해시 체인으로 연결하여, 중간에 데이터가 삽입되거나 수정되면 체인이 깨지도록 설계되었습니다.
• 시퀀스 번호 (Sequence Numbers): 일련번호를 통해 과거의 유효한 요청을 재사용하는 리플레이 공격(Replay Attack)을 차단합니다.

C. 정책 대수 (Policy Algebra) 및 형식적 증명

정책이 결합되는 방식을 수학적으로 정의하고, 다음 4가지 정리를 통해 보안성을 증명했습니다.

1. 단조적 제한 (Monotonic Restriction): 파생된 프롬프트의 권한은 항상 부모보다 작거나 같습니다.
2. 전이적 거부 (Transitive Denial): 상위 단계에서 거부된 자원은 하위 모든 단계에서도 거부됩니다.
3. 유한한 파생 깊이 (Bounded Derivation): 무한 루프나 자원 고갈을 방지하기 위해 파생 깊이를 제한합니다.
4. 권한 상승 불가 (No Privilege Escalation): 루트 정책에서 거부된 자원은 어떤 도구 체이닝을 통해서도 접근할 수 없습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 보안 프리미티브 도입: 암호학적 계보를 가진 '인증된 프롬프트'와 해시 체인 기반의 '인증된 컨텍스트'를 최초로 제안했습니다.
2. 형식적 보안 보장: 정책 대수를 통해 LLM의 비결정적 동작과 무관하게 수학적으로 증명 가능한 보안 프로토콜을 구축했습니다.
3. 다층 방어 아키텍처 (Multi-layer Defense): 패턴 매칭부터 암호학적 검증, 의미론적 의도 검증까지 5단계의 방어 계층을 설계했습니다.

4. 실험 결과 (Results)

6가지 공격 카테고리(인젝션, 난독화, 의미론적 드리프트, 컨텍스트 오염, 도구 체이닝, 리플레이 공격)를 대상으로 평가한 결과:

• 탐지율 100%: 모든 공격 유형에 대해 100% 탐지 성공.
• 오탐율 0%: 정상적인 동작을 공격으로 오인하는 사례 없음.
• 낮은 오버헤드: 시스템 성능 저하를 최소화(약 1.8% 수준)하면서 보안성을 확보했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 LLM 보안의 패러다임을 "확률적 탐지(Reactive Detection)"에서 "결정론적 예방(Preventative Guarantees)"으로 전환시켰습니다.

공격자가 아무리 정교하게 프롬프트를 재구문화하더라도, 암호학적 서명과 수학적 정책 체계를 깨뜨리지 못하는 한 공격은 실패합니다. 이는 기업이 자율형 AI 에이전트를 실제 운영 환경(Production)에 배포할 때 직면하는 가장 큰 장벽인 '보안 불확실성'을 해결할 수 있는 강력한 프레임워크를 제공합니다.