A Framework for Formalizing LLM Agent Security

1. 문제 제기 (Problem)

기존의 LLM 에이전트 보안 정의와 방어 기법은 **맥락 **(Context)을 고려하지 않아 다음과 같은 근본적인 한계를 가집니다.

• 맥락의 부재: 같은 프롬프트나 행동 (예: "파일 삭제") 이 사용자 권한 내에서 수행될 때는 합법적이지만, 권한 없는 외부 소스에서 수행될 때는 공격이 됩니다. 기존 정의는 입력의 표면적 패턴 (예: 특정 키워드 포함) 만을 기준으로 공격을 판단하여, 합법적인 작업을 차단하거나 (위양성), 실제 공격을 놓치는 (위음성) 문제를 야기합니다.
• 유틸리티 - 보안 트레이드오프: 맥락을 고려하지 않은 방어 기법은 모든 입력을 동일하게 처리하므로, 보안을 강화하면 에이전트의 유용성 (Utility) 이 급격히 떨어지고, 유용성을 유지하면 보안 취약점이 발생합니다.
• 정의의 모호성: 프롬프트 인젝션, 자일브레이크, 메모리 포이징 등 기존 공격들은 행동의 내용만으로 정의되어 있어, 누가 명령을 내렸는지, 어떤 목표를 추구하는지, 정보가 어떻게 흐르는지에 대한 정밀한 구분이 불가능합니다.

2. 방법론 (Methodology)

저자들은 에이전트의 실행을 **맥락 **(Execution Context, $C_t$)으로 정의하고, 이를 검증하기 위한 오라클 함수와 4 가지 보안 속성을 도입했습니다.

A. 실행 맥락 ($C_t$)

시간 $t$에서의 에이전트 상태는 다음 튜플로 정의됩니다:
$$C_t = (p, Tr_{t-1}, M_t, E_t, S_{auth,t}, G)$$

• $p$: 사용자 프롬프트
• $Tr_{t-1}$: 이전 행동 - 관찰 시퀀스 (궤적)
• $M_t$: 메모리
• $E_t$: 환경 상태
• $S_{auth,t}$: 인증된 소스 집합
• $G$: 소스 권한 그래프 (어떤 소스가 어떤 리소스에 접근할 수 있는지 정의)

B. 오라클 함수 (Oracle Functions)

보안 속성을 검증하기 위해 이론적으로 필요한 정보를 정의하는 함수들입니다. 실제 구현은 이 함수들을 근사 (Approximation) 해야 합니다.

1. 지시 Attribution 함수 ($I$): 특정 행동을 유도한 입력 (지시) 이 무엇인지 식별.
2. 소스 Attribution 함수 ($L$): 입력의 출처 (Provenance) 를 추적.
3. 목표 평가 함수 ($H_p, H_{Tr}, H_a$):
   • $H_p$: 사용자 프롬프트에서 허용된 작업 목표 ($o_0$) 추출.
   • $H_{Tr}$: 전체 궤적 ($Tr$) 이 목표$o_0$에 부합하는지 판단.
   • $H_a$: 개별 행동 ($a_t$) 이 목표 $o_0$에 부합하는지 판단.

C. 4 가지 보안 속성 (Security Properties)

모든 속성이 동시에 만족될 때만 행동이 '보안상 안전'하다고 간주됩니다.

1. **작업 정렬 **(Task Alignment) 에이전트가 추구하는 목표가 사용자의 승인된 목표 ($o_0 \in O$) 와 일치해야 함. (자일브레이크 방지)
2. **행동 정렬 **(Action Alignment) 개별 행동이 승인된 목표에 기여해야 함. (기능 오용 방지)
3. **소스 인증 **(Source Authorization) 명령이 인증된 소스 ($S_{auth,t}$) 에서 왔는지 확인. (외부 명령 주입 방지)
4. **데이터 격리 **(Data Isolation) 정보 흐름이 권한 그래프 ($G$) 의 경계를 준수해야 함. (권한 상승 및 정보 유출 방지)

3. 주요 기여 (Key Contributions)

1. 공격의 재정의 (Reformulation of Attacks)

기존 공격들을 위 4 가지 속성 위반 관점에서 정밀하게 재정의했습니다.

• **간접 프롬프트 인젝션 **(Indirect Prompt Injection) 인증되지 않은 소스 ($L$ 위반) 에서 온 지시가 에이전트를 조작하여, 승인된 목표와 일치하지 않는 행동을 수행하게 함 ($H_a$ 위반).
• **직접 프롬프트 인젝션 **(Direct Prompt Injection) 인증된 사용자가 시스템 지시 (System Prompt) 와 충돌하는 명령을 내려 작업 정렬 ($H_{Tr}$) 을 위반하는 경우.
• **자일브레이크 **(Jailbreak) 사용자가 에이전트의 안전 영역 ($O$) 을 벗어난 목표를 요청하여 작업 정렬을 위반하는 경우.
• **혼란된 부하 **(Confused Deputy) 인증된 사용자가 직접 접근할 수 없는 리소스에 대해 에이전트가 자신의 높은 권한을 사용하여 접근하는 경우 (소스 인증 위반).
• **메모리 포이징 **(Memory Poisoning) 악성 정보가 메모리에 주입되어 미래의 맥락 ($C_t$) 을 오염시키고, 이후 세션에서 권한 결정이나 행동 정렬을 위반하게 만드는 경우.

2. 방어 기법의 체계화 및 한계 분석

기존 방어 기법을 오라클 함수 근사 강화 또는 보안 속성 검증 구현의 관점에서 분류하고 한계를 지적했습니다.

• **예방 **(Prevention) 프롬프트 엔지니어링, 모델 학습, 정책 지정 등은 오라클 함수 ($I, L, H$) 를 근사하려 시도하지만, 적응형 공격에 취약하거나 동적 맥락을 처리하지 못함.
• **탐지 **(Detection) 입력 필터링이나 출력 검사는 패턴 매칭에 의존하여 지시 Attribution ($I$) 과 소스 Attribution ($L$) 을 정확히 파악하지 못해 위양성/위음성 문제를 야기함.
• 결론: 현재 대부분의 방어 기법은 맥락에 무관한 (Context-agnostic) 방식으로 작동하여, 동일한 콘텐츠라도 맥락에 따라 합법적인지 공격인지 구분하지 못함.

3. 향후 연구 방향 제시

• 오라클 함수의 실제 구현: 신경망 기반의 추론을 통해 지시 Attribution 과 소스 Attribution 을 정확하게 수행하는 방법.
• **구성적 보안 **(Compositional Security) 개별 행동은 안전하지만 행동의 조합이 보안을 위반하는 경우를 탐지하는 방법.
• 동적 환경 및 시간적 보안: 세션 간 정보 흐름 추적 및 TOCTOU (Time-of-Check-Time-of-Use) 공격 대응.
• 실제적인 벤치마크: 인증된 소스, 허용된 목표, 권한 그래프가 명시된 새로운 평가 기준 필요.

4. 결과 및 의의 (Results & Significance)

• 정밀한 공격 분류: 이 프레임워크를 통해 표면적으로 다른 공격들이 동일한 보안 속성 위반 (예: 소스 인증 위반) 으로 귀결되거나, 반대로 유사한 행동이 다른 속성 위반으로 분류될 수 있음을 보였습니다.
• 유틸리티 - 보안 트레이드오프 해소: 맥락을 고려한 검증 (4 가지 속성 동시 확인) 을 통해, 악성 콘텐츠가 포함된 경우에도 합법적인 작업은 수행하고 악의적인 명령만 차단하는 정밀한 제어가 가능함을 이론적으로 증명했습니다.
• 방어 연구의 방향성 제시: 기존 패턴 기반 필터링의 한계를 지적하고, 오라클 함수를 어떻게 근사할지, 어떤 보안 속성을 검증해야 할지에 대한 명확한 로드맵을 제공했습니다.
• 학술적 의의: 87 편의 관련 논문을 분석하여 에이전트 보안의 구조적 패턴을 체계화했으며, 에이전트 보안이 단순한 '악성 코드 탐지'가 아닌 '권한과 맥락에 기반한 검증'이어야 함을 강조했습니다.

요약

이 논문은 LLM 에이전트 보안의 핵심이 **"누가 **(Source)에 있음을 정형화했습니다. 제안된 프레임워크는 기존 공격을 재정의하고 방어 기법의 근본적인 한계를 드러내며, 보다 안전하고 유용한 에이전트 시스템을 구축하기 위한 이론적 기반을 마련했습니다.