AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization

"AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization" 논문의 상세 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 에이전트는 외부 도구 및 데이터와 상호작용하여 복잡한 워크플로우를 자동화하는 데 increasingly 사용되고 있습니다. 그러나 신뢰할 수 없는 외부 데이터(예: 웹페이지, 이메일) 를 특권 실행 기능과 통합하면 심각한 보안 취약점이 발생합니다.

주요 보안 위험은 다음과 같습니다:

• 직접 프롬프트 인젝션: 악의적인 사용자가 시스템 지시를 명시적으로 우회하여 무단 작업을 강요합니다.
• 간접 프롬프트 인젝션: 에이전트가 처리하는 외부 콘텐츠에 숨겨진 악성 명령이 삽입되어, 사용자 모르게 에이전트의 의사결정을 장악합니다.

기존 방어 기법의 한계:

• 프롬프트 강화: 휴리스틱 기반이며 적대적 지시에 의해 쉽게 우회됩니다.
• 입력/출력 필터링: 회피에 취약하고 오탐지가 많으며, 콘텐츠가 도구 사용 결정에 미치는 영향에 대한 보장이 부족합니다.
• 도구 샌드박싱: 종종 너무 거칠어 다단계 워크플로우에서의 정보 흐름 추적을 실패하며, 위반 발생 후 원칙적인 복구 경로를 제공하지 못합니다.
• 트레이드오프: 현재 방법들은 보안(공격 차단) 과 유용성(합법적 작업 허용) 사이의 균형을 맞추는 데 어려움을 겪어, 종종 "과도한 방어"(모든 것 차단) 나 "부족한 방어"(미묘한 공격 놓침) 로 이어집니다.

2. 방법론: AgentVisor

저자들은 운영체제 (OS) 가상화에서 영감을 받은 AgentVisor라는 방어 프레임워크를 제안합니다. 이는 대상 LLM 에이전트를 신뢰할 수 없는 "게스트"로 간주하고, 모든 도구 호출을 신뢰할 수 있는 "시맨틱 비저 (Semantic Visor)" (하이퍼바이저) 를 통해 중재합니다.

핵심 아키텍처

AgentVisor 는 Trap–Audit–Recover 제어 루프를 강제합니다:

1. 게스트 (대상 에이전트): 전체 작업 컨텍스트 (잠재적으로 악성인 외부 데이터 포함) 를 기반으로 작동하며 도구 호출 ($T_{raw}$) 을 제안합니다.
2. 비저 (시맨틱 하이퍼바이저): 게스트의 제안을 감사하는 신뢰할 수 있는 구성 요소입니다. 핵심적으로 비저는 원시 외부 컨텍스트에 구조적으로 무관심합니다. 비저가 보는 것은 다음과 같습니다:
   • 신뢰할 수 있는 시스템 지시 ($I_{sys}$).
   • 사용자 쿼리 ($I_u$).
   • 도구 이름, 표준화된 인수, 상태 요약과 같은 구조화된 필드만 포함하는 정제된 실행 기록 ($\tilde{H}_{t-1}$). 이는 실행 가능한 코드가 아닌 데이터로 엄격하게 처리됩니다.
3. 결정: 비저는 호출을 허용하거나 시맨틱 예외를 주입하여 자기 수정을 트리거합니다.

STI 감사 프로토콜

비저는 엄격한 3 단계 검증 프로토콜을 강제합니다:

1. 적합성 (Suitability, S): 제안된 도구가 시스템 정책과 에이전트의 역할 하에 허용되는지 확인합니다. 이는 권한 상승을 시도하는 직접 인젝션에 대한 거시적 게이트 역할을 합니다.
2. 오염 (Taint, T): 도구 호출이 시사하는 목표가 사용자의 의도와 합법적인 중간 목표와 일치하는지 확인합니다. 새로운 무단 목표를 도입하는 행위를 차단합니다 (예: 사용자가 요약만 요청했을 때 데이터 유출 시도).
3. 무결성 (Integrity, I): 도구 인수가 사용자가 지정한 엔티티 및 제약 조건과 일치하는지 보장합니다. 이는 미묘한 리디렉션을 방지합니다 (예: "이메일 보내기" 도구를 유지하되 수신자를 공격자로 변경하는 경우).

시맨틱 예외 주입 및 자기 수정

단순히 요청을 차단하여 작업 실패를 초래하는 대신, AgentVisor 는 시맨틱 예외 주입을 사용합니다.

• STI 프로토콜이 실패하면 비저는 위반 유형, 근거, 제약 조건 및 허용된 목표를 포함하는 구조화된 예외 ($E_t$) 를 생성합니다.
• 게스트는 이 예외를 수신하고 **원샷 자기 수정 (one-shot self-correction)**을 수행하여 안전한 도구 호출을 재생성합니다.
• 이 접근 방식은 보안 위반을 건설적인 피드백으로 변환하여 유용성을 유지합니다.

3. 주요 기여

1. AgentVisor 프레임워크: 에이전트를 신뢰할 수 없는 게스트로, 보안 계층을 신뢰할 수 있는 하이퍼바이저로 간주하여 시맨틱 권한 분리를 강제하는 새로운 가상화 기반 방어 체계.
2. STI 프로토콜: 고전적인 OS 보안 원리 (권한 분리, 정책 강제, 예외 처리) 를 LLM 도메인에 적용하는 구조화된 시맨틱 감사 메커니즘 (적합성, 오염, 무결성).
3. 원샷 자기 수정: 감사 실패를 복구 가능한 이벤트로 변환하여 워크플로우를 종료하지 않고 에이전트가 공격에서 복구할 수 있게 하는 메커니즘.
4. 실증적 검증: 직접 및 간접 인젝션 시나리오 모두에서 기존 베이스라인보다 우수한 성능을 보여주는 광범위한 실험.

4. 실험 결과

이 프레임워크는 4,900 건의 직접 인젝션 사례와 629 건의 간접 인젝션 사례에 걸쳐 7 가지 대표적인 공격 전략에 대해 GPT-4o 및 GLM-4.7 백본으로 평가되었습니다.

• 공격 성공률 (ASR): AgentVisor 는 평균 ASR 을 **0.65%**로 감소시켰습니다 (직접 인젝션 0.00%, 간접 인젝션 <1.7%). 이는 모든 베이스라인을 크게 능가합니다.
• 유용성 유지:
  • 비악성 유용성 (Benign Utility, BU): 공격이 없는 시나리오에서 높은 작업 완료율을 유지했습니다.
  • 공격 하 유용성 (Utility under Attack, UA): 공격 하에서 83.14% (직접) 및 73.21% (간접) 의 유용성을 달성했습니다. 이는 엄격한 탐지 기반 방법 (예: DataSentinel) 의 거의 제로에 가까운 유용성이나 완화 전용 방법의 높은 실패율과 대조됩니다.
• 오버헤드:
  • 지연 시간: 비악성 조건에서 중간 정도의 오버헤드 (~1.4 배) 를 도입했습니다. 공격 시 자기 수정으로 인해 지연 시간이 증가했습니다 (직접 인젝션의 경우 최대 2.32 배), 하지만 치명적인 침해 방지를 위해 이 "안전 대가" 트레이드오프는 정당하다고 판단되었습니다.
  • 수정 라운드: 제거 실험 (ablation studies) 에 따르면 **원샷 수정 (N=1)**이 최적이며, 추가 라운드는 유용성 향상 (<1.3%) 은 미미한 반면 지연 시간을 불균형하게 증가시켰습니다.
• 강건성:
  • 모델 독립성: 경량 모델부터 최첨단 모델까지 다양한 LLM 백본에서 효과적입니다.
  • 적응형 공격: "보안 검사 무시"와 같은 재귀적 적응형 공격을 성공적으로 무력화하여, 단순한 방어 기법이 실패한 상황에서도 86.85% 의 유용성을 유지했습니다.

5. 의의

AgentVisor 는 휴리스틱 필터링에서 구조적 격리로 이동함으로써 LLM 에이전트 보안의 패러다임 전환을 의미합니다.

• 원칙적 보안: 임시 프롬프트 엔지니어링이 아닌 최소 권한, 정보 흐름 제어와 같은 OS 원칙에 기반한 형식적 보안 아키텍처를 제공합니다.
• 균형 잡힌 방어: 엄격한 보호가 에이전트 기능의 희생 없이 가능함을 입증하여 보안 - 유용성 트레이드오프를 성공적으로 해결합니다.
• 확장성: 이 프레임워크는 비용 효율적인 모델 (예: Gemini-2.5-Flash) 과 함께 배포될 만큼 경량화되어 있으면서도 높은 보안 표준을 유지합니다.

한계점: 이 논문은 계산 오버헤드, 매우 긴 컨텍스트 윈도우와 관련된 잠재적 확장성 문제, 그리고 현재 멀티모달 (시각/오디오) 인젝션이 아닌 텍스트 기반 인젝션에 초점을 맞추고 있음을 인정합니다.