기술적 요약: 에이전트 보안은 시스템 문제이다

문제 정의

본 논문은 AI 에이전트 보안을 강화하는 기존 접근법—정렬과 적대적 훈련을 통해 기반 대규모 언어 모델 (LLM) 의 견고성을 높이는 데 주력하는 방식—이 근본적으로 불충분하다고 주장한다. 저자들은 에이전트 보안을 시스템 문제로 재정의해야 한다고 본다. 이 관점에서 에이전트를 구동하는 AI 모델은 적대적이거나 모호한 입력 하에서 예측 불가능하게 행동할 수 있는 신뢰할 수 없는 구성 요소로 간주된다. 따라서 보안 불변성은 모델의 내부 동작에만 의존할 수 없으며, 이를 포괄하는 시스템 수준에서 강제되어야 한다.

핵심적인 도전 과제는 현대 에이전트 시스템이 웹사이트, 외부 서비스, 파일 시스템과 같은 복잡한 환경에서 작동하며, 프롬프트 인젝션을 통해 조작될 수 있는 문서, 도구 출력, 웹 페이지와 같은 신뢰할 수 없는 입력을 처리하기 때문에 발생한다. 코드와 데이터가 명확히 구분되는 전통적인 소프트웨어와 달리, LLM 은 단일 토큰 스트림 내에서 신뢰할 수 있는 지시사항과 신뢰할 수 없는 데이터를 본질적으로 혼합하므로, 악의적인 데이터가 실행 가능한 지시사항으로 해석될 수 있는 근본적인 취약점이 존재한다.

방법론 및 프레임워크

운영체제, 네트워크, 형식 방법, 적대적 머신러닝 분야에서 수십 년의 경험을 바탕으로 한 저자들은 확립된 시스템 보안 원칙에 기반한 보안 아키텍처를 제안한다. 그들은 고전적인 신뢰 컴퓨팅 기반 (TCB) 모델을 에이전트 컨텍스트에 적용한다:

• 신뢰할 수 없는 시스템: AI 모델과 그 컨텍스트 윈도우.
• 신뢰 컴퓨팅 기반 (TCB): 모델 외부의 시스템 발판, 참조 모니터, 그리고 강제 메커니즘.
• 보안 정책: 접근 및 데이터 흐름을 규제하는 선언적 규칙.

본 논문은 ChatGPT, Claude Code, Devin AI, Microsoft Copilot 을 포함한 에이전트 시스템에 대한 11 가지 대표적인 실제 공격을 분석하여 이러한 침해가 특정 보안 원칙 위반으로 인해 발생함을 입증한다. 분석 결과, 이러한 공격은 단순한 모델의 실패가 아니라, 최소 권한 (Least Privilege), 완전한 중재 (Complete Mediation), 안전한 정보 흐름 (Secure Information Flow) 과 같은 원칙이 부재하거나 부적절하게 구현되어 발생한 시스템적 붕괴임을 드러낸다.

주요 기여

1. 에이전트 시스템을 위한 핵심 보안 원칙

본 논문은 안전한 에이전트 설계에 필수적인 시스템 보안 연구에서 도출된 세 가지 주요 메커니즘을 정리한다:

• 지시사항과 데이터의 증명 가능한 분리:

  • 문제: LLM 은 지시사항과 데이터를 단일 스트림으로 처리하여, 신뢰할 수 없는 데이터가 명령어로 해석되는 프롬프트 인젝트 공격을 가능하게 한다.
  • 제안된 해결책: 시스템 수준에서 신뢰할 수 있는 지시사항과 신뢰할 수 없는 데이터 간의 엄격한 분리를 강제한다. 현재 접근법은 우회 가능한 휴리스틱이나 모델 기반 탐지에 의존하지만, 본 논문은 데이터에서 파생된 새로운 지시사항을 따르는 것이 안전한지 결정하는 결정론적 메커니즘을 주장한다.
  • 연구 과제: 특히 멀티모달 컨텍스트에서 적응형 공격에 대비하여 실용적이고 견고한 형식적 분리를 정의하는 것.

• 검증 가능한 정책 생성을 통한 최소 권한 샌드박싱:

  • 문제: 에이전트의 작업은 동적이고 자연어로 정의되므로 (예: 제한 없는 셸 접근 권한), Android 와 같은 정적 권한 모델을 적용할 수 없어 에이전트가 과도한 권한으로 작동하는 경우가 많다.
  • 제안된 해결책: 에이전트의 리소스 접근을 엄격히 제한하는 샌드박싱을 구현한다. 핵심적으로 보안 정책은 자연어 사용자 의도에서 생성되지만, 강제되기 전에 형식적 제약 조건에 대해 검증되어야 한다.
  • 연구 과제: 모호한 자연어 정책을 증명 가능한 정확성을 가진 형식적, 검증 가능한 정책으로 변환하는 파이프라인을 구축하여, '참조 모니터'가 확률적이 아닌 결정론적이도록 보장하는 것.

• 정보 흐름 제어 (IFC):

  • 문제: 샌드박싱은 데이터에 대한 접근을 제어하지만, 일단 접근된 후 해당 데이터가 어떻게 흐르는지는 제어하지 못한다. 에이전트는 종종 민감한 데이터 (예: API 키, 개인 식별 정보) 를 신뢰할 수 없는 출력으로 유출한다.
  • 제안된 해결책: 데이터의 출처를 추적하고 전파에 대한 제약을 강제하는 IFC 를 구현한다 (예: 정제되지 않은 민감한 데이터가 외부 네트워크로 흐르는 것을 방지).
  • 연구 과제: 여러 출처의 데이터가 연결되어 '라벨 폭발 (label explosion)'을 초래하는 LLM 에 IFC 를 적용하는 것. 해결책은 소프트 분포 라벨, 인과적 개입, 또는 모델 내부의 기계적 해석을 필요로 할 수 있다.

2. 실제 공격 분석

본 논문은 구체적인 공격들이 어떻게 이러한 원칙을 위반하는지 상세히 설명한다:

• ChatGPT 장기 기억 SpAIware: 신뢰할 수 없는 웹 콘텐츠가 신뢰할 수 있는 기억을 수정하고 데이터를 유출하도록 허용함으로써 TCB 무결성 저항과 최소 권한 원칙을 위반했다.
• Claude Code 데이터 유출: 인간의 승인 없이 ping 명령어 (DNS 누출 포함) 가 실행되어 환경 변수가 유출되도록 허용함으로써 최소 권한과 안전한 정보 흐름 원칙을 위반했다.
• Devin AI 노출 포트: 에이전트가 임의의 포트를 노출하도록 허용하여 샌드박스를 우회함으로써 최소 권한 원칙을 위반했다.
• Cursor AgentFlayer 및 Amp AI: 에이전트가 자신의 구성 파일을 수정하여 권한을 상승시키거나 보안 검사를 우회하도록 허용함으로써 TCB 무결성 저항 원칙 위반을 시연했다.

3. 연구 격차 식별

저자들은 현재 에이전트 시스템이 전통적인 OS 보안 (예: 커널 vs 프로세스 vs 네트워크) 에서 발견되는 계층적 추상화 경계가 부족하다고 지적한다. 이러한 '의미적 격차'는 적절한 세분화 수준에서 정책을 강제하는 것을 어렵게 만든다. 또한, '가드' 모델 (에이전트를 모니터링하는 또 다른 LLM) 에 의존하는 것은 불충분하다고 강조한다. 왜냐하면 이러한 가드 모델들은 동일한 통계적 실패 모드를 공유하며 동일한 적대적 입력에 취약하기 때문이다.

결과 및 주장

본 논문은 새로운 구현 시스템이나 실험 결과를 제시하는 것이 아니라, 이론적 프레임워크와 행동 촉구를 제시한다.

• 주장: 저자들은 세 가지 메커니즘 (지시사항/데이터 분리, 검증 가능한 정책 생성, IFC) 이 실현되고 구현된다면, 설계 단계에서 공격의 '광범위한 부분'이 예방될 것이라고 주장한다.
• 주장: LLM 은 비결정론적이며 강력한 적대자에 대해 100% 의 견고성을 보장할 수 없으므로, 모델 중심의 방어 (LLM 을 더 견고하게 만드는 것) 는 본질적으로 제한적이다.
• 주장: 에이전트 보안은 **이질적 강제 (heterogeneous enforcement)**를 요구한다. 즉, 샌드박싱, 정책 검증, 흐름 제어 등 서로 다른 추상화 계층에서 메커니즘을 결합하여 공격자가 모델의 단일 통계적 약점을 악용하는 대신, 여러 개의 서로 다른 장벽을 우회하도록 강제해야 한다.

중요성

본 논문의 중요성은 AI 보안의 패러다임을 모델 중심 관점에서 시스템 중심 관점으로 전환하는 데 있다. AI 모델을 신뢰할 수 없는 구성 요소로 취급하는 것이 예측 가능한 보안 보장을 위한 유일한 실현 가능한 경로라고 주장한다. 에이전트 보안을 수십 년간의 시스템 연구 (최소 권한, 완전한 중재, IFC) 에 기반함으로써, 본 논문은 커뮤니티가 '최선의 노력 (best-effort)' 방어에서 벗어나 형식적이고 검증 가능한 보안 속성을 가진 아키텍처로 나아가기 위한 로드맵을 제공한다. 이는 모델 정렬만을 추구하는 것이 아니라, 검증 가능한 정책 생성 및 LLM 내 라벨 전파와 같은 이러한 원칙 구현의 운영적 과제에 연구 커뮤니티가 집중할 것을 명시적으로 요청한다.