ClawLess: A Security Model of AI Agents

논문 요약: ClawLess - 자율형 AI 에이전트를 위한 보안 모델

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반의 자율형 AI 에이전트는 복잡한 작업을 추론, 계획, 실행할 수 있지만, 외부 정보 자율 검색 및 코드 실행 능력은 심각한 보안 위협을 초래합니다.

• 기존 접근법의 한계: 기존 연구들은 에이전트의 행동을 규제하기 위해 학습 (Training) 이나 프롬프트 엔지니어링 (Prompting) 에 의존합니다. 그러나 LLM 의 비결정적 (Non-deterministic) 특성으로 인해 에이전트가 악성 프롬프트에 의해 조작되거나, 내부적으로 악성 행동을 할 경우 이러한 방법들은 근본적인 보안 보장을 제공하지 못합니다.
• 신뢰 경계의 모호성: 에이전트는 다양한 소스에서 데이터를 수집하므로 신뢰할 수 있는 입력과 신뢰할 수 없는 입력의 경계가 모호해집니다.
• 권한과 사용성의 트레이드오프: 에이전트가 작업을 수행하려면 파일 시스템 접근, 네트워크 연결 등 광범위한 권한이 필요하지만, 이를 허용하면 시스템이 악용될 위험이 큽니다.
• 위협 모델의 변화: 전통적인 소프트웨어와 달리, AI 에이전트는 0-day 취약점을 학습하여 컨테이너 탈출 (Container Escape) 등 기존 보안 메커니즘을 우회할 수 있는 능력을 가질 수 있습니다.

2. 방법론 (Methodology)

저자들은 에이전트 내부의 설계나 구현에 관계없이 보안을 보장하기 위해 ClawLess라는 새로운 보안 프레임워크를 제안합니다. 이는 "최악의 경우 (Worst-case)" 위협 모델 (에이전트 자체가 적대적일 수 있음) 을 가정합니다.

• 핵심 설계 철학:

  • 형식적 검증 (Formal Verification): 에이전트의 행동을 규제하는 것이 아니라, 에이전트가 수행할 수 있는 작업을 엄격하게 정의된 형식적 정책 (Formal Policies) 으로 제한합니다.
  • 이중 구조 (Formal & Concrete):
    1. 형식적 부분: SMT(Satisfiability Modulo Theories) 솔버를 사용하여 추상적인 보안 모델을 검증하고, 이를 구체적인 보안 규칙으로 컴파일합니다.
    2. 구체적 부분: 사용자 공간 커널 (User-space Kernel, 예: gVisor) 과 BPF(Berkeley Packet Filter) 기반의 시스템 콜 인터셉션을 통해 정책을 실행합니다.

• 기술적 세부 사항:

  • 세분화된 보안 모델: 엔티티 (파일, 프로세스, 소켓 등), 범위 (Sandbox, Agent, Monitor), 권한 (Read, Write, NoExecute, Visible 등) 을 정의합니다.
  • 선형 시간 논리 (LTL) 활용: 정적 권한 할당만으로는 민감한 파일 읽기 후 외부 소켓으로 데이터 유출이 발생할 수 있으므로, 시간적 조건 (Temporal Argument) 을 도입하여 "민감한 파일을 읽은 후에는 외부 소켓 쓰기 권한을 부여하지 않음"과 같은 동적 정책을 정의합니다.
  • 권한 위계 (Scope Hierarchy): 샌드박스 (외부 스크립트 실행 환경) < 에이전트 < 모니터 (시스템 관리자) 순으로 권한이 위계화되어, 하위 영역의 권한이 상위 영역을 초과할 수 없도록 합니다.
  • 신원 정보 보호 (Credential Visibility): 에이전트가 외부 서비스에 접근하기 위해 자격 증명이 필요하지만, 그 내용을 읽을 수는 없도록 Visible 권한을 도입하여 참조만 가능하게 합니다.
  • 구현 (Enforcement):
    • BPF 기반 인터셉션: sys_enter 이벤트에 BPF 프로그램을 연결하여 시스템 콜을 가로채고, 정책 컴파일러에서 생성된 규칙과 일치하는지 실시간으로 검증합니다.
    • 외부 샌드박스: 에이전트가 다운로드한 외부 스크립트는 에이전트보다 더 제한된 권한을 가진 별도의 샌드박스 환경에서 실행됩니다.

3. 주요 기여 (Key Contributions)

1. 자율형 AI 에이전트에 대한 최초의 포괄적 보안 분석: 에이전트의 능력과 악성화 가능성을 기반으로 한 두 가지 근본적인 가정을 제시했습니다.
2. 세분화된 형식적 보안 모델 개발: 에이전트가 시스템을 침해하지 않으면서도 사용성을 유지할 수 있도록 엔티티, 범위, 권한을 정의한 모델을 고안했습니다.
3. ClawLess 프레임워크 구현: 형식적으로 검증된 정책을 사용자 공간 커널과 BPF 를 통해 실제 시스템에 강제 적용하는 isolation 프레임워크를 설계하고 구현했습니다. 이는 에이전트의 내부 구현과 무관하게 보안을 보장합니다.

4. 결과 및 검증 (Results & Validation)

• 정책 검증: SMT 솔버 (z3 등) 를 사용하여 정책의 모순이나 보안 위반 (예: 외부 스크립트 실행 권한 부여 시 경고) 을 자동으로 탐지하고 개발자에게 알림을 제공합니다.
• 실제 적용: Linux 시스템 콜 인터페이스와 ClawLess 의 형식적 모델을 매핑하여, open, read, execve 등 다양한 시스템 콜에 대해 구체적인 보안 규칙을 생성하고 BPF 를 통해 효과적으로 차단하는 것을 시연했습니다.
• 보안성: 에이전트가 악성 코드를 실행하거나 민감한 데이터를 유출하려 하더라도, 형식적으로 정의된 권한 범위 내에서만 실행되므로 시스템 전체는 안전합니다.

5. 의의 및 중요성 (Significance)

• 패러다임 전환: 기존에 에이전트의 '행동'을 학습이나 프롬프트로 제어하려는 시도를 넘어, 에이전트의 '실행 환경'과 '권한'을 형식적으로 강제하는 새로운 보안 패러다임을 제시했습니다.
• 내부 불투명성 해결: LLM 의 내부 동작이 불투명하고 비결정적이더라도, 외부에서 정의된 보안 정책만 준수하면 되므로 에이전트의 복잡성에서 오는 보안 위험을 해결합니다.
• 실용성: 사용자 공간 커널과 BPF 를 활용하여 기존 리눅스 커널의 취약점을 우회하면서도, 가상화 (Virtualization) 나 TEE(Trusted Execution Environment) 와 같은 무거운 오버헤드 없이 높은 호환성과 사용성을 제공합니다.
• 미래 지향적 접근: AI 에이전트의 자율성이 증가함에 따라 발생할 수 있는 다양한 공격 시나리오에 대비할 수 있는 원칙적인 (Principled) 보안 기반을 마련했습니다.

결론적으로, ClawLess 는 자율형 AI 에이전트가 가진 잠재적 위협을 '신뢰할 수 없는 에이전트'라는 전제하에, 형식적 검증과 런타임 강제 메커니즘을 결합하여 시스템 전체를 보호하는 혁신적인 보안 솔루션입니다.