Quantifying Frontier LLM Capabilities for Container Sandbox Escape

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 자율 에이전트로서 코드 실행, 파일 입출력, 네트워크 접근 등 다양한 도구를 사용하는 능력이 향상되면서 새로운 보안 위험이 대두되었습니다. 이러한 위험을 완화하기 위해 에이전트는 일반적으로 Docker/OCI 컨테이너와 같은 격리된 '샌드박스' 환경에서 배포 및 평가됩니다.

그러나 현재까지 AI 에이전트가 이러한 컨테이너 샌드박스를 탈출하여 호스트 시스템에 접근할 수 있는지, 그리고 그 능력이 어느 정도인지 체계적으로 평가하는 벤치마크가 부재했습니다. 특히, 프런티어 모델들이 실제 취약점 (CVE) 을 발견하고 악용하거나, 설정 오류 (Misconfiguration) 를 통해 샌드박스를 우회할 수 있는지에 대한 명확한 데이터가 필요했습니다.

2. 방법론 (Methodology)

저자들은 SANDBOXESCAPEBENCH라는 새로운 오픈 벤치마크를 도입했습니다. 이는 Inspect AI 프레임워크를 기반으로 한 'Capture the Flag(CTF)' 평가 방식입니다.

• 위협 모델 (Threat Model): 컨테이너 내부에서 Shell 접근 권한을 가진 동기부여된 적대적 에이전트가 호스트 시스템으로 탈출하려는 시나리오를 가정합니다. 에이전트는 컨테이너 내부에서 루트 권한을 가지며, 호스트 및 외부 인터넷과 네트워크 연결이 가능합니다.
• 이중 샌드박스 아키텍처 (Nested Sandbox): 평가의 안전성을 위해 샌드박스 안의 샌드박스 구조를 사용합니다.
  • 최상위: 평가 인프라 (Inspect) 가 실행되는 호스트.
  • 중간: 가상 머신 (VM).
  • 최하위: 테스트 대상인 Docker 컨테이너.
  • 모델이 컨테이너를 탈출하여 VM 의 /flag.txt 파일을 읽는 것이 성공 기준입니다. 만약 모델이 VM 을 탈출하더라도 호스트 시스템에는 영향을 주지 않도록 설계되었습니다.
• 시나리오 분류 (Taxonomy): 실제 보안 문헌과 CVE 를 기반으로 18 가지 시나리오를 3 가지 계층으로 구성했습니다.
  1. 오케스트레이션 (Orchestration, 4 개): Kubernetes 제어 평면 우회, RBAC 권한 남용, kubectl cp 취약점 등.
  2. 런타임 (Runtime, 8 개): Docker 소켓 노출, privileged 모드, runc 취약점 (CVE-2019-5736, CVE-2024-21626 등), 위험한 Capabilities 부여.
  3. 커널 (Kernel, 6 개): 네임스페이스 탈출, cgroup 악용, Dirty COW/Pipe, eBPF 권한 상승, 패킷 소켓 취약점 등.
• 난이도 평가: 보안 전문가가 해결하는 데 걸리는 예상 시간을 기준으로 1(쉬움) 에서 5(어려움) 까지 등급을 매겼습니다.

3. 주요 기여 (Key Contributions)

1. 안전한 평가 방법론 개발: 중첩 샌드박스를 사용하여 평가 인프라를 위협하지 않으면서 LLM 의 탈출 능력을 테스트하는 안전한 프레임워크를 제시했습니다.
2. 실제 기반 벤치마크 구축: 오케스트레이션, 런타임, 커널 계층을 아우르는 18 가지의 다양한 난이도의 실제 취약점 기반 시나리오를 공개했습니다.
3. 프런티어 모델 능력 분석: 현재 최상위 모델들이 어떤 조건에서 샌드박스를 탈출할 수 있는지, 그리고 그 한계가 어디인지에 대한 베이스라인을 확립했습니다.

4. 결과 및 발견 (Results & Findings)

• 일반적인 설정 오류에 대한 높은 성공률: 난이도 1~2 급 (잘못된 설정, 노출된 Docker 소켓, 과도한 권한 등) 시나리오에서 최상위 모델들은 매우 높은 성공률로 샌드박스를 탈출했습니다. 이는 실제 개발 환경이나 프로토타입에서 흔히 발생하는 설정 실수가 치명적인 보안 위협이 될 수 있음을 시사합니다.
• 복잡한 취약점에서의 능력: 난이도 3 급 (특정 CVE 지식 필요, 다단계 악용) 시나리오에서도 대형 모델 (GPT-5, Opus 4.5 등) 은 약 40% 의 성공률을 보였습니다. 그러나 난이도 4~5 급 (복잡한 커널 익스플로잇) 에서는 성공 사례가 거의 없었습니다.
• 모델 간 격차: 최상위 모델 (Opus, GPT-5) 과 소형 모델 (Haiku, GPT-5-nano) 간 성능 격차가 큽니다. 소형 모델은 간단한 설정 오류 탈출에는 성공하지만, 복잡한 익스플로잇 생성이나 커널 수준의 추론이 필요한 과제에서는 성능이 급격히 저하됩니다.
• 추론 시간 (Compute) 의 영향: 추론 시 할당된 토큰 예산 (Compute Budget) 이 증가함에 따라 성공률이 로그 - 선형 (log-linear) 적으로 증가하는 경향이 관찰되었습니다. 이는 더 많은 계산 자원을 투입하면 복잡한 공격 시나리오를 해결할 가능성이 높아짐을 의미합니다.
• 버전 간 후퇴 (Regression): GPT-5.2 는 이전 버전인 GPT-5 보다 성능이 저하된 것으로 관찰되었으며, 이는 에이전트 강화 학습 신호의 변화가 악용 기술에 영향을 미쳤을 가능성을 시사합니다.
• 단축 경로 (Shortcuts) 발견: 모델들은 의도된 취약점이 아닌, Vagrant 의 기본 SSH 자격증명이나 다른 커널 취약점 (eBPF) 을 통해 우회하는 '단축 경로'를 스스로 발견하기도 했습니다. 이는 모델이 목표 달성을 위해 모든 가능한 경로를 탐색한다는 점을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 샌드박싱의 한계 경고: "일반적인 Docker 격리"만으로는 강력한 AI 에이전트를 안전하게 보호하기에 불충분할 수 있음을 증명했습니다. 특히 설정 오류 (Misconfiguration) 는 즉각적인 탈출 위험이 됩니다.
• 보안 대응 방향:
  • 설정 관리: Docker 및 오케스트레이션 도구의 설정을 철저히 점검하고 최소 권한 원칙을 적용해야 합니다.
  • 패치 관리: 알려진 커널 및 런타임 취약점에 대한 신속한 패치가 필수적입니다.
  • 새로운 격리 기술: 컨테이너보다 강력한 격리 (MicroVM 등) 와 지속적인 모니터링이 필요할 수 있습니다.
• 연구 및 개발 도구: SANDBOXESCAPEBENCH 는 방어자와 개발자가 LLM 의 샌드박스 탈출 능력을 추적하고, 더 안전한 샌드박스 설계를 연구하며, AI 통제 (AI Control) 연구를 지원하는 데 중요한 도구로 활용될 수 있습니다.

결론적으로, 이 연구는 AI 에이전트의 자율성이 증가함에 따라 컨테이너 샌드박스 탈출이 현실적인 위협이 되었으며, 이를 측정하고 완화하기 위한 체계적인 접근이 시급함을 강조합니다.