Toward Securing AI Agents Like Operating Systems

본 논문은 LLM 기반 AI 에이전트의 보안을 확보하려면 운영체제 보안 원칙을 적용해야 한다고 주장하며, 통합 아키텍처 분석과 사례 연구를 통해 일부 위험은 내재적이지만 리소스 격리와 권한 분리 같은 확립된 운영체제 기법을 사용하면 많은 취약점을 완화할 수 있음을 입증합니다.

핵심

상상해 보세요. '에이전트'라는 이름의 초지능적이고 매우 열정적인 개인 비서를 고용했다고요. 이 비서는 당신의 이메일을 읽고, 일정을 관리하며, 비행기를 예약하고, 심지어 당신을 위해 코드까지 작성할 수 있습니다. 잠을 자지 않는 마법 같은 직원을 고용한 것과 같습니다.

하지만 함정이 있습니다. 당신은 이 직원에게 당신의 집 전체, 은행 계좌, 그리고 일기의 열쇠를 모두 넘겨주었습니다. 만약 교활한 도둑이 이 비서를 속여 당신이 마치 당신인 것처럼 믿게 하거나, 뒷문을 열도록 설득한다면, 도둑은 모든 것을 손에 넣게 됩니다.

이 논문이 다루는 핵심 문제가 바로 이것입니다. 저자들은 우리가 이러한 AI 에이전트를 마치 완전히 새로운 마법 생물처럼 구축하고 있다고 주장하지만, 실제로는 이를 운영체제(컴퓨터를 구동하는 소프트웨어, 예를 들어 Windows 나 macOS)처럼 취급해야 한다고 말합니다.

다음은 그들의 발견 사항을 간단한 비유를 통해 정리한 것입니다:

1. 핵심 아이디어: 에이전트는 운영체제다

저자들은 말합니다: "AI 를 단순한 채팅봇으로 생각하지 마세요. 당신의 디지털 생활을 구동하는 OS로 생각하세요."

• AI(LLM) 컴퓨터에서 사용자가 명령을 입력합니다. AI 에이전트에서는 대규모 언어 모델 (LLM, '두뇌') 이 명령을 입력합니다. 하지만 인간 사용자가 피싱 이메일에 속아 넘어질 수 있듯이, AI 도 '탈옥' 프롬프트에 속아 넘어질 수 있습니다.
• 도구들은 시스템 호출이다: 컴퓨터에서 '인쇄'를 클릭하면 OS 가 권한이 있는지 확인합니다. AI 가 '이메일 보내기'를 원할 때, 그것은 도구입니다. 이 논문은 이러한 도구들이 자유로운 명령이 아니라 엄격한 시스템 호출처럼 취급되어야 한다고 주장합니다.
• 런타임은 커널이다: 실제로 코드를 실행하는 소프트웨어 부분을 '커널'이라고 합니다. 안전한 컴퓨터에서 커널은 boss 역할을 합니다. 누가 무엇을 건드릴지 결정합니다. 현재 AI 에이전트에서 '커널'은 종종 너무 관대하여 '사용자'(AI) 가 위험하더라도 원하는 대로 하도록 내버려 둡니다.

2. 문제: '오픈 하우스' 파티

이 논문은 OpenClaw 와 그 일가들과 같은 인기 있는 AI 에이전트들을 살펴보고, 이들이 누구나 들어와 아무거나 만질 수 있는 오픈 하우스처럼 구축되어 있음을 발견했습니다.

• 벽이 없다: 안전한 컴퓨터에서는 서로 다른 프로그램들이 격리되어 있습니다. 바이러스가 계산기 앱에 감염되더라도 은행 파일을 읽을 수는 없습니다. 하지만 이러한 AI 에이전트에서는 '계산기'(도구) 와 '은행 파일'(메모리) 이 모두 같은 방에 있습니다. AI 가 혼란에 빠지면 실수로 (또는 악의적으로) 이들을 섞을 수 있습니다.
• '나를 믿어'라는 오류: 이러한 에이전트들은 AI 가 '기억'하여 안전을 지키도록 의존합니다. '파일을 삭제하지 마라'와 같은 규칙이 있지만, 이는 평범한 영어로 작성되어 있을 뿐입니다. 해커가 AI 에게 속임수를 속삭이면, AI 는 규칙을 잊어버립니다. 마치 경비원에게 경비를 서게 하되 "단순히 당신의 최선의 판단을 활용하세요"라고 말하는 것과 같습니다.
• '제 3 자' 위험: 이러한 에이전트들은 '기술'(앱과 같은) 을 설치할 수 있게 합니다. 은행 계좌에 비밀스러운 뒷문이 숨겨져 있는 '날씨 앱'을 다운로드할 수 있다고 상상해 보세요. 이 논문은 이러한 에이전트들 중 많은 부분이 안전성을 확인하지 않은 채 이러한 기술을 설치하도록 허용하고 있음을 발견했습니다.

3. 실험: 에이전트 깨뜨리기

연구진은 네 가지 인기 있는 AI 에이전트를 취해, modest 한 기술 수준의 해커처럼 행동하며 이를 깨뜨려 보았습니다. 그들은 천재가 될 필요가 없었습니다. 단지 '집'이 어떻게 지어졌는지 알면 충분했습니다.

그들이 발견한 것:

• OpenClaw(순수한 에이전트) 가장 인기 있는 것이었습니다. 연구진이 시도한 모든 공격에 취약했습니다. 앞문, 뒷문, 창문을 모두 활짝 열어둔 것과 같았습니다.
• IronClaw(보안 에이전트) 이 에이전트는 더 안전하게 하려고 노력했습니다. 일부 도구를 '샌드박스'(집의 나머지와 접촉할 수 없는 유리 상자) 에 넣었습니다. 더 나았지만, 연구진은 여전히 이를 속이거나 유리를 깨는 방법을 찾았습니다.
• Nanobot(최소화된 에이전트) 이 에이전트는 코드가 적을수록 버그도 적을 것이라는 희망으로 매우 적은 코드를 가지고 있었습니다. 하지만 작은 코드베이스임에도 불구하고 데이터를 분리하는 데 필요한 기본적인 '벽'이 부족했습니다.
• NemoClaw(래퍼 에이전트) 이 에이전트는 전체 에이전트를 안전한 컨테이너 (화물 컨테이너와 같은) 안에 넣었습니다. 깨뜨리기 가장 어려웠지만, 연구진은 여전히 속을 엿보거나 속이는 방법을 찾았습니다.

놀라운 결과: 심지어 '보안' 버전조차 한 사용자가 다른 사용자의 개인 메모를 읽는 것을 막거나, 에이전트가 낯선 사람에게 메시지를 보내는 것을 막는 것과 같은 기본적인 것들에서 실패했습니다.

4. 해결책: 과거에서 빌리기

이 논문의 주요 결론은 간단합니다: 이 문제를 해결하기 위해 새로운 마법을 발명할 필요는 없습니다. 단지 50 년간 알고 있던 보안 규칙을 적용하면 됩니다.

운영체제는 이미 이러한 정확한 문제들을 해결했습니다. 저자들은 이러한 올드스쿨 규칙을 AI 에 적용할 것을 제안합니다:

• 격리: 모든 도구를 별도의 유리 상자 (샌드박스) 에 넣어 명시적으로 허용되지 않는 한 다른 도구나 개인 파일에 접근하지 못하게 하세요.
• 최소 권한: 에이전트가 이메일을 읽을 수 있다고 해서 반드시 그렇게 해야 하는 것은 아닙니다. 현재 수행 중인 특정 작업에 필요한 열쇠만 부여하세요.
• 강화된 로깅: 에이전트가 수행하는 모든 일을 기록하되, 에이전트가 이러한 기록을 삭제하거나 변경하지 못하게 하세요 (변조 방지 보안 카메라와 같습니다).
• 엄격한 경계: AI 가 무엇이 안전한지 결정하게 하지 마세요. '커널'(시스템) 이 규칙을 강제해야 하며, AI 의 '두뇌'가 아닙니다.

요약

이 논문은 AI 에이전트가 현재 통제되지 않은 야생의 개척지처럼 구축되어 있다고 주장합니다. 민감한 데이터와 신뢰할 수 없는 지시가 섞여 있기 때문에 강력하지만 위험합니다.

저자들은 말합니다: "안전해지기 위해 AI 를 더 '똑똑하게' 만들려고 하지 마세요. 대신 이를 둘러싼 시스템을 안전한 운영체제처럼 구축하세요." 우리가 AI 를 엄격한 보안 경비원 (OS) 에 의해 감시되고 제한되어야 하는 사용자로 취급한다면, 이러한 강력한 도구들을 가정과 비즈니스에서 안전하게 사용할 수 있습니다.

핵심 메시지: 우리는 우리 삶의 마스터 키를 가진 디지털 직원들을 구축하고 있지만, 아직 자물쇠, 울타리, 보안 경비원은 구축하지 못했습니다. 수십 년간 이러한 자물쇠를 만들어 온 컴퓨터 보안 전문가들의 설계도를 빌려올 때입니다.

기술 요약

기술 요약: 운영 체제처럼 AI 에이전트 보안 강화

문제 제기

대규모 언어 모델 (LLM) 기반 자율 에이전트는 제한된 도우미에서 민감한 사용자 데이터, 로컬 파일, 외부 서비스에 접근하여 복잡한 작업을 계획하고 실행할 수 있는 범용 시스템으로 진화하고 있습니다. OpenClaw 와 같은 시스템은 도구 사용과 서드파티 스킬을 통해 상당한 유용성을 제공하지만, 상당한 보안 위험을 초래합니다. 현재 연구는 주로 프롬프트 인젝션에 집중하는 경향이 있으나, 런타임 확장성, 영구 상태, 특권 기능에 대한 중재되지 않은 접근으로 구성된 더 넓은 공격 표면은 여전히 충분히 분석되지 않았습니다. 인기 있는 에이전트 구현체에 존재하는 기존 보호 메커니즘은 종종 불충분하여, 공격자의 역량이 미미한 경우에도 데이터 유출, 권한 상승, 무단 시스템 접근을 방지하지 못합니다. 본 논문은 AI 에이전트가 직면한 보안 과제가 역사적으로 운영 체제 (OS) 가 해결해 온 문제들과 구조적으로 유사하다고 주장하지만, 현재 에이전트 설계는 격리, 권한 분리, 중재와 같은 근본적인 OS 보안 원칙을 자주 위반하고 있다고 지적합니다.

방법론

저자들은 에이전트 보안을 조사하기 위해 세 가지 접근 방식을 활용합니다:

1. 개념적 유추 및 아키텍처 도출: 본 논문은 AI 에이전트와 운영 체제 간의 구조적 유추를 확립합니다. 에이전트 구성 요소를 OS 개념에 매핑합니다: LLM 은 신뢰할 수 없는 사용자로, 도구와 스킬은 시스템 호출 및 프로그램에, 에이전트 런타임은 커널로, 에이전트 컨텍스트는 프로세스 메모리에 대응됩니다. 이러한 유추를 바탕으로 저자들은 OpenClaw 스타일 에이전트를 위한 통합 아키텍처를 도출하여 주요 구성 요소 (런타임 코어, 에이전트 코어, 게이트웨이, 영구/일시적 상태) 와 신뢰 경계를 식별합니다.

2. 체계적인 방어 매핑: 저자들은 확립된 OS 보안 메커니즘 (예: 프로세스 격리, 샌드박싱, 최소 권한, 네트워크 필터링, 데이터 실행 방지) 을 조사하고 이를 에이전트 대응 개념에 매핑합니다. 어떤 메커니즘이 직접 이전되는지, 어떤 것이 적응이 필요한지, 그리고 어떤 에이전트 기능이 설계상 여전히 불안전한지 분석합니다.

3. 실증 사례 연구: 분석을 검증하기 위해 저자들은 서로 다른 설계 철학을 대표하는 네 가지 널리 사용되는 오픈 소스 OpenClaw 스타일 에이전트를 평가합니다:

   • OpenClaw: 기능의 폭에 중점을 둔 "바닐라" 변형.
   • IronClaw: 격리와 샌드박싱을 우선시하는 "보안" 변형.
   • Nanobot: 축소된 코드베이스를 가진 "간소화" 변형.
   • NemoClaw: 안전한 컨테이너 내부에서 에이전트를 실행하는 "래퍼" 변형.

   평가는 시스템 호출, 파일 접근, 네트워크 트래픽을 관찰하기 위해 eBPF 기반 모니터링을 갖춘 제어된 환경 (Debian 13.4 VM) 을 활용합니다. 저자들은 공격자가 소스 코드를 완전히 알고 있지만 직접적인 하드웨어 또는 호스트 레벨 접근 권한은 없으며, 조작에 취약한 완전히 신뢰할 수 없는 구성 요소로 LLM 을 취급하는 위협 모델을 정의합니다. 하드웨어 인터페이스, 프로세스 격리, 샌드박싱, 네트워크 필터링, 시스템 로깅을 대상으로 하는 일련의 현실적인 공격 시나리오를 실행합니다.

주요 기여

• AI 에이전트에 대한 OS 보안 관점: 본 논문은 AI 에이전트와 운영 체제 간의 공식적 유추를 확립하여 격리, 권한 분리, 중재와 같은 확립된 개념을 사용하여 에이전트 보안에 대해 추론할 수 있는 프레임워크를 제공합니다.
• 통합 에이전트 아키텍처: OpenClaw 스타일 에이전트를 위한 통합된 아키텍처를 도출하여 구성 요소, 신뢰 경계, 통신 채널을 명시적으로 정의함으로써 체계적인 보안 분석을 용이하게 합니다.
• OS 방어의 체계적 이전: 저자들은 OS 방어 메커니즘을 에이전트 영역에 매핑하여 적용 가능성에 따라 분류하고, 현재 에이전트 설계가 기본 보안 원칙을 강제하지 못하는 간극을 식별합니다.
• 실증 평가: 이 연구는 네 가지 인기 있는 에이전트 런타임에 대한 포괄적인 실증 평가를 제공하여, 현재 보호 메커니즘이 실제로 종종 실패하며 취약점이 OS 레벨 기법을 사용하여 설명되고 완화될 수 있음을 입증합니다.

결과

사례 연구는 평가된 네 에이전트 중 어느 것도 테스트된 모든 공격 벡터에 대항하여 방어할 수 없음을 드러냅니다. 주요 발견 사항은 다음과 같습니다:

• 광범위한 취약점: 보안을 고려하여 설계된 에이전트 (예: IronClaw) 조차도 샌드박싱이나 권한 분리 구현이 불완전한 경우, 구성 조작 또는 시스템 프롬프트 추출과 같은 특정 공격에 취약합니다.
• 격리 실패: 모든 네 에이전트가 신뢰할 수 있는 데이터와 신뢰할 수 없는 데이터를 공유된 LLM 컨텍스트로 전달한다는 점이 중요한 발견 사항입니다. 이는 프로세스 격리 원칙을 위반합니다. 이로 인해 한 도구의 중간 출력이 후속 도구에 영향을 미쳐 셸 명령어 인젝션과 같은 공격을 가능하게 합니다.
• 권한 분리 위반: 파일 접근 제어는 종종 입력 처리와 동일한 권한 수준에서 강제되며, 권한이 낮은 참조 모니터에 의해 중재되지 않습니다.
• 비효율적인 샌드박싱: 샌드박싱 (예: IronClaw 의 WebAssembly, NemoClaw 의 컨테이너) 은 특정 공격 벡터를 효과적으로 차단할 수 있지만, 부분적이거나 잘못 구성된 구현은 상당한 간극을 남깁니다. 예를 들어, NemoClaw 는 컨테이너화된 설계임에도 불구하고 시스템 프롬프트 추출에 취약했습니다.
• 보편적 약점: 모든 에이전트에서 두 가지 약점 클래스가 관찰되었습니다: 사용자 간 데이터 유출 (사용자 레벨 프로세스 격리 부재) 과 무단 메시지 전송 (엄격한 송신 필터링 부재).
• LLM 독립성: 이 연구는 이러한 취약점이 특정 LLM 추론 능력보다는 에이전트 아키텍처 및 런타임 설계에서 비롯된 것임을 확인합니다. 왜냐하면 Qwen, Gemini, GPT 등 서로 다른 모델에서도 공격이 성공했기 때문입니다.

중요성 및 주장

본 논문은 AI 에이전트의 광대하고 이질적인 공격 표면으로 인해 에이전트 보안을 강화하는 것은 daunting 한 작업이지만, 수십 년간의 운영 체제 보안 연구를 활용하면 의미 있는 진전을 이룰 수 있다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 후향적 분석의 가치: AI 에이전트의 많은 보안 과제는 완전히 새로운 것이 아니라 고전적인 OS 문제의 발현입니다. 확립된 OS 접근 방식을 재검토하면 에이전트 시스템을 보안하는 원칙적인 프레임워크를 제공합니다.
2. 방어 심층의 필요성: LLM 중심의 방어 (프롬프트 인젝션 완화 등) 만으로는 불충분합니다. 안전한 운영에는 상세한 시스템 지식, 신중한 구성, 격리, 권한 분리, 중재를 포함한 계층적 방어의 구현이 필요합니다.
3. 현재 시스템의 설계 결함: 최소 권한과 프로세스 격리와 같은 근본 원칙을 위반하기 때문에 일부 에이전트 기능은 설계상 불안전하게 남아 있습니다. 그러나 많은 취약점은 잘 이해된 OS 기법을 사용하여 완화할 수 있습니다.
4. 즉각적인 실행 가능한 조치: 저자들은 서로 다른 구현체에 이미 배포된 부분적 보안 메커니즘 (예: 샌드박싱, 네트워크 필터링, 로깅의 결합) 을 단순히 통합하는 것만으로도 새로운 연구 없이도 상당한 보안 향상을 이룰 수 있다고 결론지었습니다.

본 논문은 최종 해결책이 아니라, AI 에이전트의 공격 표면을 구조화하고 OS 보안 원칙에 기반한 더 안전한 상태로 미래 설계를 안내하기 위한 필수적인 단계로 자신을 위치시킵니다.