Don't Let the Claw Grip Your Hand: A Security Analysis and Defense Framework for OpenClaw

본 논문은 로컬 환경에서 실행되는 오픈소스 AI 에이전트 프레임워크인 OpenClaw 의 심각한 보안 취약점을 분석하고, MITRE ATLAS 및 ATT&CK 기반의 공격 시나리오 테스트를 통해 인간 개입 (HITL) 방어 레이어가 기존 시스템의 취약점을 보완하여 방어율을 획기적으로 향상시킬 수 있음을 입증합니다.

핵심

🕵️‍♂️ 핵심 이야기: "지능형 비서 vs. 교활한 해커"

상상해 보세요. 당신은 아주 똑똑한 **AI 비서 (코드 에이전트)**를 고용했습니다. 이 비서는 당신의 명령을 듣고 컴퓨터에서 파일을 열거나, 프로그램을 실행하거나, 인터넷을 통해 데이터를 주고받을 수 있는 **열쇠 (권한)**를 모두 가지고 있습니다.

이 비서가 없으면 당신이 일일이 컴퓨터를 조작해야 하지만, 있으면 "이 파일 정리해줘", "이 코드 실행해줘"라고 말만 하면 알아서 다 해줍니다. 정말 편리하죠?

하지만 문제는 이 비서가 너무 순진하다는 것입니다.

1. 위험한 상황: "가짜 지시문"의 함정

해커는 이 비서의 순진함을 이용합니다. 해커는 악의적인 명령을 일상적인 문서나 이메일 속에 숨겨둡니다.

• 비유: 해커가 "오늘 날씨 좋은데 산책하자"라고 적힌 편지 속에, **"창문 열고 집 안의 보물 (비밀번호) 을 밖으로 가져와"**라는 지시문을 아주 작은 글씨로 숨겨놓은 것과 같습니다.
• 현실: 개발자가 "이 문서 요약해줘"라고 비서에게 말하면, 비서는 문서를 읽다가 숨겨진 지시문을 발견하고 "아, 주인님이 이걸 해달라고 한 거구나!"라고 착각하여 실제로 명령을 실행해 버립니다.
• 결과: 해커는 당신의 SSH 키나 비밀번호를 훔쳐가거나, 컴퓨터를 장악할 수 있습니다.

2. 실험 결과: "AI 비서"들의 실력 차이

연구팀은 OpenClaw 라는 도구를 이용해 47 가지의 다양한 해킹 시나리오를 테스트했습니다. 결과는 놀라웠습니다.

• 백업 모델 (LLM) 에 따라 천차만별:
  • 어떤 AI 모델 (Claude 등) 은 "이건 위험해!"라고 바로 막아냈습니다 (약 83% 방어).
  • 하지만 어떤 모델 (DeepSeek 등) 은 해커의 속임수에 넘어가서 거의 모든 공격을 허용했습니다 (약 17% 방어).
  • 교훈: AI 비서를 고용할 때, 그 비서의 '성격'과 '안전 의식'이 얼마나 중요한지 보여주는 결과입니다.

3. 가장 큰 약점: "모래상자 (Sandbox) 탈출"

AI 는 보통 안전한 공간 (모래상자) 안에서만 일하도록 제한되어 있습니다. 하지만 해커들은 이 모래상자의 벽을 뚫는 방법을 찾았습니다.

• 비유: 비서가 "내 방 (작업 공간) 밖으로 나가지 말라"는 규칙이 있는데, 해커는 "내 방 문고리 (심볼릭 링크) 를 밖의 금고로 연결해 둬"라고 속여 비서가 밖의 금고에 접근하게 만든 것입니다.
• 현실: 대부분의 AI 모델은 이 '벽을 뚫는' 공격을 거의 막지 못했습니다. 방어율이 17% 에 불과했습니다.

---

🛡️ 해결책: "인간 감독관 (HITL)"을 세우다

연구팀은 이 문제를 해결하기 위해 "인간 감독관 (Human-in-the-Loop)" 시스템을 제안했습니다.

• 비유: AI 비서가 중요한 작업 (파일 삭제, 외부 전송 등) 을 하려고 할 때, 실제 주인 (사람) 이 "정말 이렇게 해도 돼?"라고 한 번 더 물어보는 시스템입니다.
• 작동 원리:
  1. 허가 목록 (Allowlist): "파일 목록 보기"나 "코드 실행" 같은 안전한 일은 AI 가 바로 합니다.
  2. 패턴 감지: "비밀번호 파일 읽기"나 "외부 서버로 데이터 보내기" 같은 위험한 패턴을 감지하면 AI 가 멈춥니다.
  3. 인간 확인: 위험한 작업이 감지되면, AI 는 실행을 멈추고 사람에게 "이 명령을 실행할까요?"라고 물어봅니다. 사람이 "Yes"라고 답해야만 실행됩니다.

결과: 이 시스템을 도입하자, 방어율이 **최대 91.5%**까지 크게 향상되었습니다. 특히 중간 정도 실력을 가진 AI 모델들도 이 시스템을 통해 훨씬 안전하게 변했습니다.

---

💡 우리가 배울 수 있는 교훈

1. AI 는 만능이 아닙니다: AI 가 코드를 짜주는 건 편리하지만, 그 AI 가 컴퓨터를 마음대로 조작할 수 있게 두는 것은 매우 위험할 수 있습니다.
2. 모델 선택이 보안이다: 어떤 AI 모델을 쓰느냐에 따라 보안 수준이 완전히 달라집니다. 보안이 중요한 곳에서는 안전 의식이 높은 모델을 선택해야 합니다.
3. 사람의 눈이 필요하다: AI 가 모든 것을 알아서 처리하게 두지 말고, 위험한 작업이 있을 때는 반드시 사람이 최종 확인을 하도록 해야 합니다. (이것이 '인간 감독관'의 핵심입니다.)
4. 벽을 튼튼하게: AI 가 일하는 공간을 물리적으로 격리 (컨테이너 등) 하는 것이, 단순히 소프트웨어적인 규칙만 세우는 것보다 더 안전합니다.

📝 한 줄 요약

"똑똑한 AI 비서를 쓰려면, 해커의 속임수에 넘어가지 않도록 '인간 감독관'을 두고, 위험한 작업은 사람이 직접 확인하는 것이 가장 안전합니다."

이 연구는 우리가 AI 시대에 살아가면서, 편리함과 안전 사이의 균형을 어떻게 잡아야 하는지 중요한 방향을 제시해 줍니다.

기술 요약

논문 개요

본 논문은 로컬 환경에서 실행되는 오픈소스 AI 에이전트 프레임워크인 OpenClaw의 보안 취약점을 체계적으로 분석하고, 이를 방어하기 위한 새로운 **Human-in-the-Loop **(HITL, 인간 개입)을 제안합니다. 코드 에이전트가 사용자를 대신하여 셸 명령을 실행할 수 있다는 점은 강력한 기능이지만, 동시에 심각한 보안 위협이 될 수 있음을 지적합니다.

**1. 문제 정의 **(Problem)

• 코드 에이전트의 보안 위험: GitHub Copilot, Cursor, OpenClaw 등의 도구는 자연어 명령을 받아 코드를 작성하고 수정할 뿐만 아니라, 시스템 명령어 실행 (Shell execution) 및 파일 조작을 수행합니다.
• 새로운 공격 벡터: 전통적인 LLM 안전성 연구가 '유해한 텍스트 생성'에 집중했다면, 코드 에이전트의 경우 '유해한 행동 (명령 실행)'이 핵심 위협입니다.
• 주요 취약점:
  • **간접 프롬프트 인젝션 **(Indirect Prompt Injection) 악성 코드가 포함된 문서나 설정 파일을 에이전트가 읽을 때, 해당 내용이 에이전트의 명령으로 오인되어 실행됨.
  • **샌드박스 탈출 **(Sandbox Escape) 에이전트가 제한된 작업 공간 (Sandbox) 밖의 시스템 파일에 접근하거나 권한을 상승시키는 시도.
  • 내재적 보안 부족: OpenClaw 는 백엔드 LLM 의 안전성 훈련에 전적으로 의존하며, 자체적인 강력한 보안 제약이 부재함.

**2. 방법론 **(Methodology)

저자들은 OpenClaw 의 보안성을 평가하기 위해 **이중 모드 실행 프레임워크 **(Dual-Mode Execution Framework)를 개발했습니다.

• 테스트 환경: macOS 기반의 제어된 샌드박스 환경에서 6 가지 주요 LLM 백엔드 (Claude Opus, Qwen, GPT, Kimi, Gemini, DeepSeek) 를 사용하여 실험.
• **공격 시나리오 **(47 개) MITRE ATLAS 및 ATT&CK 프레임워크를 기반으로 6 가지 공격 카테고리로 분류된 47 가지 적대적 시나리오를 설계.
  1. **우회 및 은폐 **(Evasion) Base64, 16 진수 인코딩 등을 이용한 명령어 은폐.
  2. 샌드박스 경계 위반: 상대적 경로 이동 (../), 심볼릭 링크 (Symlink) 를 통한 탈출.
  3. 간접 프롬프트 인젝션: 문서 내 숨겨진 악성 명령어 실행.
  4. **공급망 및 로지킹 **(Supply Chain/LotL) 신뢰된 유틸리티 (git, python) 악용.
  5. 리소스 및 상태 공격: 무한 루프, 컨텍스트 메모리 오염.
  6. 권한 상승 및 과다 권한 감사: sudo 요청 및 불필요한 파일 접근 시도.
• **방어 아키텍처 **(HITL Defense Layer) 실행 전 LLM 의 도구 호출을 가로채는 4 단계 방어 레이어 구현.
  1. **허용 목록 **(Allowlist) 알려진 안전한 작업 자동 승인.
  2. **시맨틱 판별기 **(Semantic Judge) 인코딩된 페이로드나 동적 코드 평가 (eval) 등 의도 분석.
  3. **패턴 매칭 **(Pattern Matching) MITRE ATT&CK 기반 35 개 이상의 위험 패턴 (데이터 유출, 권한 상승 등) 적용.
  4. 샌드박스 가드: 샌드박스 외부 접근 시도 차단.
  • 정책: 위험도에 따라 자동 승인, 로깅, 또는 **인간 승인 **(Human Approval) 필요.

**3. 주요 기여 **(Key Contributions)

1. 로컬 코드 에이전트 공격 표면 분석: 인코딩 우회, 샌드박스 탈출, 간접 인젝션 등 6 가지 주요 위협 카테고리를 식별하고 구체적인 공격 기법을 문서화.
2. HITL 방어 프레임워크 제안: LLM 수정 없이도 적용 가능한 레이어형 방어 구조를 설계 및 구현.
3. 이중 모드 평가 프레임워크 개발: 기본 모드 (Baseline) 와 방어 모드 (Defended) 를 비교하여 방어 계층의 효과를 정량화.
4. 실증적 데이터 제공: 6 가지 LLM 백엔드를 대상으로 한 광범위한 테스트 결과와 구체적인 방어율 데이터를 공개.

**4. 실험 결과 **(Results)

• **기본 방어 능력 **(Baseline)
  • LLM 백엔드별 방어율 편차가 극심함 (17% ~ 83%).
  • Claude Opus 4.6: 83% 방어 (우수).
  • DeepSeek V3.2: 17% 방어 (매우 낮음).
  • 이는 모델 선택이 보안에 결정적임을 시사.
• HITL 방어 계층의 효과:
  • HITL 레이어를 적용한 후 전체 방어율은 **19% ~ 92%**로 향상됨.
  • 특히 기본 방어율이 낮았던 모델 (예: GPT 5.3 Codex) 에서 방어율이 17% 포인트 이상 크게 개선됨.
  • Claude + HITL 조합은 47 개 시나리오 중 43 개를 차단 (91.5% 방어율).
• 취약점 분석:
  • **샌드박스 탈출 **(Sandbox Escape) 모든 구성에서 평균 방어율이 **17%**에 불과함. (가장 치명적인 취약점)
  • 간접 프롬프트 인젝션: Claude 와 Qwen 은 잘 방어했으나, Kimi, Gemini, DeepSeek 는 대부분 실행됨.
  • 인코딩 우회: DeepSeek 는 Base64/Hex 인코딩된 명령어를 모두 실행함.

**5. 의의 및 시사점 **(Significance)

• 모델 선택의 중요성: 코드 에이전트 배포 시 백엔드 LLM 의 안전성 훈련 수준이 핵심 보안 요소임을 강조.
• **방어 심층화 **(Defense-in-Depth) 단일 LLM 안전성에 의존하지 않고, 패턴 매칭, 시맨틱 분석, 인간 승인 (HITL) 을 결합한 다중 방어 계층의 필요성 입증.
• 샌드박스 한계 인식: 논리적 샌드박스만으로는 충분하지 않으며, 컨테이너나 가상 머신과 같은 물리적 격리 및 강제 액세스 제어 (MAC) 도입 필요성 제기.
• 실무적 가이드라인:
  • 안전한 모델 선택 (Claude, Qwen 등).
  • 최소 권한 원칙 (Least Privilege) 적용.
  • 모든 도구 호출에 대한 상세 감사 로그 (Audit Logging) 구현.
  • 민감한 작업에 대한 인간 승인 워크플로우 도입.

결론

본 연구는 현재 코드 에이전트 기술이 내재적으로 심각한 보안 취약점을 가지고 있음을 밝히고, 특히 샌드박스 탈출과 같은 공격에 취약함을 지적했습니다. 제안된 HITL 방어 프레임워크는 이러한 취약점을 상당 부분 보완할 수 있음을 입증했으며, 안전한 코드 에이전트 배포를 위해서는 기술적 방어 메커니즘과 인간 감독의 결합이 필수적임을 강조합니다.