💻 computer science

SafeClaw-R: Towards Safe and Secure Multi-Agent Personal Assistants

이 논문은 LLM 기반 다중 에이전트 시스템의 안전성과 보안을 강화하기 위해 실행 전 중재 및 안전한 기능 대체를 통해 시스템 수준의 불변성을 보장하는 새로운 프레임워크인 SafeClaw-R 을 제안하고, 다양한 환경에서 높은 정확도로 위험을 탐지하고 차단하는 효과를 입증합니다.

원저자: Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: 왜 이런 시스템이 필요할까요?

비유: "무서운 슈퍼 비서"
예전에는 AI 가 단순히 질문에 답하는 정도였지만, 요즘의 **'멀티 에이전트 시스템 (MAS)'**은 사용자의 컴퓨터에 직접 설치되어 이메일을 정리하고, 일정을 잡으며, 파일을 삭제하는 등 **실제 행동을 하는 '슈퍼 비서'**가 되었습니다. (예: OpenClaw 같은 프로그램)

하지만 문제는 이 비서가 너무 똑똑해서 스스로 판단하기 시작했다는 점입니다.

실수: 비서가 "이메일 정리해줘"라는 말을 듣고, 실수로 모든 이메일을 다 삭제해버리는 끔찍한 사고가 났습니다.
해킹: 악의적인 사람이 비서에게 "이메일을 다 지워"라고 속여 명령을 내리면, 비서는 그것을 진짜 명령으로 믿고 실행해버립니다.

기존의 안전장치는 마치 "문 앞에 '위험하다'라고 적힌 표지판" 정도였습니다. 하지만 비서가 표지판을 무시하고 문을 열거나, 표지판이 해킹당하면 아무 소용이 없었습니다.

2. 해결책: SafeClaw-R (안전한 발톱)

이 논문은 **"비서가 행동을 하기 직전에, 반드시 한 번 더 확인하는 '안전 관리자'를 시스템 안에 넣자"**고 제안합니다.

비유: "공항 보안 검색대"
기존 방식은 여행객 (비서) 이 탑승구 (행동) 로 바로 가는 것이었다면, SafeClaw-R 은 모든 여행객이 탑승하기 전에 반드시 보안 검색대 (안전 관리자) 를 통과하게 만듭니다.

원리: 비서가 "이메일 삭제" 버튼을 누르려고 할 때, 바로 실행되지 않습니다. 대신 안전 관리자가 "이게 정말 삭제해야 할 중요한 이메일인가? 아니면 실수인가?"를 확인합니다.
결과: 위험하면 실행을 막고 (BLOCK), 의심스러우면 사용자에게 "정말 삭제할까요?"라고 물어봅니다 (REVIEW). 안전하면 바로 실행합니다 (PASS).

3. 어떻게 작동할까요? (세 가지 핵심 기능)

이 시스템은 세 가지 단계로 작동합니다.

안전한 쌍둥이 만들기 (Safe Skill Factory):
- 기존에 있던 비서의 기능 (예: 이메일 보내기, 파일 삭제하기) 하나하나에 안전 버전의 쌍둥이를 만들어줍니다.
- 마치 "폭탄을 처리하는 로봇"을 만들 때, 폭발하지 않도록 안전 장치를 달아둔 로봇을 따로 만들어두는 것과 같습니다.
자동으로 위험을 찾아내기 (자동화 공장):
- 사람이 일일이 모든 위험을 찾기엔 너무 많습니다. 그래서 AI 가 스스로 "어떤 명령이 위험할까?"를 시뮬레이션하고, 그 위험을 막는 규칙을 자동으로 만들어냅니다.
- 마치 자동차의 충돌 테스트를 AI 가 자동으로 수천 번 해보면서, 가장 안전한 설계도를 뽑아내는 과정입니다.
커뮤니티 공유 (안전 지식 공유소):
- 한 사람이 만든 안전한 규칙을 전 세계 사람들이 공유하고 개선할 수 있도록 'SafeSkillHub'라는 도서관을 만듭니다.
- 누군가 "이런 해킹 수법이 발견됐다!"라고 알려주면, 전 세계의 비서들이 동시에 그 수법을 막을 수 있게 됩니다.

4. 실제 효과는 어떨까요?

연구진은 이 시스템을 세 가지 상황으로 시험해 보았습니다.

구글 워크스페이스 (이메일, 캘린더 등):
- 기존 방식 (단순 규칙) 은 61% 만 막았지만, SafeClaw-R 은 95% 이상의 위험을 정확히 찾아냈습니다.
- 특히 "급하게 이메일을 500 명에게 보내라"는 식의 **속임수 (사회공학적 공격)**를 잘 알아챘습니다.
악성 앱 설치 (서드파티 스킬):
- 겉보기엔 innocent 해 보이지만 속에는 해킹 코드가 숨겨진 앱을 **97.8%**의 확률로 잡아냈습니다.
코드 실행:
- 해커가 코드를 조금씩 변형해서 숨겨도 (예: 주석을 바꾸거나 변수 이름을 바꿈), **100%**로 악성 코드를 찾아냈습니다.

5. 결론: 왜 이 기술이 중요한가요?

비유: "자율주행차의 브레이크"
이 기술은 AI 비서가 더 똑똑해지고 자율적으로 일할 수 있게 해주면서도, 사용자가 통제권을 잃지 않도록 하는 '브레이크'와 '안전장치' 역할을 합니다.

기존: "실수하면 나중에 후회하자." (사후 처리)
SafeClaw-R: "실수하기 전에 미리 막자." (사전 예방)

이 시스템을 통해 우리는 AI 비서를 두려워하지 않고, 마치 안전한 운전자가 조종하는 고급 자동차처럼 편안하게 사용할 수 있게 될 것입니다.

한 줄 요약:

"AI 비서가 실수하거나 해킹당하지 않도록, 행동하기 직전에 반드시 '안전 관리자'가 한 번 더 확인하는 시스템을 만들어, AI 와 함께 살아가는 세상을 안전하게 만들었습니다."

1. 문제 정의 (Problem)

LLM 기반의 멀티 에이전트 시스템 (MAS) 은 복잡한 작업을 자율적으로 수행하여 개인 생산성을 혁신하고 있지만, 심각한 안전성 및 보안 위험을 내포하고 있습니다.

자율성의 역설: OpenClaw 와 같은 프레임워크는 사용자의 개인 데이터와 서비스에 통합되어 복잡한 작업을 수행하지만, LLM 의 환각 (hallucination) 이나 논리 오류로 인해 되돌릴 수 없는 치명적인 행동 (예: 이메일 전체 삭제, 자격 증명 유출) 을 초래할 수 있습니다.
시스템적 취약점: 단일 에이전트에서는 안전해 보일 수 있는 행동들이, 멀티 에이전트 협업 과정에서 악성 지시나 오해석으로 인해 악성 행동 (자격 증명 탈취, 데이터 유출 등) 으로 이어질 수 있습니다.
기존 접근법의 한계:
- 정적 가드레일 (Static Guardrails): 하드코딩된 규칙은 예측 가능하지만 환경 변화에 적응력이 부족합니다.
- LLM-as-a-Judge: 실행 후 (post-hoc) 평가는 실시간으로 해로운 행동을 차단하지 못하며, 악성 입력에 대한 견고성이 부족합니다.
위험 분석: OpenClaw 의 내장 스킬 55 개 중 **36.4%**가 '높음 (High)' 또는 '치명적 (Critical)' 위험 등급을 받았습니다. 이는 주로 자격 증명 노출, 되돌릴 수 없는 데이터 삭제, 외부 시스템 영향력 때문입니다.

2. 방법론 (Methodology)

저자들은 SafeClaw-R을 제안하여, 실행 그래프 (execution graph) 상에서 안전성을 시스템 수준의 불변성 (system-level invariant) 으로 강제하는 프레임워크를 구축했습니다.

핵심 설계 원칙

실행 전 중재 (Pre-execution Mediation): 모든 기능적 에이전트 (Functional Agent) 가 실행되기 전에 반드시 **강제 에이전트 (Enforcement Agent)**가 개입하여 위험을 평가하고 승인, 차단, 연기, 또는 수정을 결정합니다.
그래프 불변성 (Graph Invariant): 실행 그래프 $G=(N, E)$ $G = (N, E)$ 에서 모든 기능 노드 $n_f$ $n_{f}$ 에 대해, 이를 선행하는 강제 노드 $n_e$ $n_{e}$ 가 존재하도록 구조를 정의합니다.
- $n_e \to n_f$ 관계가 필수적으로 유지됩니다.
강제 노드 구조 (Enforcement Node Specification): 각 강제 노드는 다음 3 가지 요소로 정의됩니다.
- Trigger (트리거): 언제 활성화될지 결정 (예: 민감한 데이터가 포함된 출력 생성 시).
- Task (작업): 어떤 정책 로직을 적용할지 정의 (예: PII 감지 시 실행 중단 또는 사용자 확인 요청).
- Resources (리소스): 개입을 수행하기 위한 도구 (예: stop, user_confirm, log_event, quarantine 등).

자동화된 안전 스킬 파이프라인 (Safe Skill Factory)

기존 스킬에 대응하는 안전한 버전 (Safe Counterpart) 을 자동으로 생성하는 6 단계 폐쇄 루프 프로세스를 도입했습니다.

위험 모델링 및 행동 매핑: 위험 요소 식별.
명세 작성 (Spec Writing): SKILL.md 형식으로 구체적인 안전 규칙 정의.
테스트 케이스 생성: 직접 공격, 자연어 변형, 적대적 사례 등 다양한 시나리오 생성.
벤치마크 평가: 생성된 스킬의 성능 검증.
오류 원인 분석 (FP/FN Root Cause Analysis): 실패 사례 분석.
반복적 명세 개선: 분석 결과를 바탕으로 규칙 정제.

이 과정을 통해 SafeSkillHub라는 커뮤니티 기반의 재사용 가능한 안전 명세 저장소를 구축했습니다.

3. 주요 기여 (Key Contributions)

런타임 강제 (Runtime Enforcement) 문제로서의 안전성 정의: 사후 감지가 아닌 실행 중 안전 정책의 일관된 적용을 강조.
SafeClaw-R 프레임워크: OpenClaw 실행 파이프라인에 강제 에이전트 노드를 통합하여 실시간 중재를 가능하게 함.
Safe Skill Factory 및 SafeSkillHub: 자동화된 안전 스킬 생성 도구와 공유 생태계 제안.
광범위한 평가: Google Workspace, 서드파티 스킬, 코드 실행 환경 등 3 가지 주요 도메인에서의 실증적 검증.

4. 평가 결과 (Results)

SafeClaw-R 은 세 가지 도메인에서 기존 방법론 (정규식 등) 을 압도하는 성능을 보였습니다.

도메인	평가 내용	성능 지표	비고
Google Workspace	2,000 개의 테스트 케이스 (20 가지 위험 시나리오)	정확도 95.2%	정규식 베이스라인 (61.6%) 대비 월등히 우수. 자연어 및 사회공학적 입력 처리에 강점.
서드파티 스킬	MaliciousAgentSkills 벤치마크 (49 개 악성 스킬)	악성 패턴 탐지율 97.8%	코드 및 자연어 지시 내 숨겨진 위협을 효과적으로 식별.
코드 실행	2,020 개의 테스트 케이스 (2,000 개의 의미 보존 변형 포함)	탐지 정확도 100%	악성 코드를 포함한 모든 시나리오에서 100% 탐지, 정상 코드에서 0% 오탐 (False Positive).

사용성: Google Workspace 에서 3.4% 의 오탐 (False Positive) 이 발생했으나, 이는 불확실한 경우를 검토 (Review) 로 넘기는 보수적인 전략에 기인합니다. 코드 실행 환경에서는 오탐이 전혀 발생하지 않았습니다.

5. 의의 및 결론 (Significance)

패러다임 전환: 안전성을 단순한 '체크'가 아닌 시스템 실행 구조의 필수 불가결한 부분 (Structural Invariant) 으로 재정의했습니다.
실시간 대응: LLM 의 환각이나 악성 프롬프트 주입이 발생하기 전에 실행을 차단하거나 수정할 수 있어, 되돌릴 수 없는 피해를 방지합니다.
확장성: 자동화된 'Safe Skill Factory'를 통해 새로운 스킬이 추가될 때마다 일관된 안전 기준을 적용할 수 있어, MAS 생태계의 지속적인 성장이 가능합니다.
실용성: OpenClaw 의 실제 사고 사례 (이메일 삭제 등) 를 해결하는 데 효과적임을 입증하며, 자율 에이전트의 대중화를 위한 필수 보안 인프라로 자리매김할 것으로 기대됩니다.

이 논문은 멀티 에이전트 시스템이 개인 비서로서 안전하게 작동하기 위해서는 단순한 모델 개선이 아닌, 시스템 수준의 강제 메커니즘이 필수적임을 강력하게 주장합니다.