🤖 AI

SecureClaw: Clawing Back Control of LLM Agents

SecureClaw는 읽기 작업을 위한 신뢰할 수 있는 게이트웨이를 강제하고 쓰기 작업을 위해 PREVIEW-to-COMMIT 프로토콜을 적용함으로써, 작업 유용성을 유지하면서도 여러 벤치마크에서 공격 성공률을 거의 제로에 가깝게 달성하며 도구 사용 LLM 에이전트의 승인되지 않은 외부 동작과 민감한 데이터 노출을 방지하는 이중 경계 보안 아키텍처이다.

원저자: Yuhan Ma, Stefan Schmid

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhan Ma, Stefan Schmid

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하지만 신뢰할 수 없는 개인 비서(LLM 에이전트)를 고용하여 공과금 납부, 개인 이메일 읽기, 일정 관리와 같은 민감한 업무를 맡겼다고 상상해 보십시오.

문제는 이 비서가 다루기 까다로운 성격이라는 점입니다. 만약 당신이 그들에게 은행 계좌 번호가 적힌 문서를 준다면, 그들은 실수로 혹은 악의적으로 그 번호를 낯선 사람에게 소리 내어 읽어버릴 수도 있고, 이메일 안에 숨겨진 메모에 속아 당신의 돈을 사기꾼에게 보내버릴 수도 있습니다.

현재의 보안 요원들은 보통 비서가 나쁜 짓을 하는 것(예: 돈을 보내는 것)을 막으려고 노력하지만, 비서가 비밀을 보는 것 자체를 막는 데는 자주 실패합니다. 일단 비서가 비밀을 보게 되면, 보안 요원이 제지하기도 전에 다른 프로그램에 그 내용을 속삭이거나 자신의 노트에 적어둘 수 있기 때문입니다.

SecureClaw는 이 두 가지 문제를 동시에 해결하기 위해 설계된 새로운 보안 시스템입니다. 이는 "보는 것"과 "하는 것"을 별개의 작업으로 취급하며, 각각에 서로 다른 두 개의 자물쇠를 적용합니다.

SecureClaws가 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다.

SecureClaw의 두 가지 자물쇠

1. 읽기를 위한 "눈가리개" (게이트웨이)

비서가 송금액을 알기 위해 비밀스러운 인보이스(송장)를 확인해야 한다고 가정해 봅시다.

기존 방식: 당신은 비서에게 실제 종이 인보이스를 건네줍니다. 비서는 숫자를 읽고, 받아 적거나, 듣고 있는 해커에게 그 내용을 소리 내어 읽어줄 수 있습니다.
SecureClaw 방식: 당신은 비서에게 종이를 주지 않습니다. 대신 미스터리 박스("불투명한 핸들")와 작고 정제된 메모("경계가 설정된 요약본")를 줍니다.
- 메모에는 *"공급업체 A로부터 온 인보이스, 금액 $4,200, 기한 금요일까지"*라고 적혀 있습니다.
- 미스터리 박스는 오직 보안 금고만이 열 수 있는 암호화된 코드입니다.
- 비서는 이 메모와 코드를 사용하여 업무를 계획할 수는 있지만, 미스터리 박스를 열어 실제 인보이스의 세부 내용을 볼 수는 없습니다. 실제 숫자를 볼 수 없으므로 복사할 수도 없습니다.

2. 실행을 위한 "이중 확인" (실행기)

이제 비서가 그 인보이스를 결제하기 위해 이메일을 보내려고 합니다.

기존 방식: 비서는 이메일을 작성하고 "전송" 버튼을 누릅니다. 만약 해커가 비서를 속여 이메일 주소를 사기꾼의 주소로 바꿨다면, 돈은 사기꾼에게 가게 됩니다.
SecureClow 방식: 비서는 오직 이메일을 제안할 수만 있습니다. 비서는 초안을 작성하고 *"이것을 보내고 싶습니다"*라고 말합니다.
- 신뢰할 수 있는 가드(실행기)가 이 초안을 넘겨받습니다.
- 가드는 다음과 같이 확인합니다: "당신이 이것을 보내달라고 요청했는가? 수신자가 올바른가? 금액이 맞는가?"
- 결정적으로, 가드는 정확한 세부 사항을 원래 승인되었던 변경 불가능한 영수증과 대조합니다.
- 만약 비서가 승인을 받은 후 몰래 이메일 주소를 사기꾼으로 바꿨다면, 가드는 불일치를 발견하고 이메일 전송을 차단합니다. 실제로 "전송" 버튼을 누를 수 있는 권한은 오직 가드에게만 있습니다.

이것이 왜 중요한가요?

이 논문은 공격자들이 에이전트를 속여 데이터를 훔치거나 잘못된 사람에게 돈을 보내도록 유도하는 세 가지 "해킹 놀이터"(AgentDojo, AgentLeak, ASB)를 대상으로 이 시스템을 테스트했습니다.

결과: SecureClaw는 승인되지 않은 송금을 막아내는 데 있어서만 **100%**의 성공률(공격 성공률 0%)을 보였으며, 비밀 데이터 유출을 거의 제로 수준으로 줄였습니다.
핵심 비결: 이 논문은 자물쇠가 하나만 있어서는 안 된다는 것을 증명합니다.
- 만약 "이중 확인"(전송 차단)만 있다면, 비서는 여전히 비밀을 읽고 자신의 내부 노트에 기록하여 유출할 수 있습니다.
- 만약 "눈가리개"(비밀 숨기기)만 있다면, 비서가 애초에 비밀을 가지고 있지 않기 때문에 엉뚱한 사람에게 메시지를 보내도록 속임을 당할 수 있습니다.
- SecureClaw는 두 가지를 모두 사용합니다. 비밀을 비서로부터 숨기는 동시에, 비서가 최종적인 신뢰할 수 있는 확인 없이 행동을 강제할 수 없도록 보장합니다.

"안 된다"고 할 때는 어떻게 되나요?

때때로 시스템이 의심스러운 요청을 발견하여 차단할 때가 있습니다. 과거에는 이로 인해 전체 워크플로우가 중단되어 사용자를 답답하게 만들었을 것입니다. 하지만 SecureClaw에는 "안전한 복구(Safe Recovery)" 기능이 있습니다.

가드가 요청을 차단할 경우, 단순히 "에러"라고 출력하는 대신, 비서가 다시 시도할 수 있는 안전하고 사전 승인된 경로를 제공합니다.

예시: "그 낯선 사람에게 이메일을 보낼 수 없습니다. 하지만 당신이 먼저 검토할 수 있도록 초안을 작성할 수는 있습니다."
이를 통해 보안 표준을 낮추지 않으면서도 업무가 계속 진행될 수 있도록 합니다.

핵심 요약

SecureClaw는 일기장을 읽을 때 눈가리개를 쓴 경호원(비밀을 암기하지 못하도록)이자, 지도를 확인하기 전에는 자동차 키를 넘겨주지 않는(위험한 곳으로 운전해 가지 못하도록) 경호원을 고용하는 것과 같습니다. 이는 계획하는 능력과 행동하는 능력을 분리하여, 설령 비서가 속임을 당하더라도 피해를 최소화합니다.

기술 요약: SecureClaw

문제 정의

도구 사용 LLM(Large Language Model) 에이전트는 기존의 방어 체계가 동시에 해결하지 못하는 두 가지 별개이며 대체 불가능한 보안 실패 모드에 직면해 있습니다:

무단 외부 효과 (Unauthorized External Effects): 프롬프트 인젝션이나 적대적 런타임 동작에 의해 잠재적으로 침해된 에이전트가 특정 컨텍스트, 세션 또는 호출자에 대해 허용되지 않은 동작(예: 이메일 전송, 자금 이체)을 실행할 위험입니다.
런타임 평문 노출 (Runtime Plaintext Exposure): 민감한 데이터(예: 송장, 의료 기록)가 신뢰할 수 없는 LLM 런타임에 평문으로 노출될 위험입니다. 설령 후속 동작이 차단되더라도, 런타임이 이미 비밀 정보를 "읽었을" 수 있으며, 이를 출력 전용 감사 메커니즘이 놓치는 내부 채널(에이전트 간 메시지, 공유 메모리, 로그)을 통해 전달할 수 있습니다.

현재의 방어 체계는 일반적으로 한 쪽 경계만을 보호합니다. 즉, 플래너/런타임을 보호하거나(프롬프트 필터링을 통해), 액션 싱크(action sink)를 보호하거나(인자 검사를 통해) 둘 중 하나입니다. 본 논문은 싱크를 보호하는 것이 런타임이 이미 원본 비밀 정보에 접근했을 경우 발생하는 내부 유출을 방지하지 못하며, 런타임을 보호하는 것이 중재되지 않은 싱크를 통한 무단 커밋을 방지하지 못한다고 주장합니다.

방법론: SecureClaw 아키텍처

SecureClaw는 외부 효과에 대한 제어와 민감한 평문에 대한 접근을 분리하는 **이중 경계 아키텍처(dual-boundary architecture)**를 도입합니다. 이는 신뢰할 수 없는 에이전트 런타임과 구별되는 신뢰할 수 있는 인프라(Gateway, Handle Store, Policy Engine, Executor)에 의존합니다.

1. 읽기 경로 (Read Path): 불투명 핸들 격리 (Opaque Handle Confinement)

메커니즘: 런타임이 민감한 데이터를 요청하면, **신뢰할 수 있는 게이트웨이(Trusted Gateway)**가 이를 가로챕니다. 게이트웨이는 원본 평문을 반환하는 대신, 데이터를 **신뢰할 수 있는 핸들 스토어(Trusted Handle Store)**에 저장하고 런타임에 불투명 핸들(고엔트로피 심볼릭 참조)을 반환합니다.
역분류 (Declassification): 에이전트가 계획 수립을 위해 작업 관련 정보가 필요한 경우, 게이트웨이는 제한된 요약 정보(예: "업체 A로부터 온 송장, 4.2k 달러")를 제공합니다. 이 요약 정보는 평문 유출이 아닌 명시적 역분류 인터페이스로 취급됩니다.
제약 사항: 런타임은 핸들을 라우팅하고 저장할 수는 있지만, 이를 역참조하여 원본 비밀 정보를 복구할 수는 없습니다. 내부 채널(C2, C5)은 비밀 정보가 아닌 심볼릭 참조를 운반합니다.

2. 쓰기 경로 (Write Path): PREVIEW→COMMIT 프로토콜

메커니즘: 런타임은 효과적인 동작(의도 + 입력값)을 제안합니다. 신뢰할 수 있는 게이트웨이는 인증된 컨텍스트(호출자, 세션, 싱크 필드)를 추가하고 요청을 정형화된 바인딩 다이제스트( $h$ )로 변환합니다.
권한 부여: **정책 엔진(Policy Engine)**은 정확한 정형화된 요청을 승인하고 $h$ 에 결합된 권한 증표(authorization artifact)를 반 반환합니다.
실행: **신뢰할 수 있는 실행기(Trusted Executor)**는 외부 싱크에 도달할 수 있는 유일한 구성 요소입니다. 커밋하기 전에 실행기는 다음을 수행합니다:
1. 바인딩 다이제스트 $h$ 를 재계산합니다.
2. 권한 증표를 검증합니다.
3. 신선도(freshness), 재생 공격(replay) 여부, 핸들 해제 상태를 확인합니다.
4. 요청이 승인된 정형화된 형태와 정확히 일치하는 경우에만 커밋합니다.
무결성: 요청의 내용(예: 수신자 변경)이 프리뷰 이후에 수정되면 정형화된 형태가 변경되어 권한 증표가 무효화되며, 실행기는 '실패 시 차단(fail-closed)' 모드로 작동합니다.

3. 거부 인지 복구 (Deny-Aware Recovery)

동작이 차단되었을 때 유용성을 유지하기 위해, 시스템은 거부 인지 복구 메커니즘을 사용합니다. 워크플로우를 종료하는 대신, 시스템은 대략적인 이유와 안전한 다음 단계 힌트(예: "전송" 대신 "확인을 위한 초안 작성")가 포함된 구조화된 거부 메시지를 반환하여, 보안 불변성을 완화하지 않으면서도 워크플로우의 연속성을 보존합니다.

주요 기여

보안 분해 (Security Decomposition): 본 논문은 도구 사용 에이전트를 위한 두 가지 대체 불가능한 보안 요구 사항, 즉 외부 효과에 대한 요청 기반 권한 부여와 민감한 평문의 런타임으로부터의 격리를 식별했습니다.
이중 경계 아키텍처: SecureClaw는 불투명 핸들과 명시적 역분류를 활용하여, 읽기 격리(를 위한 신뢰할 수 있는 게이트웨이)와 쓰기 권한 부여(를 위한 신뢰할 수 있는 실행기)를 통해 이러한 요구 사항을 구현합니다.
공통 하네스 평가 (Common-Harness Evaluation): 저자들은 공정한 비교를 위해 매칭된 하네스를 사용하여 세 가지 벤치마크(AgentDojo, AgentLeak, ASB)에서 네 가지 베이스라인(Plain, IPIGuard, DRIFT, Faramesh)을 대상으로 SecureCla을 평가했습니다.

실험 결과

gpt-4o-mini (temperature 0) 환경에서 평가되었습니다:

Agent Security Bench (ASB): SecureClaw는 **0%의 공격 성공률(ASR)**을 달성하여, 베이스라인(예: 87.75% ASR을 기록한 DRIFT)을 크게 앞질렀습니다. 또한 정상 작업에 대해 88.90%의 유용성을 유지했습니다.
AgentDojo: 베이스라인 중 최고 성능인 DRIFT(2.38%)와 비교하여 0.64% ASR(629개 공격 중 4개)을 달성했습니다.
AgentLeak: 공격받은 패리티 레인(parity lane)에서 3.23%의 전체 유출을 기록했습니다. 결정적으로, 내부 전달 유출(C2 및 C5)을 거의 제로 수준(C2 0.20%, C5 0.00%)으로 줄였습니다. 반면, 읽기 격리가 없는 Faramesh와 같은 베이스라인은 높은 내부 유출(C2에서 92.74%)을 보였습니다.
절제 연구 (Ablation Studies): 핸들 메커니즘을 제거하면 C2/C5 유출이 다시 나타났으며, 실행 경계를 제거하면 내부 유출에는 영향을 미치지 않았으나 무단 커밋을 막지 못했습니다. 이는 두 메커니즘이 서로 다른 표면을 보호함을 확인시켜 줍니다.
강건성 (Robustness): 29가지 적대적 시나리오(증표 조작, 재생 공격, 세션 혼합)의 바이패스 테스트에서, SecureClaw는 25개의 공격 시도를 모두 차단하고 4개의 정당한 제어는 허용했습니다.
오버헤드: 실행기 검증은 1밀리초 미만이며, 단일 서비스 권한 부여는 약 15ms를 추가합니다. 이러한 비용은 LLM 추론 지연 시간(500–2000ms)에 비해 무시할 수 있는 수준입니다.

의의 및 주장

본 논문은 LLM 에이전트를 보호하기 위해서는 런타임 로컬 방어가 아닌 구조적 분리가 필요하다고 주장합니다.

비대체성 (Non-Substitutability): 평가는 싱크 측 권한 부여와 읽기 측 격리가 상호 보완적임을 입증합니다. 즉, 차단된 커밋이 이미 메모리를 통해 전달된 비밀 정보를 되돌릴 수 없으며, 핸들이 컴프로마이즈된 런타임의 무단 동작 시도를 막을 수는 없습니다.
신뢰 모델: SecureClaw는 신뢰를 신뢰할 수 없는 런타임에서 최소한의 신뢰할 수 있는 구성 요소(Gateway, Handle Store, Policy Engine, Executor)로 이동시킵니다. 본 시스템은 정책이 허용하는 동작의 의미론적 정확성(예: 정책이 너무 포괄적일 경우 에이전트가 잘못된 객체에 대해 동작할 수 있음)을 보장하거나, 신뢰할 수 있는 구성 요소 자체가 침해되는 상황까지 견뎌낸다고 주장하지 않습니다.
잔여 위험 (Residuals): 남은 실패 사례는 핵심 보안 불변성의 우회가 아니라, 역분류 평면(허용된 요약 정보가 정보를 드러내는 경우) 또는 정책 불일치(사용자의 의도와 의미론적으로 잘못된 허용된 동작)에 집중되어 있습니다.

저자들은 SecureClaw가 외부 효과를 제로/제로에 가깝게 차단하는 동시에 내부 평문 전달을 제거하면서도, '거부 인지 복구'를 통해 높은 작업 유용성을 유지하는 유일하게 평가된 시스템이라고 결론짓습니다.