🤖 AI

Bounded Agents: Delegation Security for Multi-Agent AI Systems

이 논문은 동적이고 상태 인지적인 권한 부여 검사를 강제함으로써 프롬프트 인젝션 공격, 무단 위임, 금지된 동작 조합의 위험을 방지하여, 낮은 지연 시간을 유지하면서도 데이터 유출 및 조작을 제로에 가깝게 줄이는 LLM 기반 멀티 에이전트 시스템의 보안 아키텍처인 에이전틱 프린시플 체인(Agentic Principal Chain, APC)을 소개한다.

원저자: Xabier Muruaga

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xabier Muruaga

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 디지털 작업 환경에서 새로운 형태의 노동자가 등장했다: 바로 소프트웨어 에이전트다. 이들은 대규모 언어 모델(LLM)을 기반으로 문서를 읽고, 이메일을 보내며, 시스템 간에 데이터를 이동시키고, 심지어 다른 프로그램을 호출하여 업무를 수행할 수 있는 프로그램들이다. 이들은 인간 직원을 대신하여 행동하며, 지시를 받아 이를 일련의 실행 단계로 전환한다. 그 약속된 효율성은 엄청나지만, 그 위험 또한 그만큼 높다. 만약 인간 직원이 속아서 비밀 파일을 잘못된 사람에게 보낸다면, 그 피해는 해당 개인의 판단력 범위 내로 국한된다. 하지만 소프트웨어 에이젝트가 속게 된다면, 그것은 자신이 접근할 수 있는 모든 시스템에 걸쳐 완벽한 속도로 실수를 실행할 수 있다. 보안 전문가들의 핵심 과제는 단순히 이 에이전트들이 속지 않도록 더 똑똑하게 만드는 것이 아니라, 설령 속더라도 그 피해를 입히는 것이 물리적으로 불가능하도록 시스템을 구축하는 것이다.

이것이 독립 연구자 자비에르 무루아가(Xabier Muruaga)의 새로운 연구가 다루는 중심 문제이며, 그는 에이전트의 '두뇌'를 더 견고하게 만드는 것이 아니라 에이전트가 할 수 있는 일의 '규칙'을 강화함으로써 이러한 디지털 노동자들을 보호하는 방법을 제안한다. 이 연구는 소프트웨어 에이전트가 조작당할 위험이 인공지능 모델 자체의 문제가 아니라, 주로 권한 아키텍처(permission architecture)의 문제라고 주장한다. 설령 에이전트가 속임수에 완벽하게 방어할 수 있다고 해도, 무해한 행동들을 결합하여 위험한 결과를 만들어낼 수 있는 너무 많은 자유가 주어진다면 여전히 해를 끼칠 수 있다. 예를 들어, 에이전트가 기밀 문서를 읽을 권한과 이메일을 보낼 권한을 각각 가지고 있다고 가정해보자. 개별적으로 두 행동은 모두 안전하다. 하지만 에이전트가 속아서 문서를 읽은 직후 외부 주소로 이메일을 보내게 된다면, 이 결합은 단독으로는 허용되지 않았던 데이터 유출을 초라하게 만든다.

이를 해결하기 위해 무루아는 '에이전틱 프린시펄 체인(Agentic Principal Chain)'이라 불리는 시스템을 개발했다. 명령의 사슬을 상상해 보라. 인간 상사가 매니저에게 업무를 위임하고, 매니저는 그 업무의 일부를 주니어 어시스턴트에게 전달한다. 전통적인 보안 시스템에서는 상사가 권한을 부여하면 그 권한이 변하지 않고 사슬을 타고 내려간다. 이 경우 주니어 어시스턴트는 상사와 동일한 광범위한 권한을 갖게 되어, 어시스턴트가 침해되었을 때 큰 위험을 초래할 수 있다. 에이전틱 프린시펄 체인은 단계가 내려갈 때마다 권한이 더 작고 구체적으로 변하도록 보장함으로써 이를 변화시킨다. 이는 에이전트의 사고 과정 외부에 위치한 엄격한 문지기 역할을 한다. 에이전트가 어떤 행동을 수행하기 전에, 이 문지기는 에이전트가 특정 행위를 할 권한이 있는지뿐만 아니라, 동일한 세션 동안 에이전트가 과거에 무엇을 했는지도 확인한다.

이 시스템은 '세션 상태(session state)', 즉 에이전트가 취한 모든 행동의 실행 기록을 추적하는 방식으로 작동한다. 만약 에이전트가 파일을 읽을 권한과 이메일을 보낼 권한을 모두 가지고 있다면, 시스템은 이력을 살펴본다. 만약 에이전트가 방금 비밀 파일을 읽었다면, 시스템은 이메일 발송이 일반적으로 허용되는 동작이라 할지라도 다음 이메일 발송 시도를 차단할 것이다. 이는 에이전트가 두 가지 안전한 행동을 결합하여 위험한 상황을 만드는 것을 방지한다. 연구진은 이를 '구성 폐쇄성(composition closure)'이라고 부른다. 이는 개별 단계는 허용되더라도 특정 행동의 조합은 금지된다는 규칙이다. 또한 이 시스템은 단일 에이전트의 '폭발 반경(blast radius)'을 제한한다. 만약 하위 에이전트가 침해되더라도, 그가 입힐 수 있는 피해는 그를 생성한 에이전트보다 엄격하게 작아진 권한에 의해 수학적으로 제한된다. 이는 시스템의 한 부분에서 발생한 침해가 조직 전체를 파괴하는 방향으로 확산되는 것을 방지한다.

연구진은 이 접근 방식이 실제로 작동하는지 테스트하기 위해 작동하는 버전의 시스템을 구축하고 일련의 엄격한 시험을 거쳤다. 그들은 확립된 보안 벤치마크를 사용하여 수천 건의 시뮬레이션 공격을 통해 테스트를 진행했다. 데이터 탈취를 목적으로 설계된 1,000개 이상의 시나리오가 포함된 한 세트의 테스트에서, 시스템은 모든 시도를 차단했다. 또 다른 테스트 세트에서는 인공지능 모델 자체가 완전히 장악되어 공격자의 통제하에 있는 상황을 시뮬레이션했음에도 불구하고, 시스템은 여전히 공격을 막아냈다. 모델이 탈취한 데이터를 보내려고 시도했을 때, 문지기는 해당 행동의 조합이 세션 규칙을 위반했기 때문에 요청을 거부했다. 또한 시스템은 에이전트가 원래의 과업과 관련 없는 방식으로 파일을 파괴하거나 데이터를 조작하는 것을 성공적으로 방지하여, 그러한 공격의 성공률을 90% 이상에서 단 12%로 낮추었다.

연구진은 이 추가적인 보안 계층이 에이전트의 속도를 얼마나 늦추는지도 측정했다. 결과에 따르면 이 시스템은 매우 빨라서 의사 결정에 걸리는 시간을 0.25밀리초 미만으로 늘릴 뿐이었다. 이는 보안 검사가 거의 즉각적으로 이루어져 사용자에게 눈에 띄는 지연을 주지 않음을 의미한다. 그러나 연구진은 트레이드오프(trade-off)가 존재한다는 점도 발견했다. 어떤 경우에는 엄격한 규칙이 에이전트가 정당한 과업을 완료하는 것을 방해하기도 했는데, 이는 시스템이 행동의 조합에 대해 너무 신중했기 때문이다. 테스트 결과, 가장 엄격한 규칙을 적용했을 때 정당한 과업의 성공률이 약 8.6 퍼센트 포인트 하락했다. 이는 시스템이 공격을 막는 데는 매우 효과적이지만, 정상적인 업무를 방해하지 않도록 세심한 조정(tuning)이 필요함을 시사한다.

연구진은 자신들의 시스템이 무엇을 하고 무엇을 하지 못하는지를 명확히 정의했다. 그들은 규칙이 올바르게 설정된다면 에이전트가 금지된 행동의 조합을 수행하는 것이 불가능함을 수학적으로 증명했다. 또한 과업이 명령 사슬을 따라 전달될 때 잠재적 피해가 커질 수 없다는 점도 증명했다. 그러나 그들은 이 시스템이 모든 문제를 해결할 수는 없다고 언급했다. 예를 들어, 에이전트가 파일을 삭제할 권한이 있는 경우처럼 단일 행동 자체가 이미 규칙에 의해 허용되어 있다면, 그 행동이 해로운 결과를 초래하는 것을 막을 수 없다. 또한 에이전트가 허용된 범위 내에서 잘못된 선택을 하도록 유도되는 것도 막을 수 없다. 이러한 문제는 인공지능에 대한 더 나은 훈련이나 다루는 데이터에 대한 더 상세한 검토와 같은 다른 해결책을 필요로 한다.

궁극적으로 이 논문은 인공지능을 보안하는 방식에 대한 사고의 전환을 제시한다. 깨지지 않는 '정신(mind)'을 구축하려는 노력 대신, 깨지지 않는 '우리(cage)'를 구축하는 데 초점을 맞춘다. 행동의 조합에 대한 엄칙한 규칙을 강제하고 과업이 위임될 때 권한이 축소되도록 함으로써, 이 시스템은 에이전트의 판단력이 실패하더라도 버틸 수 있는 안전망을 구축한다. 이 연구는 적절한 아키텍처 제어가 있다면, 단 한 번의 혼란이 대재앙으로 이어질까 두려워하지 않고도 이러한 강력한 디지털 노동자들이 복잡한 환경에서 작동할 수 있음을 보여준다. 이 연구의 결론은 안전한 인공지능으로 가는 길이 단순히 더 똑똑한 모델을 만드는 것뿐만 아니라, 모델이 '예'라고 말할 때조차 '아니오'라고 말할 줄 아는 더 똑똑한 시스템을 만드는 데 있다는 것을 시사한다.

기술 요약: Bounded Agents: 멀티 에이전트 AI 시스템을 위한 위임 보안

문제 정의

본 논문은 LLM(대규모 언어 모델) 기반 에이전트 시스템의 결정적인 보안 격차를 다룹로다. 기존의 접근 제어 메커니즘(RBAC, ABAC, OAuth)은 정적이고 인간 중심적인 위임을 위해 설계된 반면, 에이전트형 AI는 비인간 정체성이 사용자를 대신하여 동작하는 동적, 재귀적, 상태 유지 워크플로우를 도입합니다. 저자는 프롬프트 인젝션의 보안 결과가 단순히 모델의 견고성 문제가 아니라, 권한 부여 아키텍처(authorization-architecture)의 문제라고 주장합니다.

현재의 시스템은 다음과 같은 이유로 실패합니다:

정적 권한: 에이전트는 위임 체인을 통해 감쇄되지 않는 고정된 범위를 가지고 작동합니다.
고립된 평가: 요청들이 세션 이력을 무시하고 독립적으로 평가됩니다. 이로 인해 에이전트가 개별적으로는 허용된 작업들(예: 기밀 문서 읽기와 외부 이메일 전송)을 조합하여, 단일 권한을 위반하지 않으면서도 금지된 결과(데이터 유출)를 달성할 수 있게 됩니다.
모델 중심 신뢰: 보안 제어가 모델 런타임 외부의 인프라에 의해 강제되는 대신, 프롬프트 지침(예: "삭제하지 마시오")에 의존하는 경우가 많으며, 이는 인젝션에 의해 무력화될 수 있습니다.

방법론: 에이전트 주체 체인 (Agentic Principal Chain, APC)

본 논문은 인간 주체로부터 오케스트레이터와 하위 에이전트를 거쳐 도구(tool)에 이르기까지 위임된 권한을 추적하는 세션 범위의 권한 부여 모델인 **에이전트 주체 체인(APC)**을 제안합니다. APC는 모든 도구 호출에 대한 게이트웨이 역할을 하는 모델 런타임 외부의 정책 집행 지점(Policy Enforcement Point, PEP)을 통해 보안을 강제합니다.

핵심 구성 요소

권한 인벨로프 (Authorization Envelope): 세션 초기화 시 생성되는 암호학적으로 서명된 상태로, 다음을 포함합니다:
- 범위 (Scope, $S$ ): 허용된 리소스( $R$ ), 액션 유형( $A$ ), 데이터 분류( $D$ ), 그리고 금지된 조합( $X$ ).
- 위임 예산 (Delegation Budget, $B$ ): 깊이, 폭발 반경(blast radius), 되돌릴 수 없는 효과, 민감도 및 비용에 대한 정량적 제한.
- 의도 명세 (Intent Specification, $\Psi$ ): 사전 선언된 작업 목표 및 제약 조건.
범위 축소 (Scope Narrowing): 모든 위임 단계에서 'meet' 연산을 통해 범위가 축소됩니다 ( $S_{child} = S_{parent} \cap S_{role}$ ). 리소스와 액션은 축소될 수만 있으며, 금지된 조합은 누적될 수만 있습니다.
조합 폐쇄성 (Composition Closure): 시스템은 세션의 **이전 액션 상태(prior-action state)**에 대해 요청을 평가합니다. 이는 다음을 강제합니다:
- 쌍별 제한 (Pairwise Restrictions): 특정 액션 유형의 쌍을 금지함 (예: read + send_external).
- $k$ -튜플 제한 ( $k$ -tuple Restrictions): 순서가 있는 액션 시퀀스를 금지하여 (예: read $\to$ write $\to$ send_internal), 쌍별 체크를 우회하는 단계적 공격을 포착합니다.
6가지 적격성 조건 (Six Admissibility Conditions): 모든 제안된 액션은 다음의 결합 술어(conjunctive predicate)를 통과해야 합니다:
- C1 (신원): 체인 내의 검증 가능한 주체와 결합.
- C2 (범위 및 조합): 액션이 축소된 범위 내에 있으며, 이전 액션들과 금지된 조합을 형성하지 않음.
- C3 (컨텍스트): 특정 작업 인스턴스 및 정책 버전과 결합.
- C4 (승인): 영향력이 큰 액션은 유효한 일회용 승인 토큰을 필요로 함.
- C5 (증거): 추가 불가능한(append-only) 증거 저장소에 접근할 수 없는 경우 실행이 거부됨 (fail-closed 방식).
- C6 (의도): 액션이 사전 선언된 의도 명세와 일치해야 함.

주요 기여

프리미티브로서의 조합 폐쇄성: 본 논문은 조합 폐쇄성을 인프라에 의해 강제되는 세션 전역의 액션 유형 조합 제약으로 공식화합니다. 또한, 제한 집합이 금지된 결과를 위한 모든 필요한 쌍을 커버하면 어떤 허용된 액션 시퀀스도 해당 결과를 생성할 수 없음을 입증하는 **조합 건전성(Composition Soundness, 정리 4.7)**을 증명합니다.
폭발 반경 단조성 (Blast Radius Monotonicity): 정리 4.6은 도달 가능한 폭발 반경이 각 위임 단계에서 감소함을 확립합니다. 이는 누적된 예산 추적과 범위 축소를 통해 달성되며, 이를 통해 컴프로마이즈된 하위 에이전트가 체인 내의 위치보다 더 큰 피해를 입히는 것을 방지합니다.
컴프로마이즈된 모델 평가 방법론: 저자는 모델의 행동과 독립적으로 인프라 강제성을 테스트하는 평가 설계를 도입합니다. 합법적인 단계 이후에 파이프라인에 그라운드 트루스(ground-truth) 공격 도구 호출을 직접 주입함으로써, 완전히 컴프로마이즈된 모델을 시뮬레이션하여 권한 부여 계층의 효능을 측정합니다.
참조 구현: 실행 가능한 테스트와 함께 정식 속성에 정렬된 2,500 LOC 규모의 Python 구현을 제공하며, 0.24ms(99번째 백분위수 기준)의 매우 낮은 인프라 오버헤드를 보여줍니다.

평가 결과

저자는 3,154개의 인스턴스(공개 벤치마크인 InjecAgent, ASB 및 라이브 LLM 평가인 AgentDojo 포함)를 통해 APC를 평가했습니다.

유출 방지: 컴프로마이즈된 모델 평가에서, APC는 네 가지 AgentDojo 도메인 전체에서 데이터 유출 성공률을 75~100%에서 **0%**로 낮추었습니다. 또한 InjecAgent의 544개 데이터 탈취 케이스를 모두 차단했습니다.
파괴 및 조작: 의도 결합(C6)은 파괴 공격을 38.6%에서 4.0%로, 조작 공격을 90.5%에서 12.1%로 감소시켰습니다.
조합 폐쇄성 효능: InjecAgent에서 완전한 제한 집합( $X$ )은 데이터 탈취를 100%에서 0%로 줄였습니다. 단 하나의 쌍만 제거해도 성공률이 39.9%로 상승하여, 완전한 제한 집합의 필요성을 강조했습니다.
유틸리티 트레이드오프: APC를 적용한 결과, 구성의 엄격함에 따라 작업 완료율에서 8.6~13.9 퍼센트 포인트의 유틸리티 손실이 발생했습니다.
잔여 리스크: 남은 실패 사례는 주로 "의도 중첩"(악의적 행위가 액션 유형 수준에서 합법적인 행위와 구별되지 않는 경우) 또는 불완적인 제한 집합 때문이었습니다. 범위 내에서의 단일 액션 공격은 APC의 설계 경계 밖에 있습니다.

의의 및 주장

본 논문은 에이전트 시스템의 보안이 단순히 모델을 인젝션에 더 견고하게 만드는 것에만 의존해서는 안 된다고 주장합니다. 대신, 권한 부여 아키텍처를 다음과 같이 재설계해야 합니다:

모델을 자체 신뢰 경계에서 제외할 것: 보안 결정은 프롬프트 지침이 아닌 인프라(PEP/PDP)에 의해 이루어져야 합니다.
조합 폐쇄성을 강제할 것: 금지된 결과를 방지하려면 개별 요청이 아닌 액션 시퀀스를 평가해야 합니다.
폭발 반경을 제한할 것: 위임 체인은 구조적으로 권한을 감쇄하여, 어느 깊이에서 컴프로마이즈가 발생하더라도 이를 격리해야 합니다.

저자는 APC가 기존의 ID 및 정책 인프라(예: OAuth, policy-as-code 엔진)를 대체하는 것이 아니라 이와 **함께 구성(compose with)**되도록 설계되었음을 강조합니다. (폭발 반경 단조성과 조합 건전성이라는) 정식 보증은 위임 대수(delegation algebra)의 속성이며, 완전한 제한 집합과 직렬화된 승인이라는 가정이 충족된다면 APC 의미론을 충실히 따르는 모든 구현에 대해 유효합니다. 이 연구는 멀티 에이전트 시스템의 "혼동된 대리인(confused-deputy)" 문제를 해결하기 위한 구조적 솔루션을 제시하며, 안전의 부담을 확률적인 모델에서 결정론적인 인프라로 전환합니다.