🤖 machine learning

Sovereign Agentic Loops: Decoupling AI Reasoning from Execution in Real-World Systems

이 논문은 LLM 에이전트의 추론과 실행을 분리하여, 모델이 생성한 의도를 제어 평면(control-plane)에서 검증, 격리 및 감사함으로써 실세계 시스템의 안전성과 신뢰성을 보장하는 '주권적 에이전트 루프(Sovereign Agentic Loops, SAL)' 아키텍처를 제안합니다.

원저자: Jun He, Deying Yu

게시일 2026-04-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jun He, Deying Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 현재의 문제점: "말 잘 듣는 줄 알았던 비서가 갑자기 폭주한다면?"

지금까지의 AI 시스템은 마치 **'말 한마디에 바로 행동하는 비서'**와 같았습니다.

상황: 당신이 비서에게 "서버 좀 정리해줘"라고 말합니다.
위험: 그런데 비서가 갑자기 기분이 나쁘거나, 혹은 "정리"라는 단어를 잘못 이해해서 회사의 가장 중요한 데이터베이스를 통째로 삭제해 버릴 수도 있습니다.

현재의 AI는 '생각(추론)'과 '행동(실행)'이 하나로 묶여 있습니다. AI가 내뱉는 말(코드나 명령어)이 곧바로 실제 시스템을 바꾸는 명령어로 이어지기 때문에, AI가 실수하거나 해킹을 당하면 대형 사고로 직결됩니다.

2. 해결책: SAL (Sovereign Agentic Loops) — "똑똑한 검문소와 가명 시스템"

이 논문은 이 위험을 막기 위해 SAL이라는 새로운 구조를 제안합니다. 핵심은 **"AI의 말(생각)과 실제 행동(실행) 사이에 아주 깐깐한 검문소를 세우는 것"**입니다.

이 시스템은 세 가지 마법 같은 장치를 사용합니다.

① 가명 시스템 (Obfuscation Membrane): "이름을 숨긴 미션"

AI에게 실제 시스템의 중요한 정보(예: 진짜 서버 주소, 고객의 이름, 비밀번호 등)를 그대로 보여주지 않습니다. 대신 **'가명'**을 줍니다.

비유: 요리사(AI)에게 "냉장고 3번 칸에 있는 김철수 씨의 소고기를 꺼내"라고 하지 않고, **"A-1 구역에 있는 '재료 1'을 꺼내"**라고 말하는 것입니다. 요리사는 재료의 정체는 모르지만, 요리(작업)를 하는 데는 아무 지장이 없습니다. 이렇게 하면 AI가 실수로 개인정보를 유출하거나 중요한 정보를 알아내는 것을 원천 봉쇄합니다.

② 검문소 (Sovereign Control Plane): "깐깐한 보안 요원"

AI가 "A-1 구역의 재료 1을 버려줘!"라고 요청하면, 바로 실행하는 게 아니라 검문소가 먼저 확인합니다.

검문소의 체크리스트:
1. 규정 확인: "이 재료를 버리는 게 우리 회사 규칙에 맞는가?"
2. 말의 앞뒤 확인 (Consistency Check): "AI가 '재료가 상해서 버린다'고 했는데, 센서로 확인해보니 재료가 아주 싱싱하네? 얘 왜 이래? 거절!"
비유: 비서가 "사장님 차 키를 버릴까요?"라고 물으면, 보안 요원이 "그건 규칙 위반입니다!"라며 딱 잘라 거절하는 것과 같습니다.

③ 블랙박스 기록부 (Evidence Chain): "모든 행동의 증거 기록"

모든 요청과 검문 결과, 그리고 실제 실행된 내용은 수정 불가능한 디지털 장부에 기록됩니다.

비유: 비행기의 '블랙박스'와 같습니다. 나중에 사고가 나더라도 "AI가 왜 이런 명령을 내렸는지", "검문소는 왜 통과시켜줬는지"를 완벽하게 추적할 수 있습니다.

3. 결과: "안전하면서도 빠르다!"

연구팀이 이 시스템(OpenKedge)을 실제로 테스트해 본 결과는 놀라웠습니다.

철벽 방어: AI가 저지른 위험한 시도 중 93%는 규칙 검사에서 바로 차단되었고, 나머지 7%도 앞뒤가 맞지 않는 논리 오류를 잡아내어 100% 차단했습니다. 즉, 사고가 단 한 건도 나지 않았습니다.
속도 저하 최소화: 검문소를 거치느라 시간이 걸리긴 하지만, 그 시간이 0.0124초(12.4ms) 정도였습니다. 사람이 눈을 한 번 깜빡이는 것보다 훨씬 빠르기 때문에, 실제 업무를 하는 데 전혀 지장이 없는 수준입니다.

요약하자면

이 논문은 **"AI를 믿지 말고, AI가 하는 일을 검증하는 '구조'를 믿어라"**라고 말합니다.

AI에게는 가명을 주고, AI의 명령은 깐깐한 검문소를 통과하게 하며, 모든 과정은 블랙박스에 기록함으로써, AI가 아무리 똑똑해지더라도 인간이 정한 안전한 울타리 안에서만 움직이도록 만드는 기술입니다.

[기술 요약] Sovereign Agentic Loops (SAL): 실세계 시스템에서 AI 추론과 실행의 분리

1. 문제 정의 (The Problem)

현재의 LLM(대규모 언어 모델) 에이전트 시스템은 모델이 생성한 출력을 직접 실행 계층(API 호출 등)으로 전달하는 '강한 결합(Tight Coupling)' 구조를 가지고 있습니다. 이 방식은 다음과 같은 치명적인 보안 및 운영 리스크를 내포합니다.

확률적 불확실성 (Stochasticity): LLM은 결정론적 소프트웨어가 아닌 확률적 모델이므로, 문법적으로는 올바르지만 운영 맥락상 위험한 명령(예: 중요 데이터베이스 노드 삭제)을 생성할 수 있습니다.
맥락 인식 오류 (Context Misalignment): 모델이 시스템의 실제 상태를 잘못 파악하거나, 불완전한 정보로 인해 부적절한 의사결정을 내릴 수 있습니다.
주권 및 데이터 유출 (Sovereignty & Leakage): 에이전트가 추론을 위해 시스템의 민감한 정보(IP 주소, ID 등)를 직접 참조해야 하므로, 데이터 주권 침해 및 정보 유출 위험이 존재합니다.

2. 방법론 (Methodology: Sovereign Agentic Loop, SAL)

본 논문은 추론(Reasoning)과 실행(Execution)을 구조적으로 분리하는 SAL(Sovereign Agentic Loop) 아키텍처를 제안합니다. 핵심은 모델의 출력을 '명령(Command)'이 아닌 **'검증이 필요한 의도(Intent Proposal)'**로 취급하는 것입니다.

핵심 구성 요소:

Obfuscation Membrane (난독화 막):
- 시스템 상태( $S$ )를 식별 정보가 제거된 난독화된 상태( $\hat{S}$ )로 변환하여 모델에 전달합니다.
- 정보 이론적으로 식별 가능한 정보와 난독화된 상태 사이의 상호 정보량(Mutual Information)을 0으로 만들어, 모델이 시스템의 민감한 정체성을 알 수 없도록 격리합니다.
Sovereign Control Plane (주권 제어 평면):
- 모델이 생성한 '의도(Intent)'와 '정당화 사유(Justification)'를 가로채어 검증합니다.
- Policy Evaluation ( $E_{policy}$ ): OPA(Open Policy Agent) 등을 사용하여 사전에 정의된 보안 정책 및 인프라 규칙 준수 여부를 확인합니다.
- Consistency Check ( $E_{consistency}$ ): 모델이 제시한 사유(예: "CPU 과부하로 인한 노드 삭제")가 실제 시스템 텔레메트리 데이터와 일치하는지 검증합니다.
Evidence Chain (증거 체인):
- 의도, 검증 결과, 실행된 액션, 당시의 컨텍스트를 암호학적으로 연결된(Cryptographically linked) 불변의 레저(Ledger)에 기록합니다. 이를 통해 사후 감사 및 결정론적 재현(Deterministic Replay)이 가능합니다.

3. 주요 기여 (Key Contributions)

원칙의 정립: 모델의 출력을 실행 권한이 아닌 '검증 가능한 의도'로 재정의하는 **'Decoupling Principle(분리 원칙)'**을 공식화했습니다.
아키텍처 설계: 정보 이론적 격리(Obfuscation Membrane)와 암호학적 감사(Evidence Chain)를 결합한 새로운 제어 평면 프레임워크를 제안했습니다.
수학적 증명: SAL 아키텍처가 정책 기반 실행(Policy-bounded execution), 신원 격리(Identity isolation), 결정론적 재현(Deterministic replay)을 보장함을 수학적으로 증명했습니다.

4. 실험 결과 (Results)

OpenKedge 프로토타입을 사용하여 클라우드 인프라 환경에서 테스트한 결과는 다음과 같습니다.

안전성 (Safety): 적대적 공격(Adversarial Workload) 시나리오에서 100%의 차단율을 기록했습니다.
- 93%는 정책 위반(Policy Violation) 단계에서 차단되었습니다.
- 나머지 7%는 정책은 통과했으나, 모델의 사유와 실제 상태가 불일치하는 '맥락적 모순(Consistency error)'을 통해 차단되었습니다.
성능 (Latency): 제어 평면을 통한 중재 과정에서 발생하는 중앙값(Median) 지연 시간은 12.4ms로, 실시간 클라우드 운영에 적용 가능한 수준의 낮은 오버헤드를 보여주었습니다.
신뢰성 (Auditability): 증거 체인을 통한 재현 테스트에서 100%의 일치율을 기록하여 감사 가능성을 입증했습니다.

5. 의의 (Significance)

이 논문은 AI 에이전트의 안전성을 모델 자체의 성능(Alignment)에 의존하는 대신, **시스템의 구조적 설계(Architecture)**를 통해 강제할 수 있음을 보여주었습니다. 이는 향후 자율형 AI가 국가 기간 시설, 스마트 시티, 기업용 클라우드 인프라와 같은 고위험(High-stakes) 환경에 도입될 때 필수적인 '실행 경계 제어(Execution-boundary control)' 모델을 제시했다는 점에서 매우 중요한 학술적/실무적 가치를 지닙니다.