Each language version is independently generated for its own context, not a direct translation.

오픈케지 (OpenKedge): AI 에이전트의 '무분별한 행동'을 막는 스마트 안전장치

이 논문은 인공지능 (AI) 에이전트들이 우리 시스템을 운영할 때 발생할 수 있는 치명적인 실수를 막기 위해 고안된 새로운 규칙, **'오픈케지 (OpenKedge)'**에 대해 설명합니다.

기존 방식과 오픈케지의 차이를 이해하기 위해, **'무책임한 요리사'**와 **'엄격한 주방 관리자'**의 비유를 들어보겠습니다.

1. 문제: 왜 AI 에이전트는 위험할까요? (무책임한 요리사)

지금까지의 시스템은 마치 요리사에게 "요리해!"라고만 말하고 아무런 지시도 안 한 상황과 같습니다.

기존 방식 (API 중심): AI 에이전트가 "이 서버를 끄세요"라고 요청하면, 시스템은 그 명령을 즉시 실행합니다.
문제점: AI 는 때때로 **환각 (Hallucination)**을 겪거나 상황을 잘못 이해할 수 있습니다. 예를 들어, "아무도 안 쓰는 서버니까 끄자"라고 생각했는데, 사실 그 서버는 중요한 은행 거래를 처리 중일 수 있습니다.
결과: AI 가 실수하면 서비스는 멈추고, 데이터는 사라지며, 복구하기 힘든 재앙이 일어납니다. 기존 시스템은 "명령을 내린 사람이 옳을 거라"고 맹신하는 구조라, AI 의 실수를 막을 수 없습니다.

2. 해결책: 오픈케지 (OpenKedge) 는 무엇인가요? (엄격한 주방 관리자)

오픈케지는 AI 가 직접 행동을 취하는 것이 아니라, 먼저 '의도 (Intent)'를 제출하고 승인을 받아야만 행동할 수 있게 만드는 새로운 규칙입니다.

이를 4 단계의 주방 프로세스로 비유해 볼까요?

① 의도 제출 (요리 주문서 작성)

상황: AI 요리사가 "소스를 끓여!"라고 외치는 대신, 정식 주문서를 작성합니다.
핵심: "무엇을 할지 (의도)"만 말하고, "어떻게 할지는 시스템이 결정"합니다.

② 검토 및 승인 (식자재와 시간 확인)

상황: 주방 관리자 (오픈케지 시스템) 가 주문서를 받습니다.
- "지금 소스 재고가 있나?" (시스템 상태 확인)
- "지금 다른 요리사가 그 냄비를 쓰고 있나?" (충돌 확인)
- "이 요리사가 오늘 실수가 많았나?" (신뢰도 확인)
핵심: AI 의 명령이 현재 상황과 규칙에 맞는지 철저히 따져봅니다. 위험하면 즉시 거절합니다.

③ 실행 계약서 발급 (제한된 권한 부여)

상황: 승인이 나면, 관리자는 AI 에게 **완벽하게 제한된 '실행 계약서'**를 줍니다.
- 예: "소스만 끓일 수 있음. 다른 냄비는 건드리면 안 됨. 5 분 안에 끝내야 함."
핵심: AI 는 이 계약서 범위 안에서만만 움직일 수 있습니다. 계약서 밖의 행위는 물리적으로 불가능합니다.

④ 실행 및 기록 (모든 과정의 녹화)

상황: AI 가 소스를 끓입니다. 이 모든 과정은 **블랙박스 (증거 체인)**에 암호화되어 기록됩니다.
핵심: 나중에 문제가 생기면, "왜 이걸 했는지", "누가 승인했는지", "어떤 조건에서 했는지"를 완벽하게 추적할 수 있습니다.

3. 오픈케지의 핵심 아이디어 3 가지

이 시스템은 세 가지 강력한 무기를 가지고 있습니다.

의도 기반 거버넌스 (Intent-Governed Mutation)
- AI 가 "행동"을 명령하는 게 아니라 "목표"를 제안합니다. 시스템이 그 목표를 현실과 비교해 "괜찮은지" 먼저 판단합니다.
- 비유: "가서 그 사람을 때려!" (X) vs "저 사람이 나를 공격했으니 방어할 수 있을까?" (O, 시스템이 판단)
실행 범위 제한 (Execution-Bound Safety)
- 승인된 행동이라도 시간, 장소, 권한이 철저히 제한됩니다.
- 비유: AI 가 "서버를 끄겠다"고 해도, "오직 A 서버만 10 분 동안만 끄는 것"으로 권한이 제한됩니다. 실수로 B 서버를 끄는 것은 기술적으로 불가능해집니다.
의도 - 실행 증거 사슬 (IEEC)
- 모든 결정 과정이 암호화된 연쇄 기록으로 남습니다.
- 비유: 범죄 수사처럼 "누가, 언제, 왜, 어떻게, 어떤 조건에서" 결정했는지 완벽한 증거가 남습니다. 그래서 AI 가 실수해도 누구의 책임인지, 왜 그런 일이 일어났는지 명확히 알 수 있습니다.

4. 결론: 왜 이것이 중요한가요?

지금까지 우리는 AI 가 똑똑해지기를 기다렸습니다. 하지만 AI 가 완벽해질 수는 없습니다. 오픈케지는 AI 가 실수해도 시스템이 무너지지 않도록 '안전장'을 치는 것입니다.

기존: AI 가 실수하면 -> 시스템 붕괴.
오픈케지: AI 가 실수하더라도 -> 시스템이 "아, 이건 위험하구나"라고 막고 -> "어떤 조건에서 실수했는지" 기록만 남김.

이 논문은 AI 가 우리 사회의 핵심 인프라 (클라우드, 금융, 의료 등) 를 운영하게 될 미래에, AI 의 실수를 시스템이 스스로 통제하고 검증할 수 있는 가장 확실한 방법을 제시합니다.

한 줄 요약:

"AI 에게는 '하고 싶은 일 (의도)'만 말하게 하고, 시스템이 '해도 좋은 일'을 철저히 심사하여, 승인된 범위 안에서만 행동하게 만드는 AI 안전 수칙입니다."

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Definition)

현대 소프트웨어 시스템은 자율 AI 에이전트 (Autonomous AI Agents) 에 의해 운영되는 추세이지만, 이는 API 중심 아키텍처의 근본적인 결함을 노출시킵니다.

맥락 무지한 실행: 확률적 (Probabilistic) 인 AI 에이전트가 API 를 호출할 때, 시스템 전체의 상태, 의존성, 시간적 제약 등을 고려하지 않고 즉시 상태 변경 (Mutation) 을 수행합니다.
수동적 API 의 한계: 기존 API 는 호출자가 결정론적이고, 맥락을 이해하며, 안전한 요청을 보낸다고 가정합니다. 그러나 LLM 기반 에이전트는 환각 (Hallucination) 이나 잘못된 맥락 추론으로 인해 치명적인 오류를 일으킬 수 있습니다.
주요 실패 모드:
- 맥락 무지 (Contextual Blindness): 최신 시스템 상태나 의존성을 무시한 요청 실행.
- 다중 에이전트 충돌: 여러 에이전트가 상충되는 업데이트를 동시에 수행하여 결정론적 해결이 불가능한 상태.
- 안전하지 않은 변경 (Unsafe Mutation): 환각에 기반한 파괴적인 명령 실행 (예: 사용 중인 데이터베이스 삭제).
- 추적성 부재: AI 가 시작한 변경 사항에 대한 종단 간 (End-to-End) 추적 및 감사 불가능.

기존의 런타임 필터링이나 접근 제어만으로는 이러한 구조적 결함을 해결할 수 없으며, 변경 (Mutation) 을 즉시 실행이 아닌 '거버넌스 (Governing)'된 과정으로 재정의해야 합니다.

2. 방법론 및 아키텍처 (Methodology & Architecture)

OpenKedge 는 상태 변경을 의도 (Intent) 기반의 거버넌스 프로토콜로 재설계합니다. 직접적인 API 호출 대신, 에이전트는 구조화된 **의도 제안서 (Intent Proposal)**를 제출하며, 시스템은 이를 실행 전에 엄격하게 검증합니다.

핵심 구성 요소:

의도 기반 제안 (Intent-Governed Mutation):
- 에이전트는 "무엇을 할지 (What)"를 명령하는 대신, 달성하고자 하는 의도를 선언합니다.
- 시스템은 실시간 전역 컨텍스트 (Global Context) 와 정책 (Policy) 을 기반으로 제안서를 평가합니다.
실행 계약 (Execution Contracts) 및 바운딩:
- 승인된 의도는 실행 계약으로 컴파일됩니다. 이 계약은 허용된 행동 ( $a$ ), 리소스 범위 ( $r$ ), 시간적 유효성 ( $t$ ) 을 명시적으로 정의합니다.
- 임시 작업 지향 신원 (Ephemeral Task-Oriented Identities): 승인된 계약에 따라 생성된 짧은 수명의 임시 자격 증명을 사용하여 실행을 수행합니다. 이는 권한 상승 (Privilege Escalation) 을 방지하고, 에이전트의 실행 범위를 계약 범위 내로 물리적으로 제한합니다.
의도 - 실행 증거 체인 (IEEC, Intent-to-Execution Evidence Chain):
- 모든 라이프사이클 (의도, 컨텍스트, 정책 결정, 실행 경계, 결과) 을 암호학적으로 연결된 불변의 이벤트 로그로 기록합니다.
- 이는 단순한 감사 로그가 아니라, 시스템 상태가 어떻게 도출되었는지에 대한 **결정론적 재구성 (Deterministic Reconstruction)**이 가능한 증거 사슬입니다.
다중 에이전트 조정 및 정책 거버넌스:
- 충돌하는 제안이 들어올 경우, 권한 (Authority), 신뢰도 (Trust Score), **시간적 신선도 (Temporal Recency)**를 기반으로 결정론적으로 조정합니다.
- 정책은 'Policy-as-Code'(예: Cedar 언어) 로 구현되어 버전 관리 및 검증이 가능합니다.

3. 주요 기여 (Key Contributions)

의도 거버넌스 변경 프로토콜 (Intent-Governed Mutation Protocol):
- 상태 변경을 API 호출의 즉각적인 결과가 아닌, 전역 컨텍스트와 정책에 기반한 거버넌스 과정으로 구조화했습니다.
- 의미상 유효하고 충돌이 없는 변경만 허용됩니다.
계약 기반 실행 안전성 (Execution-Bound Safety via Contracts):
- 임시 신원 (Ephemeral Identities) 으로 강제되는 실행 계약을 도입하여, 에이전트가 환각을 일으키거나 적대적인 행동을 하더라도 물리적 실행이 엄격하게 제한되도록 보장합니다.
의도 - 실행 증거 체인 (IEEC):
- 의도, 컨텍스트, 정책 결정, 실행 경계, 결과를 하나의 암호학적 계보로 묶어 검증 가능하고 설명 가능한 (Explainable) 변경 프로세스를 확립했습니다.
- 이는 에이전트 시스템의 새로운 불변성 (Invariant): "모든 변경은 실행이 제한되어야 하며, 계보상 설명 가능해야 한다"를 정의합니다.

4. 평가 결과 (Evaluation Results)

OpenKedge 는 Riftront(참조 구현체) 와 AWS 클라우드 인프라 시뮬레이션을 통해 평가되었습니다.

충돌 조정 및 정확성:
- 인간 운영자와 AI 에이전트 간의 상충되는 제안 (예: 서비스 오프라인 vs 온라인) 에 대해, 권한과 신뢰도 기반의 결정론적 조정이 성공적으로 수행되었습니다.
- 분산 잠금 없이도 최신이고 신뢰도가 높은 의도가 우선적으로 실행되었습니다.
고위험 인프라 안전성:
- 불안전한 리소스 삭제 시나리오: 에이전트가 '사용되지 않는' 인스턴스를 삭제하려 했으나, 실제 하위 의존성을 가진 상태임을 시스템이 감지하여 실행 전 차단했습니다.
- 트래픽 무지한 확장/축소: 최대 부하 상황에서 클러스터 용량 감축을 시도한 경우, 가용성 제약 조건을 위반하여 차단되었습니다.
- 모든 실행은 임시 STS 토큰으로 제한되어 '폭발 반경 (Blast Radius)'이 통제되었습니다.
결정론성 및 성능:
- 10,000 개의 비동기 제안에 대한 동시 부하 테스트에서, 동일한 입력은 항상 동일한 이벤트 로그와 시스템 상태를 생성하여 비동기 레이스 컨디션 (Race Conditions) 을 방지함을 입증했습니다.
- 성능: 정책 평가 평균 11ms, 상태 도출 99 백분위수 지연 시간 30ms 미만, 초당 3,200 건의 변경 (Mutation) 처리를 달성하여 대규모 엔터프라이즈 통합에 적합함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

OpenKedge 는 에이전트 기반 시스템의 운영 패러다임을 수동적 실행 (Passive Execution) 에서 능동적 거버넌스 (Active Governance) 로 전환합니다.

패러다임의 전환: 에이전트의 개별적인 정확성에 의존하는 대신, 시스템을 거버넌스하는 프로토콜의 정확성을 최우선으로 둡니다.
안전의 물리적 보장: 안전을 단순한 휴리스틱 필터링이 아닌, 실행 단계에서 암호학적으로 강제되는 물리적 속성으로 격상시켰습니다.
검증 가능성: IEEC 를 통해 모든 시스템 변경 사항이 "왜 (Why)" 그리고 "어떻게 (How)" 승인되었는지에 대한 완전한 감사 추적과 재구성을 가능하게 합니다.

결론적으로 OpenKedge 는 대규모 AI 에이전트 시스템이 안전하게 운영되기 위한 원칙적인 기반을 제공하며, 특히 DevOps 및 클라우드 인프라와 같은 고위험 환경에서 에이전트 자동화의 신뢰성을 확보하는 핵심 기술로 자리 잡을 것으로 기대됩니다.

OpenKedge: Governing Agentic Mutation with Execution-Bound Safety and Evidence Chains