기술 요약: 검증 가능한 에이전트 인프라 – 주권 AI 시스템을 위한 증명 기반 권한 부여

1. 문제 제기

현대 클라우드 및 엔터프라이즈 시스템은 호출자가 유효한 자격 증명을 보유하면 명령 실행이 안전하다는 가정 하에 신원 중심 권한 부여 모델에 의존합니다. 그러나 이러한 가정은 자율 AI 에이전트의 맥락에서는 실패합니다. 에이전트는 문법적으로는 유효하지만 의미론적으로 안전하지 않은 행동을 생성할 수 있기 때문입니다. 에이전트에 광범위한 영구 권한을 부여하는 것은 특히 에이전트가 핵심 인프라, 규제된 데이터, 금융 워크플로우와 상호작용하는 주권 AI 시스템에서 상당한 운영 리스크를 초래합니다.

'의도 거버넌스' 기반의 서브스트레이트 (예: OpenKedge) 는 에이전트 행동에 개입하여 에이전트가 상태를 직접 변경하는 대신 평가용 제안서를 제출하도록 요구함으로써 이를 완화합니다. 그러나 중요한 격차가 존재합니다: 권한 부여 결정 자체는 종종 감사 불가능하며 단일 실패 지점을 나타냅니다. 본 논문이 다루는 핵심 문제는 권한 부여 결정을 어떻게 검증 가능하고, 분산되며, 재생 가능한 것으로 만들 것인가입니다. 구체적으로, 논문은 다음과 같은 질문을 던집니다: 평가자가 승인하는 안정된 객체는 무엇인가? 임시 권한은 호출자의 영구 역할이 아닌 승인 기록에서 어떻게 유도되는가? 그리고 실행 권한이 존재했던 이유를 재구성하기 위해 무엇을 영구화해야 하는가?

2. 방법론: 분산 신뢰 프레임워크 (DTF)

저자들은 거버넌스된 변경 서브스트레이트를 위해 설계된 검증 계층인 분산 신뢰 프레임워크 (DTF) 를 제안합니다. DTF 는 신뢰의 중심을 주체 (에이전트) 에서 결정 수명주기로 이동시킵니다. 이는 다음과 같은 간결한 권한 불변성을 강제합니다: 증명 객체 없이는 고위험 실행이 없으며, 합의 없이는 유도된 권한이 없으며, 증거와 분리된 유효한 변경이 없다.

이 프레임워크는 네 가지 주요 구성 요소를 통해 작동합니다:

2.1 정당화 증명 (Justification Proofs, JP)

자연어 설명이나 사후 감사 로그 대신 DTF 는 구조화되고 기계가 검사 가능한 아티팩트인 정당화 증명 (Justification Proofs) 을 활용합니다. JP 는 권한이 발급되기 전에 행동의 허용 근거를 인코딩합니다. 이는 다음을 포함합니다:

• 변경 사양 ($M_t$): 제안된 행동.
• 경계 상태 및 컨텍스트 ($S_t$): 결정 시점의 권한 부여 관련 컨텍스트 스냅샷.
• 정책 기반 ($\Pi_t$): 적용된 특정 정책 및 제약 조건.
• 위험 평가 ($R_t$): 위험 분류 및 필요한 승인 강도.
• 실행 경계 ($B_t$): 승인될 경우 허용되는 최대 범위 (행동, 리소스, 시간, 의무).

2.2 합의 검증

DTF 는 독립적인 평가자들이 동일한 증명 객체에 대해 인증하도록 요구함으로써 권한 부여에 대한 신뢰를 분산합니다.

• 평가자 군집 (Evaluator Swarm): 정책, 상태, 위험, 시뮬레이션, 인간 감독 등 이질적인 평가자 집합이 동일한 JP 를 처리합니다.
• 인증서 (Attestations): 각 평가자는 승인, 거부, 기권과 함께 구조화된 이의를 나타내는 서명된 인증서 ($a_i$) 를 발행합니다.
• 합의 규칙 ($q$): 거버넌스 규칙은 쿼럼 임계값, 평가자 다양성, 거부권을 기반으로 최종 결정을 계산합니다. 권한은 합의가 증명을 명시적으로 승인할 때만 부여됩니다.

2.3 실행 신원 (Execution Identity, EI)

합의 승인이 이루어지면 시스템은 실행 신원 (Execution Identity) 을 유도합니다.

• 일시적 권한: 영구 역할과 달리 EI 는 일시적이고 비이전 가능한 토큰입니다.
• 범위 유도: EI 의 범위는 증명 기반 경계 ($B_t$) 에 의해 엄격하게 제한됩니다. 시스템은 신원의 유효 범위가 증명의 경계를 초과할 수 없도록 강제합니다.
• 구현: 클라우드 환경에서 EI 는 제한적인 세션 정책과 함께 짧은 수명의 자격 증명 (예: AWS STS 세션) 으로 구현됩니다.

2.4 증거 체인 (Evidence Chains, EC)

재생 가능성을 보장하기 위해 DTF 는 모든 변경 시도마다 순차적 추가 전용 증거 체인 (Evidence Chain) 을 유지합니다.

• 완전성: 이 체인은 의도, 컨텍스트, 정책, 정당화 증명, 인증서, 거버넌스 메타데이터, 결정, 실행 신원, 변경 시도, 결과를 포함한 전체 수명주기를 기록합니다.
• 재생 가능성: 이 구조는 감사자가 에이전트의 내부 추론을 다시 시뮬레이션할 필요 없이 권한 부여 기반을 재구성할 수 있게 합니다.

3. 시스템 불변성

논문은 DTF 가 강제하는 네 가지 핵심 수명주기 불변성을 정의합니다:

1. 증명 바인딩 실행: 해당 유효 정당화 증명 없이는 고위험 변경이 실행되지 않습니다.
2. 합의 게이트 권한: 합의 규칙이 증명을 명시적으로 승인하지 않는 한 실행 신원이 발급되지 않습니다.
3. 비상승: 실행 신원의 유효 권한 범위는 증명 기반 경계 내에 포함되어야 합니다.
4. 증거 완전성: 결과와 관계없이 모든 의도 제안은 정확히 하나의 구조적으로 완전한 증거 체인에 매핑됩니다.

4. 구현 및 평가

저자들은 OpenKedge 기반 거버넌스된 변경 서브스트레이트 위에 DTF 를 인스턴스화하여 AWS 에서 약 4,500 줄의 Go 코드로 구성된 마이크로서비스 모음으로 배포했습니다.

• 아키텍처: 시스템에는 의도 게이트웨이, 정당화 엔진, 평가자 군집 (무상태 AWS Lambda 함수 사용), 실행 브로커, 증거 스토어 (Amazon QLDB 사용) 가 포함됩니다.
• 작업 부하: 평가는 파괴적 리소스 종료, 프로덕션 구성 변경, 비상 브레이크글래스 실행이라는 세 가지 시나리오에 걸쳐 10,000 개의 합성 에이전트 변경을 테스트했습니다.
• 기준선: 시스템은 (B1) 표준 감사 로그가 있는 영구 IAM 자격 증명 및 (B2) 정책 전용 사전 확인과 비교되었습니다.

주요 결과

• 안전성: DTF 는 모든 2,400 개의 위험한 변형 (구식 상태, 누락된 종속성, 보호된 리소스 타겟팅 포함) 에 대해 100% 차단 또는 에스컬레이션률을 달성했습니다. 반면, 정책 전용 기준선 (B2) 은 위험한 변경의 14% 가 통과하도록 허용했습니다.
• 권한 격리: DTF 는 평균 유효 실행 범위를 영구 자격 증명의 450 개 리소스에서 요청당 정확히 1 개의 승인된 리소스로 줄여 권한 노출을 99.7% 감소시켰습니다.
• 감사 가능성: 증거 체인은 100% 완전성을 달성했습니다. 감사자는 표준 감사 로그의 23.0% 와 비교하여 99.9% 의 이벤트에 대해 수동 로그 상관관계 없이 권한 부여 수명주기를 재구성할 수 있었습니다.
• 지연 시간: 종단 간 결정 지연 시간은 평균 58.3ms(중앙값 52.6ms) 였으며, 99 백분위수는 171.3ms 였습니다. 저자들은 이 오버헤드가 서브스트레이트 지연 시간과 인간 검토 시간이 지배적인 고위험 작업의 경우 허용 가능하다고 지적합니다.

5. 중요성 및 주장

이 논문은 DTF 가 주권 AI 배포에서 에이전트 실행을 거버넌스 가능하고, 감사 가능하며, 제한된 상태로 만드는 기초 인프라를 제공한다고 주장합니다.

• 신뢰의 전환: 주요 기여는 영구 주체에서 기록된 결정 수명주로 권한 부여 객체를 전환하는 것입니다. 시스템은 에이전트의 내부 추론을 신뢰할 필요가 없습니다. 실행 권한이 명시적 증명, 독립적 승인, 제한된 발급에서 유도되기만 하면 됩니다.
• 검증 가능성: 권한 부여를 증명, 합의, 신원, 증거의 재생 가능한 아티팩트 수명주로 구조화함으로써 DTF 는 전통적 정책 엔진에 내재된 '감사 불가능한 결정 격차'를 해결합니다.
• 적은 범위: 저자들은 DTF 가 올바른 정책을 합성하거나, 전역적으로 최적의 결정을 보장하거나, 에이전트 내부의 프롬프트 인젝션을 해결하지 않는다고 명시적으로 밝힙니다. 그 가치는 아키텍처적입니다: 기록된 증명, 기록된 승인, 제한된 발급, 그리고 영구 증거 없이는 고위험 권한이 합법적으로 구체화될 수 없음을 보장합니다. 결과는 알려진 변경 클래스를 가진 통제된, 아키텍처 제어 시나리오 내에서 검증되었으며, 제약 없는 인터넷 규모의 벤치마크가 아닙니다.

논문은 "증명 없이는 고위험 실행이 없으며, 합의 없이는 권한이 없으며, 증거와 분리된 유효한 변경이 없다"는 불변성을 강제함으로써 DTF 가 권한 부여를 감사의 소망에서 실행 가능하고 검증 가능한 수명주로 변환한다고 결론지었습니다.