Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems

기술 요약: 에이전트가 아닌 행위의 거버넌스

문제 정의
자율형 AI 에이전트는 점진적으로 인간의 단계별 승인 없이도 중대한 결과나 되돌릴 수 없는 행위(예: 임상 처방, 소프트웨어 배포)를 수행하고 있습니다. 기존의 거버넌스 접근 방식은 일반적으로 에이전트의 런타임을 모니터링하여 도구 호출을 가로채고, 행동을 분류하며, 관찰된 실행 컨텍스트(도구 이름, 파라미터, 응답 형태)를 기반으로 정책을 집행합니다. 그러나 이러한 메커니즘은 행위의 타당성이 권위 있는 외부 시스템에 존재하는 세상의 사실(예: 약물 상호작용 확인 여부, 빌드 통과 여부, 또는 라이선스 유효성)에 의존하는 경우, 그 행위를 규제하는 데 실패합니다. 본 논문은 에이전트의 추론 과정이나 도구 호출 메커니즘을 모니터링하는 것만으로는 외부의 독립적인 검증에 의존하는 고위험 행위를 제어하기에 불충분하다고 주장합니다.

방법론: 제도적 증명 모델 (Institutional Attestation Model)
본 논문은 인간의 자율적 행위자(예: 의사, 판사)에 대한 제도적 거버넌스에서 유래한 계산적 거버넌스 모델을 제안합니다. 이 모델은 에이전트의 숙의 과정을 거버넌스하는 대신, 독립적으로 증명된 증거를 요구함으로써 실행 시점의 '행위'를 직접 거버넌합니다. 이 모델은 "제로 트러스트 액션 허브(Zero-Trust Action Hub)"(프로토타입: github.com/jsalfeld/zta-hub)로 구현되며, "쿠리어 패턴(Courier Pattern)"을 통해 작동합니다:

1. 의도 선언 (Intent Declaration): 에이전트는 특정 행위에 대한 권한을 요청합니다. 거버넌스 허브는 고유한 암호학적 무작위 의도 식별자(intent identifier)(바인딩 토큰)를 발행하고, 기계 판독 가능한 스킬 계약(skill contracts)에 정의된 필수 증명 목록을 반환합니다.
2. 증거 수집 (Evidence Collection): 에이전트는 쿠리어(전령) 역할을 수행하며, 독립적인 권위 있는 출처(오라클)에 연락하여 서명된 증명을 수집합니다. 각 오라클은 특정 전제 조건을 검증하고 소스 ID, 의도 ID, 만료 시간 및 페이로드를 포함하는 서명된 봉투(예: Ed25519 사용)를 반환합니다. 에이전트는 오라클의 개인 키를 보유하지 않으므로 이러한 서명을 위조할 수 없습니다.
3. 제출 및 평가 (Submission and Evaluation): 에이전트는 수집된 증명들을 허브에 제출합니다. 허브는 다음과 같은 검증 파이프라인을 수행합니다:
   • 서명 검증: 등록된 공개 키를 사용하여 서명을 검증합니다.
   • 의도 바인딩: 각 증명의 의도 ID가 선언된 요청과 일치하는지 확인하여 재사용(replay)이나 교체를 방지합니다.
   • 신선도(Freshness): 증명이 유효 기간 내에 있는지 확인합니다.
   • 완전성: 필요한 모든 증명이 존재하는지 확인합니다.
   • 컨텍스트 조립: 검증된 페이로드들을 하나의 정책 컨텍스트로 병합합니다.
4. 결정론적 정책 평가 (Deterministic Policy Evaluation): 허브는 조립된 컨텍스트를 바탕으로 선언적 정책(예: Cedar 또는 Rego 사용)을 평가합니다. 기본 설정은 "거부(deny)"입니다.
5. 조건부 권한 부여 (Conditional Authorization): 정책이 허용하는 경우, 허브는 행위를 직접 실행하거나 좁은 범위의 권한을 가진 서명된 기능 토큰(capability token)을 발행합니다.
6. 감사 (Audit): 결정 사항, 모든 지원 증거, 적용된 규칙은 변조 방지 감사 로그(해시 체인 또는 머클 트리 기술 사용)에 기록되어 제3자에 의한 독립적인 재검증을 가능하게 합니다.

주요 기여

• 제도적 거버넌스의 형식화: 본 논문은 에이전트가 아닌 행위를 거버넌스하는 패턴을 공식화하며, 인간의 제도적 선례(직무 분리, 독립적 증명)를 AI를 위한 계산적 아키텍처로 변환합니다.
• 쿠리어 패턴 (The Courier Pattern): 에이전트가 계획과 추론에 대한 완전한 자율성을 유지하되, 규제 대상 행위에 대해서는 실행 권한을 갖지 않고 오직 독립적인 출처로부터 증거를 수집하는 역할만 수행하도록 하는 메커니즘입니다.
• 의도 바인딩 및 트랜잭션 무결성: 증명이 특정 행위 의도에 결합되어 재사용 공격을 방지하고, 증거가 맥락에서 분리되지 않도록 보장하는 암호학적 프레임워크입니다.
• 행위 구성 (Action Composition): 본 모델은 행위의 구성을 허용합니다. 성공적인 행위는 서명된 실행 영수증을 생성하며, 이는 후속 행위를 위한 전제 조건(검증된 증거)으로 활용될 수 있습니다.
• 확장 가능한 거버넌스 발견: 거버넌스 요구사항이 기계 판독 가능한 스킬 계약 형태로 게시되므로, 에이전트나 허브의 평가 로직을 수정하지 않고도 새로운 행위, 증명자(attester), 오라클을 도입할 수 있습니다.

결과 및 예시
본 논문은 프로토타입 구현을 제시하며 두 가지 사례로 모델을 설명합니다:

1. 소프트웨어 배포: 코드를 배포하려는 에이전트는 CI 파이프라인(테스트 통과), 코드 리뷰 오라클(승인), 보안 스캔 오라클(취약점 점검)로부터 서명된 증명을 수집해야 합니다. 허브는 배포를 승인하기 전 이들을 Cedar 정책과 대조하여 검증합니다.
2. 임상 처방: 약물을 처방하려는 에이전트는 EHR(환자 상태), 약물 상호작용 오라클, DEA 라이선스 오라클로부터 증명을 수집해야 합니다. 정책에는 동일한 거버넌스 체제 하에서 이전 행위(예: 전과 환자를 위한 의료 기록 이관)가 성공적으로 실행되었음을 입증하는 증거를 요구하는 행위 구성 로직이 포함됩니다.

의의 및 주장
본 논문은 잘 확립된 프리미티브들(제로 트러스트 검증, 기능 보안, 결정론적 정책 평가, 변조 방지 로그)을 통합된 제도적 거버넌스 모델로 결합했음을 주장합니다. 본 모델의 의의는 현재의 안전 계층이 가진 특정 실패 모드, 즉 국소적으로는 잘 형성되어 있으나(올바른 도구, 타당한 파라미터) 검증되지 않은 외부 사실에 의존하기 때문에 실질적으로는 잘못된 행위를 해결하는 데 있습니다.

이 모델은 공격받은 에이전트가 허용된 범위 내에서 작동하면서도 적대적인 목표를 추구하는 "로그 에이전트(rogue agent)" 문제에 특히 유효합니다. 런타임 행동 모니터링은 개별 행위가 예상된 패턴을 따를 경우 구조적으로 효과적이지 못합니다. 하지만 독립적으로 증명된 사실에 기반한 증거 게이팅(evidence-gating)을 요구함으로써, 본 모델은 실세계의 전제 조건이 검증되었을 때만 중대한 행위가 허용되도록 보장합니다.

저자들은 이 문제가 기술적인 문제라기보다 조직적인 문제임을 명시합니다. 즉, 어떤 행위에 이 정도 수준의 거버넌스가 필요한지, 그리고 어떤 증거가 필요한지를 결정하는 것이 핵심입니다. 본 모델은 명시된 정책을 충실히 집행함을 보장하지만, 정책 자체의 정확성이나 에이전트의 선언된 의도가 인간의 목표와 일치하는지까지는 보장하지 않습니다. 이 모델은 런타임 거버넌스 메커니즘을 대체하는 것이 아니라 보완하도록 설계되었으며, 추론의 '경로'가 아닌 행위의 '경계'를 다룹니다.