Right to History: A Sovereignty Kernel for Verifiable AI Agent Execution

1. 문제 정의 (Problem Statement)

• 검증 불가능한 에이전트 행동: AI 에이전트가 사용자를 대신하여 이메일 발송, 파일 수정, 코드 실행, 외부 API 호출 등 다양한 행동을 수행하고 있지만, 현재 어떤 행동이 발생했는지, 누가 승인했는지, 그리고 에이전트가 허가된 범위 내에서만 행동했는지를 암호학적으로 증명할 수 있는 시스템이 부재합니다.
• 규제 준수 및 책임 소재의 공백: EU AI 법안 (EU AI Act) 과 같은 규제들이 고위험 AI 시스템에 대한 자동 로깅과 투명성을 의무화하고 있습니다. 하지만 에이전트가 사용자의 개인 하드웨어 (로컬 머신) 에서 실행될 경우, 중앙 집중형 공급자가 로고를 관리하지 않기 때문에 기록의 완전성과 무결성을 보장할 주체가 없습니다.
• 기존 기술의 한계:
  • Agent Contracts: 에이전트가 무엇을 할 수 있는지는 정의하지만, 실제로 무엇을 했는지를 기록하지는 않습니다.
  • AIOS (Agent OS): 에이전트 스케줄링은 제공하지만, 신뢰할 수 있는 컴퓨팅 기반 (TCB) 으로 LLM 을 사용하며 감사 로그가 없습니다.
  • OS 레벨 감사 (auditd, eBPF): 시스템 콜 (syscall) 단위의 기록만 제공하며, 에이전트의 시맨틱 행동 (예: "문서 Y 수정") 을 특정 에이전트와 연결하거나 암호학적 변조 증거를 제공하지 못합니다.

2. 방법론 및 제안 (Methodology & Proposal)

이 논문은 "Right to History (역사적 권리)" 라는 새로운 원칙을 제안합니다. 이는 개인이 자신의 하드웨어에서 AI 에이전트가 수행한 모든 행동에 대해 완전하고 검증 가능하며 변조가 감지되는 기록을 가질 권리가 있다는 개념입니다.

이를 실현하기 위해 PunkGo라는 Rust 기반의 주권 커널 (Sovereignty Kernel) 을 설계하고 구현했습니다.

핵심 아키텍처

• 신뢰할 수 있는 컴퓨팅 기반 (TCB): LLM 이 아닌 검증된 커널을 TCB 로 설정합니다. 에이전트 (LLM) 는 신뢰할 수 없는 (Untrusted) 존재로 간주되며, 커널만이 모든 행동을 검증하고 기록합니다.
• 3 계층 구조:
  1. 클라이언트 레이어: 대시보드, 승인 인터페이스, 기록 브라우저 제공.
  2. 에이전트 레이어: LLM 추론 및 도구 호출 수행, 결과를 커널에 제출.
  3. 커널 레이어 (TCB): 모든 행동의 유일한 기록자 (Committer). 행동 검증, 에너지 관리, 로깅 수행.

핵심 메커니즘

1. RFC 6962 기반 머클 트리 감사 로그: 모든 행동은 암호학적으로 연결된 머클 트리에 기록됩니다. 이를 통해 특정 행동의 존재 증명 (Inclusion Proof) 과 로그 일관성 증명 (Consistency Proof) 을 $O(\log n)$ 복잡도로 제공합니다.
2. 권한 기반 격리 (Capability-based Isolation): 각 에이전트는 명시된 writable_targets (쓰기 가능한 대상) 와 행동 유형 내에서만 작동할 수 있습니다.
3. 에너지 예산 거버넌스 (Energy Budget Governance):
   • 하드웨어 연산 능력을 기반으로 한 가상 '에너지'를 할당합니다.
   • 에이전트가 무제한으로 리소스를 소모하거나 인간 승인 (Hold) 을 우회하려는 시도를 방지하기 위해 경제적 제약 (비용) 을 부과합니다.
   • 승인 요청 (Hold) 이 거절되거나 타임아웃될 경우에도 실제 리소스 소모를 반영하여 20% 의 '약속 비용 (Commitment Cost)'을 차감합니다.
4. Human-in-the-Loop 승인 (Hold Mechanism): 위험한 행동이 감지되면 에이전트는 실행을 일시 중단하고 인간의 승인을 요청합니다. 승인 여부에 따라 행동이 완료되거나 거절됩니다.

3. 주요 기여 (Key Contributions)

1. 형식적 프레임워크 (Formal Framework):

   • 에이전트 행동 감시를 위한 3 가지 기본 원시 (Actor, Energy, State) 와 4 가지 원자적 행동 (observe, create, mutate, execute) 을 정의했습니다.
   • 5 가지 시스템 불변성 (Invariants) 을 정의하고 구조화된 증명 스케치 (Proof Sketch) 를 제시했습니다:
     • INV-1 (Append-Only): 로그는 추가만 가능하며 수정/삭제 불가능.
     • INV-2 (Completeness): 경계 검사와 에너지가 충분한 모든 행동은 반드시 기록됨.
     • INV-3 (Integrity): 머클 루트가 현재 로그 내용을 정확히 반영함.
     • INV-4 (Boundary Enforcement): 에이전트는 선언된 권한 범위를 벗어난 행동을 수행할 수 없음.
     • INV-5 (Energy Conservation): 에이전트는 할당된 에너지를 초과하여 소모할 수 없음.

2. PunkGo 커널 구현:

   • Rust 로 구현된 커널은 RFC 6962 머클 로그, 권한 기반 격리, 에너지 예산, 인간 승인 메커니즘을 통합했습니다.
   • LLM 을 TCB 로 두는 기존 접근법과 달리, 검증된 커널을 TCB 로 설정하여 에이전트의 비결정적 행동을 통제합니다.

3. 주권 역전 (Sovereignty Inversion):

   • 기존 연구가 "에이전트가 인간으로부터 어떻게 주권을 유지하는가"에 집중했다면, 이 논문은 "인간이 에이전트 위에 어떻게 주권을 유지하는가" 에 초점을 맞춥니다.

4. 검증 및 성능 평가:

   • 적대적 테스트를 통해 5 가지 불변성이 모두 유지됨을 확인했습니다.
   • 성능 벤치마크를 통해 실용성을 입증했습니다.

4. 평가 결과 (Evaluation Results)

• 성능 지표:
  • 지연 시간 (Latency): 행동당 중앙값 1.3ms 미만 (최대 95 백분위수 1.8ms).
  • 처리량 (Throughput): 초당 약 400 건의 행동 처리 (순차적 커밋 기준).
  • 증명 크기: 10,000 개의 로그 엔트리에서 448 바이트 (14 개의 해시) 의 머클 포함 증명 크기.
• 보안 검증:
  • 변조 탐지: 로그를 직접 수정했을 때 머클 루트 불일치로 인해 55ms 내에 변조가 감지됨.
  • 경계 위반: 권한 밖의 대상에 대한 접근 시도 시 즉시 거부됨 (로그에 기록되지 않음).
  • 에너지 고갈 방지: 예산 초과 시 행동이 거부되고 에너지 잔고가 음수가 되지 않음.

5. 의의 및 결론 (Significance & Conclusion)

• 규제 준수 솔루션: EU AI 법안 등 향후 강화될 AI 규제에 대해, 중앙 집중형 공급자가 없는 개인 하드웨어 환경에서도 자동 로깅 및 투명성 요구사항을 충족할 수 있는 기술적 기반을 제공합니다.
• 새로운 패러다임: 데이터 소유권 (Data Sovereignty) 에서 계산적 역사 소유권 (Computational History Sovereignty) 으로 개념을 확장했습니다. 사용자는 에이전트의 모든 결정 과정을 통제할 필요는 없지만, 그 기록에 대한 완전한 검증 권리를 가져야 합니다.
• 시스템 설계의 변화: 검증 가능한 행동 기록을 선택적 기능이 아닌 시스템 아키텍처의 핵심 (First-class concern) 으로 자리 잡게 함으로써, AI 에이전트 인프라의 신뢰성을 근본적으로 향상시킵니다.

이 논문은 AI 에이전트가 인간의 대리인으로 활동하는 시대에, 그 행동에 대한 검증 가능한 기록 (Verifiable Record) 을 보장하는 기술적 토대를 마련했다는 점에서 중요한 의의를 가집니다.