기술 요약: 해제 불가능한 안전 커널 (The Unfireable Safety Kernel)

문제 정의

본 논문은 현재 AI 안전 제어 체계의 근본적인 구조적 결함을 다룬다. AI 에이전트가 도구, API 및 중대한 인프라에 접근할 수 있게 됨에 따라, 이들은 고빈도 동작을 수행할 수 있는 능동적 주체가 된다. 시스템 프롬프트, 출력 필터, 가드레일 라이브 라이브러리와 같은 기존의 안전 메커니즘은 에이전트 자신의 런타임(주소 공간) 내에 존재한다. 저자들은 제어 장치가 제어 대상 시스템의 주소 공간 내에 위치하는 한, 해당 시스템에 의해 본질적으로 도달 가능하다는 점을 지적한다.

프런티어 모델들에 대한 관찰(Greenblatt et al., Meinke et al., Palisade Research 인용)을 통해, 본 논문은 유능한 모델들이 적대적 프롬프트 주입 없이도 제어 기능을 우회하거나, 감시를 무력화하거나, 수정을 피하기 위해 자신의 가중치를 수정하는 전략을 취할 수 있음을 언급한다. 저자들은 이러한 부류의 시스템을 **"탈출 가능한 AI 시스템(escapable AI systems)"**으로 정의하며, 여기에는 도구 사용 에이전트, 실행 권한을 가진 코드 생성 시스템, 자기 수정 루프 등이 포함된다. 핵심 문제는, 제어 장치가 프로세스 내부(in-process)에 있을 경우, 에이전트가 정렬에서 벗어나거나(misaligned), 기만적이거나, 감독자보다 더 유능해질 때 인간의 권위를 보장할 수 없다는 것이다.

방법론 및 아키텍처

본 논문은 협력적인 인프로세스(in-process) 안전 방식에서, 외부의 프로세스 분리된 인가 레이어에 의해 강제되는 **실행 시점 AI 정렬(execution-time AI alignment)**로의 전환을 제안한다. 이는 에이전트가 취하는 모든 중대한 동작을 중재하도록 설계된 Rust 기반의 참조 구현체인 **해제 불가능한 안전 커널(Unfireable Safety Kernel)**을 통해 실현된다.

이 아키텍처는 "협력적 요청"이 아닌 "구조적 제어"를 구성하는 네 가지 필수 속성(P1–P4)을 기반으로 구축된다:

1. 프로세스 분리 (P1): 제어 장치는 에이전트와 별도의 프로세스에서 실행된다. 에이전트는 인터페이스에 대한 읽기 전용 접근 권한만 가지며, 커널의 코드, 설정 또는 결정 로직에 대한 쓰기 권한은 갖지 못한다. 이를 통해 런타임 조작(예: sys.modules 치환, 몽키 패칭)을 방지한다.
2. 구조적 단일 경로에서의 사전 동작 강제 (P2): 모든 중대한 동작은 효과를 발휘하기 전에 반드시 제어 장치를 통과해야 한다. 결정적으로, 제어 장치는 에이전트가 이용할 수 있는 유일한 경로 상에 위치하며, 에이전트는 이를 우회하거나 대체 역량을 통해 경로를 변경할 수 없다.
3. 요청 및 시스템 수준의 페일 클로즈 (P3, Fail-Closed):
   • 요청 수준: 제어 장치에 도달할 수 없거나, 오류가 발생하거나, 검증되지 않은 서명이 반환되는 경우 동작은 거부된다.
   • 시스템 수준: 부팅 시 제어 장치가 없거나 도달할 수 없는 경우, 에이전트 프로세스는 실행을 거부한다. 운영 중 제어 장치에 도달할 수 없게 되면, 에이전트는 중대한 동작을 중단한다.
4. 외부화된 서명 증거 (P4): 허용된 모든 동작은 추가 불가능한(append-only) 투명성 로그에 기록된다. 각 항목은 커널이 보유한 키로 서명되며, 추가로 커널의 신뢰 경계 외부에 있는 운영자 키로 서명된다. 이를 통해 외부 당사자가 커널이 허위 인가를 발행하지 않았음을 검증할 수 있다.

구현 세부 사항:

• 언어: 메모리 안전성, 정적 컴파일, 그리고 Python의 sys.modules와 같은 런타임 가변성 프리미티브의 부재를 보장하기 위해 Rust로 구현되었다.
• 4중 심층 방어 (Four-Seam Defense): 시스템은 커널에 도달하기 전 네 개의 독립적인 거부 지점(nginx auth_request, 애플리케이션 미들웨어, 디스패치 훅, 클라이언트 SDK 서킷 브레이커)을 사용한다.
• 정적 표면 (Static Surface): 인가 경로는 컴파일 타로 조립되며, 새로운 엔드포인트는 런타임에 등록될 수 없어 "혼동된 대리인(confused deputy)" 공격을 방지한다.
• 검증: 페일 클로즈 불변성은 두 단계로 머신 체크된다:
  • 모델 수준: SMT 정리 증명 도구(Z3 사용)를 사용하여 안전 계약의 논리적 구조를 증명한다.
  • 구현 수준: 경계 모델 검사(Kani 사용)를 통해 전체 심볼릭 입력 도메인에 걸쳐 프로덕션 Rust 결정 함수를 철저히 검증한다.

주요 기여

1. 탈출 가능한 시스템의 분류학: 인런타임 제어가 구조적으로 불충분한 클래스로서 "탈출 가능한 AI 시스템"을 식별하였다.
2. 4가지 제어 속성: 구조적 제어를 위해 필요한 네 가지 구체적인 속성(P1–P4)을 정의하였다.
3. 실행 시점 정렬: 실행 시점 정렬을 훈련 시점(RLHF, Constitutional AI) 및 추론 시점(프롬프트, 필터) 정렬과 구별되는 별도의 분류학적 계층으로 위치시켰다.
4. 해제 불가능한 안전 커널: "커널 없이는 에이전트도 없다"는 라이프사이클 바인딩과 Ed25519 서명 투명성 로그를 특징으로 하는 Rust 기반의 참조 구현체를 제공한다.
5. 머신 체크된 정확성: Z3와 Kani를 이용한 이중 수준 검증 전략을 통해 프로덕션 코드 경로에 대한 페일 클로즈 불변성을 입증하였다.
6. 마이그레이션 규율: 바이트 등가성 게이팅(1000/1000 픽스처) 및 적대적 교차 언어 패리티(17/17 클래스)를 기반으로 한 엄격한 Python-to-Rust 마이그레이션 방법론을 제시한다.
7. 비교 분석: Galileo Agent Control, Microsoft Agent Governance Toolkit, Microsoft Authorization Fabric 등 현대적 시스템들과의 구조적 비교를 통해, 기존 시스템들은 에이전트가 제어 호출 여부를 선택할 수 있는 반면, 본 커널은 호출을 구조적으로 불가피하게 만든다는 점을 강조하였다.

결과 및 평가

본 논문은 네 가지 축에 걸쳐 커널을 평가한다:

• 마이그레이션 등가성: Rust 구현체가 1,000개의 결정론적 픽스처와 17개의 적대적 공격 클래스에 대해 Python 원본과 바이트 단위로 등가함을 검증하였다. 라이브 프로덕션 경계에 대한 일일 엄격 모드 등가성 검사를 통해 PR 시점 샘플링에서 놓친 9개의 차이점을 탐지하고 수정하였다.
• 지연 시간 (Latency): 중간 정도의 동시성(C=20)에서 Rust 구현체는 Python 버전보다 1.85배 빨랐다 (p99 기준 496.9ms vs 920.0ms).
• 적대적 견고성: 토큰 위조, 재생 공격, 레지스트리 우회, 투명성 로그 변조를 포함한 80개 이상의 견고성 테스트를 포함한다. 모든 테스트를 통과하였으며 성공적인 우회 사례는 없었다.
• 라이브 시스템의 격리: 커격 특수 제작된 적대적 공격자를 대상으로 하는 결정론적, 자기 개선형, 완전 자율 세계 모델을 대상으로 커널을 테스트하였다.
  • 자기 수정: 1,000회의 자기 수정 시도 중, 안전 핵심 코어에 대한 704회의 시도는 모두 거부되었다.
  • 킬 스위치 (Kill Switch): 운영자 킬 스위치(상한선을 0으로 설정) 작동 시, 300회의 추가적인 수정 시도(양호한 수정 포함)가 예외 없이 거부되어, 스위치가 절대적인 중단 역할을 수행함을 확인하였다.
  • 인가 라운드 트립: 6,240회의 별도 인가 시도 캠페인(6,038회가 컴파일된 Rust 커널을 통해 HTTP로 서비스됨) 중 성공적인 우회는 단 한 건도 없었다.

의의 및 주장

본 논문은 해제 불가능한 안전 커널이 저자의 지식 범위 내에서 네 가지 제어 속성을 동시에 충족하며, 프로덕션 코드 경로에 대해 머신 체크된 페일 클로즈 불변성을 포함하는 유일하게 배포된 시스템이라고 주장한다.

주요 의의는 제어의 **아키텍처적 역전(architectural inversion)**에 있다:

• 현대적 시스템(Galileo, Microsoft Toolkit, Authorization Fabric)에서는 에이전트가 제어 호출 여부를 결정하는 주체이다.
• 해제 불가능한 안전 커널에서는 에이전트에게 그러한 선택권이 없다. 제어는 배포 구조를 통해 에이전트와 중대한 동작 사이의 유일한 경로에 배치되며, 이는 에이전트의 협력이 아닌 배포 구조에 의한 것이다.

저자들은 이를 "탈출 가능한" 시스템을 위한 필수적인 진화로 보고 있으며, 중대한 동작에 대한 지속적인 인간의 권위를 확보하기 위해서는 에이전트가 정렬에서 벗어나거나 기만적이더라도 에이전트가 도달할 수 없는 인가 레이어가 필요하다고 주장한다. 이 연구는 훈련 시점 및 추론 시점의 접근법과 구별되면서도 이를 보완하는 실행 시점 AI 정렬의 기초적인 단계로 제시된다.