🤖 AI

The Two Boundaries: Why Behavioral AI Governance Fails Structurally

본 논문은 행동 기반 AI 거버넌스가 리스 정리 (Rice's theorem) 에 따라 임의의 프로그램 효과를 정책과 대비하여 검증하는 것이 결정 불가능하기 때문에 구조적으로 실패한다고 주장하며, 역량과 정책의 불일치로 인해 발생하는 불가피한 위험과 비효율을 제거할 유일한 해결책으로 연산과 효과를 구조적으로 분리하고 거버넌스를 실행 파이프라인에 내장하는 '동시 종료 거버넌스 (coterminous governance)'라는 아키텍처를 제안한다.

원저자: Alan L. McCann

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Alan L. McCann

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"행동적 AI 거버넌스가 구조적으로 실패하는 이유"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 정리합니다.

핵심 문제: "두 가지 경계"의 불일치

거의 모든 것을 할 수 있는 매우 강력한 로봇을 상상해 보세요. 이메일을 보내거나, 자금을 이동시키거나, 데이터베이스 기록을 변경할 수 있습니다. 이를 안전하게 만들기 위해 로봇이 무엇을 할 수 있는지 알려주는 울타리 (거버넌스) 를 설치합니다.

이 논문은 오늘날 구축된 거의 모든 AI 시스템에는 서로 맞지 않는 두 가지 다른 울타리가 존재한다고 주장합니다.

능력 울타리 (로봇이 할 수 있는 것): 이는 로봇의 도구와 코드에 의해 결정됩니다. 로봇에 이메일을 보내는 도구가 있다면, 로봇은 이메일을 보낼 수 있습니다.
규칙 울타리 (로봇이 허용된 것): 이는 작성한 안전 규칙과 필터에 의해 결정됩니다.

문제점: 이 두 울타리는 거의 항상 크기와 모양이 다릅니다.

"위험 구역" (거버넌스되지 않은 능력): 때로는 로봇이 사용할 수 있는 도구가 있지만, 규칙이 그 특정 도구를 다루지 않는 경우가 있습니다. 마치 보안 요원이 모르는 로봇의 비밀 뒷문이 있는 것과 같습니다. 로봇이 그 사이로 빠져나가 나쁜 일이 발생합니다.
"연극 구역" (거버넌스 연극): 때로는 규칙이 로봇이 할 수 없는 것에 대해 매우 엄격하게 적용됩니다. 마치 로봇에게 날개가 없는데도 "비행"을 금지하는 보안 요원을 두는 것과 같습니다. 불가능한 일을 단속하는 데 에너지를 낭비하는 동안, 실제 위험 (뒷문) 은 열려 있습니다.

논문에 따르면, 더 많은 경비원이나 더 많은 규칙을 추가하여 이를 해결하려는 시도는 "연극"을 더 크게 만들고 "위험"을 약간 줄일 뿐, 그 격차를 결코 해결하지는 못합니다.

왜 로봇을 단순히 "감시"할 수 없는가 (수학적 문제)

"왜 로봇이 나쁜 일을 하면 막아주는 초지능 감시 장치를 만들지 않는가?"라고 생각할 수 있습니다.

이 논문은 **라이스 정리 (Rice's Theorem)**라는 유명한 수학 법칙을 사용하여, 유연하고 똑똑한 AI 에 대해 이것이 불가능한 이유를 설명합니다.

비유: 스크립트만 보고 영화의 결말을 예측한다고 상상해 보세요. 영화가 짧고 단순하다면 결말을 추측할 수 있습니다. 하지만 영화가 관객에 따라 변하는 무한하고 복잡한 이야기라면, 영화가 상영되기 전에 어떤 알고리즘도 100% 확률로 결말을 예측할 수 없습니다.
결과: AI 는 매우 유연하기 때문에 (자신의 코드를 작성하고 도구를 새로운 방식으로 결합할 수 있음), 특정 행동이 안전할 것이라고 사전에 수학적으로 증명할 수 없습니다. 오직 추측할 뿐입니다. 그리고 추측만 가능하기 때문에, 감시 장치가 보지 못한 나쁜 일을 로봇이 할 가능성은 항상 존재합니다.

해결책: "주문 받기" 대 "요리사"

이 논문은 구조적 해결책을 제안합니다. 로봇을 감시하여 나쁜 일을 막으려 하기보다는, 로봇이 어떻게 구축되는지 바꾸는 것입니다.

구식 방식 (행동적 거버넌스):
로봇은 가스레인지, 칼, 가스 등에 직접 접근할 수 있는 요리사입니다. 당신은 옆에 서서 클립보드를 들고, 잘못된 재료를 집으려 하면 "멈춰!"라고 외칩니다.

결함: 요리사가 당신이 외치기 전에 가스를 잡거나, 클립보드에 적지 않은 새로운 조리법을 찾을 수 있습니다.

신규 방식 (구조적 거버넌스 / 동시적 거버넌스):
요리사를 부엌과 분리합니다.

요리사 (계산): AI 는 오직 생각하고 레시피 (명령어) 를 작성하는 것만 허용됩니다. 가스레인지, 칼, 가스를 만질 수 없습니다. 물리적인 손이 없습니다.
주문 받기 (거버넌스 경계): 별도의 엄격한 시스템이 레시피를 받습니다. "이 레시피에 올바른 재료가 들어있나요? 안전한가요?"를 확인합니다.
- 만약 안전하다면, 주문 받기 담당자가 부엌에 들어가 식사를 조리합니다.
- 만약 안전하지 않다면, 주문 받기 담당자가 레시피를 폐기합니다.

이것이 작동하는 이유:

AI 는 실제로 세상을 건드릴 도구가 없기 때문에 나쁜 일을 할 수 없습니다.
모든 행동은 주문 받기 담당자를 거쳐야 합니다.
AI 에게 비밀 뒷문이 없기 때문에 "위험 구역"이 존재하지 않습니다.
주문 받기 담당자는 실제로 조리 가능한 레시피만 확인하므로 "연극 구역"이 존재하지 않습니다.

왜 "모니터링"만으로는 부족한가

이 논문은 단순히 AI 가 무엇을 하는지 "로그"하거나 "기록"하는 것만으로는 거버넌스로 간주되지 않는 이유도 설명합니다.

비유: 은행에 보안 카메라가 있다고 상상해 보세요. 카메라가 강도를 발견하면 범죄를 기록합니다. 하지만 카메라는 강도를 막지 못했습니다.
수학: 카메라가 강도 사건의 99% 를 잡는다고 가정해 보세요. 이는 훌륭해 보입니다. 하지만 은행에서 하루에 1,000 건의 거래가 발생한다면, 1% 의 간극을 통해 최소 한 건의 강도 사건이 빠져나갈 확률은 거의 100% 에 가깝습니다.
핵심: 행동이 일어난 후 기록하는 것이 아니라, 행동이 발생하기 전에 막아야 합니다.

결론

이 논문은 AI 를 진정으로 거버넌스하려면 기존 시스템 위에 더 많은 필터나 규칙을 추가해서는 안 된다고 결론 내립니다. AI 가 무언가를 요청할 수 있게 하고, 별도의 엄격한 문지기가 그 요청이 이루어질지 결정하도록 시스템을 재건해야 합니다.

경계가 일치하면: AI 는 설계 단계에서부터 안전합니다 (구조적 거버넌스).
경계가 일치하지 않으면: 규칙을 얼마나 많이 추가하든 항상 일부 위험과 일부 낭비가 존재합니다 (행동적 거버넌스).

저자들은 컴퓨터 코드 (Coq) 를 사용하여 수학적으로 증명했습니다. 모든 행위가 거버넌스되도록 보장하는 유일한 방법은 이 "주문 받기" 접근법이라는 것입니다.

alan L. McCann 의 논문 "The Two Boundaries: Why Behavioral AI Governance Fails Structurally"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 AI 효과(API 호출, 데이터베이스 쓰기, 도구 호출 등 세상에서 수행되는 행동)와 관련하여 현재 AI 거버넌스 프레임워크에서 발생하는 근본적인 구조적 실패를 다룹니다.

두 가지 경계: 모든 효과를 가진 시스템은 두 가지 명확한 경계를 갖습니다.
1. **표현력 경계 **(Expressiveness Boundary) 시스템의 아키텍처 (언어, API, 도구) 에 의해 정의되며, 시스템이 할 수 있는 모든 것을 나타냅니다.
2. **거버넌스 경계 **(Governance Boundary) 정책과 모니터링에 의해 정의되며, 시스템이 허용된 모든 것을 나타냅니다.
불일치: 현재 배포 환경에서는 이러한 경계들이 독립적으로 정의되어 세 가지 영역을 생성합니다.
1. **거버넌스된 기능 **(Governed Capability, 중첩) 기능이 정책에 의해 포괄되는 유일한 기능적 영역.
2. **거버넌스되지 않은 기능 **(Ungoverned Capability, 위험) 시스템이 수행할 수 있지만 거버넌스 포괄이 결여된 기능 (예: 모니터링되지 않는 사이드 채널을 통한 데이터 유출).
3. **거버넌스 연극 **(Governance Theater) 시스템이 보유하지 않는 기능을 다루는 정책 (예: 시스템이 신용 카드 데이터에 접근할 수 없는데 이메일 내 신용 카드 번호를 필터링하는 정책).
핵심 문제: 행동 기반 거버넌스 (콘텐츠 필터, RLHF, 모니터링) 는 사후에 레이어를 추가함으로써 이 격차를 해소하려 시도합니다. 그러나 AI 에이전트가 동적이고 튜링 완전한 (Turing-complete) 표현력을 가지기 때문에, 거버넌스 경계는 행동적 수단만으로는 표현력 경계와 구조적으로 결코 일치할 수 없습니다.

2. 방법론 및 이론적 기반

이 논문은 거버넌스 문제를 분석하기 위해 형식적 방법과 이론적 컴퓨터 과학을 활용합니다.

**리스의 정리 **(1953) 핵심 이론적 도구입니다. 리스의 정리는 튜링 완전한 프로그램의 모든 비자명한 (non-trivial) 의미론적 속성에 대해, 임의의 프로그램이 해당 속성을 갖는지 여부는 결정 불가능하다고 명시합니다.
- 적용: "이 프로그램의 효과가 정책 P 를 준수하는가?"라는 속성은 비자명한 의미론적 속성입니다. 따라서 어떤 알고리즘도 임의의 튜링 완전한 AI 에이전트가 거버넌스 정책을 위반할지 여부를 일반적으로 결정할 수 없습니다.
형식적 검증: 주장은 Coq에서 기계화되었습니다 (36 개 모듈에 걸쳐 454 개의 정리, 승인된 보조정리 0 개). 이는 제안된 솔루션의 구조적 속성에 관한 수학적 확실성을 제공합니다.
아키텍처 분석: 논문은 출력물을 분석하는 "행동적" 접근법과 관심사의 아키텍처적 분리를 다루는 "구조적" 접근법을 대조합니다.

3. 주요 기여

A. 행동적 효과 거버넌스의 불가능성

이 논문은 행동적 거버넌스가 튜링 완전한 시스템에서의 효과 제어에 구조적으로 불충분함을 증명합니다.

콘텐츠 필터, RLHF, 헌법적 AI 는 의미론적 속성 (모델이 말하거나 의도하는 것) 에 작동합니다.
가능한 행동의 공간이 조합적이고 튜링 완전하기 때문에, 행동적 접근법은 근사치 (거짓 양성/거짓 음성) 만 생성할 수 있습니다.
모니터링은 불충분합니다. 왜냐하면 그것은 별개의 시스템이기 때문입니다. 모니터링은 관찰할 뿐 통제하지 않으므로, 행동 수가 증가함에 따라 기하급수적으로 누적되는 필연적인 포괄 격차가 발생합니다.

B. 구조적 대안: 계산과 효과의 분리

이 논문은 계산을 효과로부터 분리하는 급진적인 아키텍처 전환을 제안합니다.

계산 레이어: 의도된 효과를 설명하는 구조화된 데이터인 *지시문 (directives)*을 생성하지만 I/O 를 수행할 수 없는 순수 코드.
거버넌스 경계: 지시문을 수신하여 정책과 대조 (구문 검사) 하고 효과를 실행하는 단일 필수 레이어.
결과: 거버넌스는 프로그램(의미론) 이 아닌 지시문(구문) 의 함수가 됩니다. 지시문은 구조화된 데이터이므로 그 속성은 구성상 결정 가능합니다.

C. 동시 종료 거버넌스 (Coterminous Governance)

이 논문은 표현력 경계가 거버넌스 경계와 일치하는 상태를 동시 종료 거버넌스로 정의합니다.

정의: 시스템이 다음을 만족할 때 동시 종료 거버넌스를 충족합니다. (1) 모든 표현 가능한 효과가 거버넌스 경계를 통과함 (안전성), (2) 원시 연산자 (primitives) 가 원하는 계산을 대상으로 할 만큼 충분히 표현력 있음 (충분성).
속성:
- 거버넌스되지 않은 영역 부재: 구성상 거버넌스를 벗어날 수 있는 것이 없음.
- 연극 영역 부재: 모든 정책이 실제 기능에 대응함.
- 구성적 추론: 구성 요소 A 와 B 가 거버넌스된다면, 이들의 조합은 자동으로 거버넌스됨.
- 고유한 이해 가능성: 거버넌스 기록은 실행 기록 그 자체임.

D. 효율성 결과

행동적 거버넌스: 가산 비용. 각 레이어 (필터, 모니터) 는 처리량에 비례하는 지연 시간과 연산을 추가함 ( $k \times$ 처리량).
구조적 거버넌스: 인프라를 포괄함. 거버넌스 검사는 실행 파이프라인의 일부입니다. 비용은 처리량에 대해 선형일 뿐이며, 유지해야 할 별도의 시스템이 없습니다.
실증 데이터: Apple Silicon 에서 거버넌스된 실행 오버헤드는 중앙값 0.23ms로 측정되었으며 (거버넌스되지 않은 경우 0.24ms 대비), 이는 구조적 거버넌스가 네이티브 실행 속도와 구별할 수 없음을 입증합니다.

4. 결과

이론적 증명: 리스의 정리는 일반적인 경우에서 튜링 완전한 에이전트에 대한 행동적 거버넌스가 결정 불가능함을 확인합니다.
형식적 검증: Coq 증명은 제안된 "분리 원칙"이 안전성과 충분성 정리가 성립하는 시스템을 산출하여 동시 종료 경계를 보장함을 보여줍니다.
성능: 구조적 거버넌스는 행동적 레이어에 비해 무시할 수 있는 지연 시간을 도입하며, 거버넌스 레이어 수가 증가함에 따라 행동적 레이어는 확장성이 떨어집니다.
실패 모드: 논문은 구조적 분리 없이는 "위험"(거버넌스되지 않은 기능) 과 "연극"(존재하지 않는 기능을 위한 정책) 이 구조적으로 필연적임을 입증합니다.

5. 중요성 및 함의

패러다임 전환: 이 논문은 AI 안전성이 더 많은 필터나 모니터로 기존 아키텍처를 "패치"함으로써 달성될 수 없다고 주장합니다. 효과가 코드의 직접적인 기능이 아니라 거버넌스된 경계를 통해 매개되는 근본적인 재아키텍처가 필요합니다.
수준의 구분: 콘텐츠 거버넌스(LLM 이 말하는 것을 형성) 와 효과 거버넌스(에이전트가 무엇을 하는지 통제) 는 서로 다른 메커니즘이 필요한 별개의 문제임을 명확히 합니다. 콘텐츠 거버넌스는 행동적이며, 효과 거버넌스는 구조적이어야 합니다.
정책 vs 집행: 논문은 구조적 거버넌스가 수학적 확실성으로 정책의 집행을 보장하지만, 정책 자체의 정확성을 보장하지는 않는다고 강조합니다. 정책 설계는 여전히 인간의 판단 문제입니다.
실용적 한계: 이 접근법은 현재 I/O 와 논리를 혼합하고 있는 기존 에이전트 프레임워크의 완전한 재아키텍처를 요구합니다. 라이브러리로 역설계 (retrofit) 될 수 없습니다. 또한 개발자에게 (순수 계산 대 지시문) 규율을 부과하여 프로토타이핑 속도에 영향을 줄 수 있습니다.

결론

"The Two Boundaries"는 에이전시를 가진 AI 시스템의 경우, 구조적 안전성이 잔여 위험을 제로로 만드는 유일한 길이라고 결론짓습니다. 행동적 접근법은 위험을 줄일 수 있지만, 튜링 완전한 시스템에서 의미론적 속성의 결정 불가능성으로 인해 "거버넌스되지 않은 영역"을 제거할 수는 없습니다. 계산과 효과를 분리하여 달성된 동시 종료 거버넌스는 AI 가 취하는 모든 행동이 검증 가능하게 거버넌스되도록 보장하는 필수적인 아키텍처 기준입니다.