💻 computer science

Reconstructive Authority Model: Runtime Execution Validity Under Partial Observability

이 논문은 부분 관측성(partial observability) 환경에서 기존의 데이터 무결성 증명(attestation)만으로는 실행의 유효성을 보장할 수 없음을 지적하며, 측정된 상태와 미관측 잔여물 사이의 '커버리지(coverage)'를 기반으로 실행 권한을 동적으로 제어하는 '재구성 권한 모델(Reconstructive Authority Model, RAM)'을 제안합니다.

원저자: Marcelo Fernandez - TraslaIA

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marcelo Fernandez - TraslaIA

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 방식의 문제점: "서류는 완벽한데, 현장은 난장판?"

지금까지 우리는 기계가 안전한지 확인할 때 주로 **'증명서(Attestation)'**를 확인했습니다.

[비유: 요리사 면허증]
어떤 요리사가 식당에서 요리를 하려고 합니다. 우리는 그 요리사가 가진 **'위생 면허증'**과 **'재료 검수 보고서'**를 확인합니다. 보고서에는 "고기는 신선함", "채소는 깨끗함"이라고 적혀 있고, 서류상으로는 아무 문제가 없습니다. 그래서 우리는 "좋아, 요리 시작해!"라고 허락합니다.

그런데 문제는 여기서 발생합니다.
서류(보고서)에는 적혀 있지 않은 **'보이지 않는 위험'**이 있을 수 있습니다. 예를 들어, 보고서에는 없었지만 요리사가 요리를 시작하려는 바로 그 순간, 주방 가스레인지에서 미세한 가스가 새어 나오고 있거나, 요리사의 손에 갑자기 알레르기 유발 물질이 묻었을 수도 있죠.

기존 방식은 **"서류(데이터)가 조작되지 않았는가?"**만 확인합니다. 서류가 진짜라면, 실제 현장이 어떻게 변했든 상관없이 "통과!"를 외쳐버립니다. 이것이 바로 논문이 지적하는 '증명은 완벽하지만, 실행은 위험한' 상태입니다.

2. RAM 모델의 핵심: "지금 당장, 눈앞의 상황을 다시 물어봐!"

이 논문이 제안하는 **RAM(재구성 권한 모델)**은 완전히 다른 접근 방식을 취합니다. RAM은 과거의 서류를 믿지 않습니다. 대신, **"지금 이 순간, 네가 가진 정보만으로 정말 안전하다고 확신할 수 있어?"**라고 매번 다시 묻습니다.

[비유: 눈 가리고 운전하는 자율주행차]
기존 방식의 자율주행차는 "아까 지도(서류)를 봤을 때 이 길은 뻥 뚫려 있었으니, 지금도 괜찮겠지?"라고 생각하며 달립니다. 하지만 갑자기 앞에 공사 구간이 나타나거나 사고가 나면 대처를 못 하죠.

RAM 방식의 자율주행차는 이렇습니다:

관찰: "지금 내 센서로 보이는 게 전부인가?"
의심: "만약 센서가 못 보는 사각지대에 장애물이 있다면? (불확실성 인정)"
판단:
- "보이는 게 확실하고 안전해" $\rightarrow$ 전속력 주행
- "조금 불안한데? 옆 차선은 잘 안 보여" $\rightarrow$ 속도 줄이고 조심해서 주행 (권한 축소)
- "아예 앞이 안 보여서 판단이 안 돼!" $\rightarrow$ 그냥 즉시 멈춤 (Fail-Closed)

3. 이 논문의 세 가지 핵심 포인트

"모르는 건 모른다고 말하라" (불확실성의 인정):
기존 시스템은 정보가 부족하면 "문제없음"으로 간주하고 진행하려 합니다. 하지만 RAM은 **"정보가 부족해서 판단할 수 없다면, 차라리 멈추는 게 맞다"**라고 가르칩니다.
"권한은 고정된 게 아니다" (권한의 비지속성):
한 번 허락받았다고 해서 계속 허락된 게 아닙니다. 매 순간, 매 동작마다 새로 허락을 받아야 합니다.
"유연한 대처" (권한의 축소):
무조건 "예/아니오"만 하는 게 아니라, 상황이 애매하면 "위험한 행동은 하지 말고, 아주 안전한 행동만 해!"라고 권한의 범위를 실시간으로 줄여버립니다.

4. 요약하자면?

이 논문은 AI 에이전트에게 **'겸손함'**을 가르치는 법을 다루고 있습니다.

기존 방식: "서류가 깨끗하니까 일단 해!" (자칫하면 대형 사고)
RAM 방식: "서류가 깨끗해도, 지금 눈앞에 안 보이는 위험이 있을 수 있어. 확실하지 않으면 하지 마!" (안전 최우선)

결론적으로, 이 모델을 적용하면 AI가 정보가 부족한 상황(부분 관측 가능성)에서도 잘못된 판단으로 사고를 칠 확률을 거의 제로(0)로 만들 수 있다는 것을 수학적으로 증명하고 실험으로 보여준 것입니다.

[기술 요약] 재구성적 권한 모델 (Reconstructive Authority Model, RAM)

1. 문제 정의 (The Problem)

자율 에이전트 시스템은 실행 시점에 실제 상태( $S_r(t)$ )를 완전히 관찰할 수 없는 부분 관찰성(Partial Observability) 문제에 직면합니다.

현재의 거버넌스 메커니즘(TEE, 오라클 서명 상태 증명, 암호학적 증명 등)은 **'무결성(Integrity)'**을 보장하는 데 집중합니다. 즉, "계산이 조작되지 않았음"과 "관찰된 상태가 일치함"은 증명할 수 있습니다. 그러나 논문은 이것이 **'실행 유효성(Execution Validity)'**을 보장하기에는 구조적으로 불충분하다고 지적합니다.

핵심 결함: 증명 가능한 상태( $S_p$ )는 실제 상태( $S_r$ )의 부분집합( $S_p \subsetneq S_r$ )일 뿐입니다. 관찰되지 않는 잔여 상태( $\delta = S_r \setminus S_p$ )가 실행에 결정적인 영향을 미치는 경우(예: 갑작스러운 규제 변화, 미처 감지되지 않은 이상 행동), 기존의 증명 기반 시스템은 "상태는 일치하지만, 실행은 유효하지 않은" 오류(False Positive)를 발생시킵니다.

2. 방법론 (Methodology)

본 논문은 권한의 개념을 "사전에 부여된 것"에서 **"현재 상태로부터 실시간으로 재구성해야 하는 것"**으로 전환하는 **재구성적 권한 모델(RAM)**을 제안합니다.

핵심 개념: 커버리지 엔벨로프 (Coverage Envelope, $E(t)$ )

RAM은 단순히 상태를 확인하는 것이 아니라, 다음 세 가지 요소로 구성된 '커버리지 엔벨로프'를 기반으로 추론합니다.

$S_p(t)$ (Proven State): 암호학적으로 증명 가능한 관찰 상태.
$H(t)$ (Declared Assumptions): 관찰되지 않는 상태에 대해 시스템이 수용하는 명시적 가정.
$\delta(t)$ (Unobservable Residual): 관찰 불가능함이 입증된 잔여 상태(Paper 2의 IML 이론 근거).

권한 재구성 함수 (Authority Construction Function, $F$ )

실행 권한 $A(t)$ 는 요청된 작업 클래스( $\alpha$ )와 엔벨로프( $E(t)$ )의 함수로 정의됩니다: $A(t) = F(E(t), \alpha)$ .

Full Coverage: 권한이 완전히 재구성되면 전체 작업 수행.
Partial Coverage: 권한이 일부만 재구성되면 권한을 동적으로 축소(Narrowing)하여 수행.
Insufficient Coverage: 권한 재구성이 불가능하면 'Fail-Closed' (실행 중단/보류).

3. 주요 기여 (Key Contributions)

구조적 한계의 공식화: 증명 기반 거버넌스가 왜 실행 유효성을 보장할 수 없는지 수학적으로 증명 (Theorem 5.1).
RAM 모델 제안: 권한을 상태로부터 실시간으로 도출하는 새로운 거버넌스 프레임워크 정의.
하이브리드 아키텍처: 무결성을 담당하는 'Attestation(증명)'과 유효성을 담당하는 'RAM'을 결합한 계층형 구조 제시.
이론적 증명:
- Theorem 1: 재구성 없이는 증명 기반 시스템이 실행 유효성을 보장할 수 없음.
- Theorem 2: 실행 유효성을 보장하기 위해서는 반드시 실시간 재구성이 필요함.

4. 실험 결과 (Results)

시뮬레이션(100,000단계 실행)을 통해 기존 모델과 RAM을 비교했습니다.

지표	Attestation (기존)	Oracle-extended (확장형)	RAM (제안 모델)
IER (부적절한 실행률)	0.423 (높음)	0.393 (높음)	0.000 (제로)
SHR (안전한 중단율)	0.145 (낮음)	0.293 (낮음)	1.000 (완벽)

결과 해석: 기존 모델은 관찰되지 않는 상태 변화(Drift)가 발생했을 때 이를 감지하지 못하고 잘못된 실행을 지속하는 반면, **RAM은 권한 재구성에 실패함을 즉각 인지하고 실행을 중단(Halt)**함으로써 잘못된 실행률(IER)을 0으로 유지했습니다.
Trade-off (OCR): RAM은 과도한 보수성(Over-Conservatism)으로 인해 유효한 실행을 중단할 위험이 있으나, 이는 관찰 가능성(Observability)을 높임으로써 해결 가능한 설계적 문제임을 밝힙니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 자율 에이전트 거버넌스의 패러다임을 **"일관성 검증(Consistency Verification)"**에서 **"권한 재구성(Authority Reconstruction)"**으로 전환했습니다.

설계적 시사점: 고위험 자율 시스템(금융, 자율주행 등)은 "오류가 감지되지 않으면 계속한다"는 기존 방식이 아니라, **"권한을 확실히 구축할 수 없다면 중단한다"**는 보수적 기본 원칙(Conservative Default)을 채택해야 합니다.
시리즈의 완성: 이 논문은 에이전트 거버넌스 시리즈(Paper 0~4)를 마무리하며, 관찰 불가능성이라는 이론적 한계(Paper 2)를 실제 실행 단계의 제어 메커니즘(RAM)으로 구현해냈다는 점에서 학술적/실무적 가치가 매우 높습니다.