Right-to-Act: A Pre-Execution Non-Compensatory Decision Protocol for AI Systems

가디 라비 (Gadi Lavi) 의 논문 "AI 시스템의 실행 전 정당성 격차: 실행을 위한 결정론적, 비보상적 결정 경계"에 대한 상세한 기술적 요약입니다.

1. 문제 제기: 실행 전 정당성 격차

AI 시스템이 조언 도구에서 실제 세계의 행동을 실행할 수 있는 자율 에이전트 (예: 자금 이체, 계정 정지, 인프라 변경) 로 진화함에 따라, 현재의 아키텍처 패러다임은 치명적인 격차에 직면해 있습니다. 기존 메커니즘들—권한 부여, 안전 정렬, 정책 집행, 통계적 인증 등—은 누가 행동할 수 있는지, 출력이 해로운지, 또는 시스템이 위험 범위 내에서 작동하는지를 평가합니다.

그러나 이러한 메커니즘들은 다음과 같은 고유하고 선행적인 질문에 답하지 못합니다: "이 특정 AI 생성 결정이 실행 가능한 사건으로서 존재할 자격이 있어야 하는가?"

본 논문은 결정이 실행 파이프라인에 진입하기 전에 "행동할 권리"가 있는지 여부를 판단하는 공식적 메커니즘이 부재한 것을 **실행 전 정당성 격차 (Pre-Action Legitimacy Gap)**로 정의합니다. 결정이 권한을 부여받았고 안전하며 위험이 낮을지라도, 맥락적 검증의 부재, 불충분한 정당화, 또는 시기상조로 인해 구조적으로 정당하지 않을 수 있습니다. 현재 시스템들은 종종 **비보상적 점수화 (compensatory scoring)**에 의존하는데, 이는 높은 신뢰도 점수나 강력한 정책 일치가 중요한 조건의 누락을 상쇄할 수 있게 하여 잠재적으로 되돌릴 수 없는 오류를 초래합니다.

2. 방법론 및 공식 모델

저자는 행동할 권리 (Right-to-Act) 프로토콜이라는 최소한의 공식적 프레임워크를 제안합니다. 이 접근법은 정당성을 최적화해야 할 확률적 점수가 아닌, 엄격한 제약 조건으로 정의된 실현 가능성 조건으로 취급합니다.

2.1 공식적 정의

• 결정 공간 ($A$): 연산, 맥락, 대상, 범위, 타이밍을 포함하는 구조화된 튜플로 표현된 실행 가능한 후보 결정 $a$의 집합.
• 정당성 제약 ($C$): $\{C_1, C_2, ..., C_n\}$인 유한한 결정론적 술어 집합으로, $C_i(a) \in \{0, 1\}$입니다. 값이 1 인 경우 조건이 충족됨을, 0 인 경우 실패함을 나타냅니다.
• 실현 가능 영역 ($F$): 모든 필수 제약 조건이 충족되는 모든 결정의 집합:
  $$F = \{a \in A : \forall i, C_i(a) = 1\}$$
• 행동할 권리 함수 ($D$): 결정론적 결정 함수:
  $$D(a) = \begin{cases} \text{ALLOW} & \text{if } a \in F \\ \text{NON-ACTION} & \text{otherwise} \end{cases}$$

2.2 비보상적 논리

핵심 방법론적 혁신은 결정 경계의 비보상적 (non-compensatory) 성질입니다. 이 시스템에서 단일 필수 제약 조건 중 하나라도 실패하면 ($C_j(a) = 0$), 다른 제약 조건이 얼마나 충족되었는지나 신뢰도 점수가 얼마나 높은지와 관계없이 결정이 거부됩니다.

• 결과: "비행동 (Non-Action)"은 시스템 오류가 아니라 유효하고 감사 가능한 상태 (예: 연기, 에스컬레이션, 정보 요청) 로 간주됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 문제 정의: 권한 부여, 안전, 또는 런타임 거버넌스와 구별되는 별도의 아키텍처 원시 (primitive) 로서 "실행 전 정당성 격차"를 공식적으로 규명합니다.
2. 공식화: 점수를 최적화하는 것이 아니라 구조적 실현 가능성을 강제하는 행동할 권리 경계를 위한 최소 수학 모델을 도입합니다.
3. 비동등성 정리: 보상적 점수화 시스템이 실행 전 정당성을 보장할 수 없음을 증명합니다.
   • 정리: 가중합 $S(a) = \sum w_i x_i(a)$와 임계값 $\theta$를 사용하는 시스템의 경우, 다른 높은 신호들 때문에 임계값을 초과하더라도 중요한 제약 조건이 실패 ($C_k=0$) 하는 결정을 구성할 수 있습니다. 따라서 점수화 시스템은 비보상적 제약 시스템의 하드-블로킹 행동을 복제할 수 없습니다.
4. 사례 연구 적용: AI 주도 계정 정지 시나리오에서 이 경계의 실질적 영향을 입증합니다.

4. 결과 및 사례 연구 분석

본 논문은 AI 주도 계정 정지 사례 연구를 통해 프레임워크를 검증합니다.

• 시나리오: AI 시스템이 높은 신뢰도, 패턴 유사성, 이전 플래그를 기반으로 사용자 계정 비활성화를 제안합니다.
• 보상적 기준선: 표준 위험 점수화 시스템은 높은 집계 점수 ($S(a) \ge \theta$) 를 계산하고 즉시 정지를 실행합니다.
• 행동할 권리 개입: 시스템은 특정 구조적 제약 조건을 확인합니다: 맥락적 검증 (예: 활동이 손상된 장치나 잘못된 상관관계로 인한 것이 아님을 보장).
  • 사례 연구에서 이 제약 조건은 실패합니다 ($C_{context} = 0$).
  • 결과: 행동할 권리 경계가 실행을 차단합니다 ($D(a) = \text{NON-ACTION}$), 이는 에스컬레이션 또는 추가 정보 요청을 트리거하며, 기준선 시스템이 부당한 정지를 초래했을 것인 반면 이를 방지합니다.

주요 발견: 결정이 통계적으로 정당화되고 정책 준수일지라도 구조적으로 정당하지 않을 수 있습니다. 비보상적 경계는 누락된 조건을 점수 공제가 아닌 하드 블록으로 취급함으로써 이를 방지합니다.

5. 중요성 및 함의

본 논문은 "점수화"에서 "경계 강제"로 전환하는 것이 AI 거버넌스를 근본적으로 변화시킨다고 주장합니다:

• 1 순위 결과로서의 불행동: 미실행은 실패 모드가 아닌 유효하고 통제된 운영 상태로 재정의됩니다.
• 향상된 감사 가능성: 결정이 모호한 낮은 점수가 아닌 특정 실패한 제약 조건에 의해 차단되므로, 감사 추적이 더 명확하고 방어 가능해집니다.
• 모델 독립성: 이 프레임워크는 결정이 구조적으로 표현될 수 있는 한 모든 AI 시스템 (LLM, 에이전트, 분류기) 에 적용 가능하며, 이질적 환경과 호환됩니다.
• 재귀적 데이터 위험 완화: AI 가 훈련에 피드백되는 데이터를 생성하는 영역 (재귀적 데이터) 에서 통계적 인증은 자기 참조적이 될 수 있습니다. 실행 전 제약 경계는 개별 결정에 구조적 유효성을 강제하여 왜곡된 분포의 인증에 대한 안전 장치를 제공합니다.

결론

본 논문은 정당성은 점수가 아닌 경계라고 결론지습니다. 결정론적이고 비보상적인 결정 원시를 도입함으로써, 행동할 권리 프로토콜은 AI 안전 아키텍처의 치명적인 격차를 메워, 결정이 집계된 신뢰도나 위험 프로파일과 관계없이 모든 필수 구조적 조건을 충족할 때만 실행으로 진행되도록 보장합니다.