Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents

다음은 "관측할 수 없는 것을 통치하다: 자율 AI 에이전트를 위한 적응형 런타임 거버넌스" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 자율 AI 에이전트 (특히 대규모 언어 모델 에이전트) 의 거버넌스에서 중요한 간극을 다룹니다. 기존 플랫폼 (예: AWS, Microsoft, Google) 은 정적이고 신원 중심의 권한 부여 (예: "이 행동이 허용되는가?") 를 제공하지만, 코드 변경 없이 시간이 지남에 따라 진화하는 행동적 드리프트 (behavioral drift) 와 창발적 위험 (emergent risks) 을 탐지하지 못합니다.

저자들은 정적 정책이 놓치는 세 가지 특정 실패 모드를 식별합니다:

1. 행동적 비정상성 (Behavioral Non-Stationarity): 에이전트가 모델 업데이트나 프롬프트 드리프트로 인해 참조 분포에서 조용히 벗어나는 현상.
2. 구성적 위험 (Compositional Risk): 개별적으로 무해한 행동 (예: 소규모 송금) 이 결합하여 사기 (예: 구조화) 를 형성하는 경우.
3. 창발적 차별 (Emergent Discrimination): 적응형 학습이 초기 데이터 불균형을 체계적 편향으로 증폭시키는 현상.

현재의 솔루션 (규칙 기반 가드레일, LLM 평가자, 정적 정책 엔진) 은 우회 가능하거나, 지연을 초래하거나, 이전 행동에 대한 기억이 부족합니다. 핵심 문제는 에이전트가 완전히 권한을 부여받은 상태에서도 관측되지 않은 위험이 누적됨에 따라 안전하지 않게 될 수 있다는 점입니다.

2. 핵심 방법론: 정보적 생존 가능성 원칙

이 논문은 오뱅 (Aubin) 의 생존 가능성 이론 (Viability Theory) 에 기반한 거버넌스의 이론적 재구성을 제안합니다. 핵심 통찰은 정보적 생존 가능성 원칙 (Informational Viability Principle) 입니다:

자율 에이전트를 통치한다는 것은 관측되지 않은 위험 ($\hat{B}(x)$) 에 대한 상한을 지속적으로 추정하고, 에이전트의 관측된 능력 ($S(x)$) 이 안전 마진 ($\epsilon$) 만큼 이 상한을 초과할 때만 행동을 허용하는 것으로 환원됩니다.

결정 규칙:
$$\text{허용 } x \iff S(x) \ge \hat{B}(x) + \epsilon$$

관측되지 않은 위험 ($\hat{B}(x)$) 의 분해

이 논문은 $\hat{B}(x)$ 를 각각 특정 추정기가 필요한 세 가지 통계적으로 구별되는 항으로 분해합니다:

1. $U(x)$ (불확실성/분포 드리프트): 에이전트의 행동이 참조 분포에서 벗어나는 것으로 인한 위험. 트랜잭션 결과 및 도구 호출의 슬라이딩 윈도우에 대한 KL 발산 (KL Divergence) 을 통해 추정합니다.
2. $SB(x)$ (구조적 편향): 서로 다른 인구 집단이 처리되는 방식의 체계적 불균형으로 인한 위험. 구간 대 나머지 Z-검정 (Segment-vs-Rest Z-tests, 두 비율 검정) 을 통해 추정합니다.
3. $RG(x)$ (현실 격차/순차적 맥락): 순서에서만 나타나는 패턴 (예: 구조화 사기) 으로 인한 위험. PlanGovernor(행동 이력에 대한 패턴 매칭) 를 통해 추정합니다.

에이전트 생존 가능성 프레임워크 (AVF)

이 원칙을 실현하기 위해 저자들은 거버넌스 시스템에 필요한 세 가지 필요충분 조건을 정의합니다:

• P1 (모니터링): 모든 제약 조건에 걸쳐 $\hat{B}(x)$ 를 지속적으로 추정 (상태가 있는 기록 필요).
• P2 (예측): 위반 발생 전에 변화율 ($d\hat{B}/dt$) 을 모니터링하여 경계 교차 시간 ($t^*$) 을 예측.
• P3 (단조적 제한): 개입은 제한을 강화할 수 있을 뿐 완화할 수 없습니다. 이는 적대적 조작에 대한 위험 추정치의 무결성을 유지합니다.

3. 시스템 구현: RiskGate

저자들은 AVF 의 참조 구현체인 RiskGate를 제시합니다.

• 아키텍처: 거버넌스 레이어 (통계 추정기), 도메인 레이어 (비즈니스 규칙), 추상화 레이어 (정책 API) 로 구성된 3 층 방향성 비순환 그래프 (DAG).
• 통계 추정기:
  • 이중 채널 KL 발산: 트랜잭션 결과와 도구 호출을 별도로 모니터링하며, 결합된 거짓 양성률 (FPR) 통제를 위해 본페로니 보정을 적용합니다.
  • 적응형 임계값 (D-UCB1): 거짓 양성과 누락된 이상치 사이의 균형을 맞추기 위해 할인된 상한 신뢰 구간 (Discounted Upper Confidence Bound) 알고리즘을 사용하여 탐지 임계값을 동적으로 최적화합니다.
  • 편향 탐지: 자기 포함 편향 보정을 갖춘 구간 대 나머지 Z-검정을 구현합니다.
• 오토파일럿 (규제 맵):
  • 오뱅의 규제 맵 (Regulation Map, $R_A$) 의 인스턴스로 형식화됩니다.
  • "강화만" 기반으로 작동합니다. 시스템이 생존 가능성 경계에 접근하면 자동으로 임계값을 강화합니다.
  • 시스템이 유효한 행동 없이 멈추지 않도록 보장하는 "최후의 수단" 허용 제어인 킬 스위치 (Kill Switch) 를 포함합니다.
• 예측 거버넌스:
  • 생존 가능성 지수 (VI) $VI(t) \in [-1, +1]$를 계산합니다.
  • 최근 $VI$ 값에 대한 OLS 회귀를 사용하여 경계 교차 시간 $t^*$ 를 예측함으로써 거버넌스를 반응형에서 예측형으로 전환합니다.

4. 주요 기여

1. 이론적 프레임워크: 정보적 생존 가능성 원칙은 통계 추정기와 거버넌스 속성을 단일 수학적 구조 하에 통합하여 모니터링, 예측, 단조성이 왜 필요한지 설명합니다.
2. 에이전트 생존 가능성 프레임워크 (AVF): 에이전트의 노화 (senescence) 와 이를 방지하기 위해 필요한 세 가지 속성 (P1-P3) 에 대한 형식적 정의.
3. RiskGate 구현: 다음을 특징으로 하는 완전한 Python 라이브러리:
   • 몬테카를로 보정을 통한 멀티 채널 드리프트 탐지.
   • 멀티 아머드 밴딧을 통한 적응형 임계값 최적화.
   • 결정이 엄격하게 누적되는 단조 파이프라인 ($D_{final} = \bigwedge D_i$).
   • 비어 있지 않은 생존 가능성 커널에 대한 형식적 보장을 갖춘 폐루프 오토파일럿.
4. 분석적 검증:
   • 커버리지 매핑: 이 프레임워크는 "Agents of Chaos" 실패 분류 (11 가지 사례 연구) 에 매핑되어 $\hat{B}(x)$ 의 세 항이 다양한 실패 모드를 어떻게 포괄하는지 보여줍니다.
   • 작동 예시:
     • 구조화 공격: $U(x)$ 와 정적 규칙이 놓치는 사기를 $RG(x)$ (PlanGovernor) 가 어떻게 차단하는지 보여줍니다.
     • 창발적 편향: P2(예측) 가 반응형 Z-검정이 트리거되기 108 개 작업 전에 편향 드리프트를 어떻게 탐지하는지 보여줍니다.

5. 결과 및 평가

• 참고: 이 논문은 정량적 경험적 평가(탐지율, 지연 시간, ROI 측정) 를 향후 과제로 명시적으로 규정하고 있습니다. 현재 결과는 분석적 및 이론적입니다.
• 분석적 커버리지: 이 프레임워크는 Shapira 등 [23] 의 11 가지 문서화된 실패 사례에 성공적으로 매핑되어, 단일 추정기로는 모든 위험을 포괄할 수 없으며 $U(x)$, $SB(x)$, $RG(x)$ 의 조합이 필요함을 입증합니다.
• 수렴: RiskGate 의 드리프트 감소 전략은 Rath [21] 의 발견과 일치하며, 결합된 전략 (메모리, 라우팅, 앵커링) 이 드리프트를 최대 81.5% 까지 감소시킬 수 있음을 시사합니다.
• 예측 능력: $t^*$ 예측 메커니즘은 개입을 위한 "리드 타임"을 제공하여 제약이 위반되기 전에 시스템이 행동할 수 있게 하는 것으로 나타났습니다.

6. 중요성 및 영향

• 패러다임 전환: AI 거버넌스를 정적, 무상태 권한 부여(지금 행동이 허용되는지 확인) 에서 동적, 상태 기반 생존 가능성(에이전트의 궤적이 안전한지 확인) 으로 이동시킵니다.
• 규제 정렬: 이 프레임워크는 정량화 가능하고 지속적인 위험 추정 및 감사 추적을 제공함으로써 EU AI 법(위험 관리, 정확성, 인간 감독) 의 요구 사항을 직접적으로 해결합니다.
• 형식적 엄밀성: 시스템을 생존 가능성 이론에 근거시킴으로써, 시스템이 "멈추지" 않을 것 (정리 3.1) 이며 개입이 구조적으로 안전하다는 (P3) 수학적 보장을 제공합니다.
• 적대적 복원력: 단조적 제한 (P3) 속성은 공격자가 시스템을 속여 자신의 방어를 완화하도록 유도하는 "적대적 침식"에 대한 중요한 방어 수단으로 강조됩니다.

요약하자면, 이 논문은 행동 드리프트, 구성적 위험, 창발적 편향에 적응할 수 있는 자율 에이전트를 통치하기 위한 엄격한 이론적 기반과 구체적인 참조 구현을 제공하며, 에이전트의 행동이 실시간으로 명시적으로 관측되지 않더라도 안전을 보장합니다.