From Admission to Invariants: Measuring Deviation in Delegated Agent Systems

1. 문제 정의 (Problem Statement)

자율 에이전트 시스템은 일반적으로 런타임에서 하드 제약 조건 위반을 감지하는 **집행 메커니즘 (Enforcement Mechanism)**에 의해 통제됩니다. 그러나 이 논문은 기존 집행 시스템이 가진 구조적 한계를 지적합니다.

• 집행 신호의 국소성 (Local Observability): 현재의 집행 시스템 (예: ACP, Agent Control Protocol) 은 각 행동 (action) 을 정적 규칙 집합과 비교하여 위반 여부를 판단합니다. 이는 개별 행동에 국한된 '국소적' 관측입니다.
• 숨겨진 편차 (Hidden Drift): 에이전트가 허용된 행동 공간 ($A_0$) 을 벗어나지 않으면서도, 행동의 분포가 입사 (Admission) 시점의 기대치에서 점차적으로 이탈하는 경우가 발생합니다.
  • 개별 행동은 규칙을 위반하지 않아 집행 신호 ($g$) 가 0(정상) 을 유지하지만, 전체 행동 궤적 (trajectory) 은 입사 시 정의된 허용 행동 공간 ($A_0$) 에서 벗어납니다.
  • 이러한 현상은 '규칙 위반'이 아닌 '행동적 이탈'이므로, 기존 집행 시스템은 이를 감지하지 못합니다.
• 핵심 질문: 집행 신호 ($g$) 만으로 에이전트가 입사 시 정의된 행동 계약 ($A_0$) 을 준수하고 있는지 판단할 수 있는가?

2. 방법론 및 이론적 배경 (Methodology & Theoretical Framework)

저자는 이를 해결하기 위해 수형 이론 (Measure Theory) 과 정보 이론을 기반으로 한 새로운 측정 계층을 제안합니다.

A. 수학적 모델링

• 허용 행동 공간 ($A_0$): 입사 시 정의된 제약 조건, 초기 컨텍스트, 위임 계보 (lineage) 를 기반으로 한 전역적 행동 공간.
• 집행 신호 ($g$): $\{0, 1\}$ 값을 반환하는 로컬 관측 함수. $g(\tau)=1$이면 위반, $0$이면 준수.
• 국소 관측 가정 (Local Observability Assumption): 모든 실용적인 집행 시스템은 $A_0$에 직접 접근하지 않고, 개별 행동의 점별 (point-wise) 속성만 평가합니다.

B. 주요 이론적 결과 (Theoretical Results)

1. T1: 준수 - 불변성 간격의 존재 (Existence of Compliance-Invariance Gap)
   • $g(\tau)=0$ (규칙 준수) 이지만 $\tau \notin A_0$ (허용 공간 이탈) 인 궤적이 존재함을 증명합니다. 즉, 규칙을 지키는 행동이라도 입사 시 계약과 다를 수 있습니다.
2. T2: 집행 하에서의 비식별성 (Non-Identifiability Theorem)
   • 핵심 정리: 국소 관측 가정 하에서, 허용 행동 공간 $A_0$은 집행 신호 $g$로 생성된 $\sigma$-대수 ($\sigma(g)$) 에 속하지 않습니다 ($A_0 \notin \sigma(g)$).
   • 의미: 어떤 복잡한 위험 점수 함수를 사용하더라도, 집행 신호만으로는 에이전트가 $A_0$에 속하는지 여부를 재구성할 수 없습니다. 이는 구조적으로 불가능한 문제입니다.
3. T3: IML 의 회복 가능성 (IML Recoverability)
   • $A_0$에 대한 직접적인 접근 (입사 시 스냅샷) 을 가진 새로운 측정 계층을 도입하면 편차를 일관성 있게 추정하고 유한한 시간 내에 감지할 수 있음을 증명합니다.

C. 제안된 솔루션: 불변 측정 계층 (Invariant Measurement Layer, IML)

집행 시스템의 맹점을 보완하기 위해 IML을 설계했습니다.

• 원리: 입사 시점의 행동 스냅샷 ($A_0^{emp}$) 을 고정된 참조점으로 유지하고, 런타임 중 에이전트의 행동 분포와 이를 비교합니다.
• 편차 구성 요소 ($\hat{D}$):
  1. 시간적 편차 ($D_t$): 현재 행동 분포와 입사 시 분포 간의 Jensen-Shannon 발산 (JS Divergence).
  2. 제약 근접성 ($D_c$): 평균 위험 점수 (Risk Score).
  3. 계보 편차 ($D_l$): 위임 깊이 (Delegation Depth) 의 평균 및 분산 변화.
• 특징: IML 은 에이전트의 과거 기록 (히스토리) 에 의존하지 않고, 고정된 입사 기준에 의존하므로 점진적인 편차에 둔감하지 않습니다.

3. 실험 결과 (Experimental Results)

논문은 네 가지 실험 환경에서 이론적 주장을 검증했습니다.

1. 제어된 편차 시나리오 (300 및 1000 스텝):

   • 시나리오: 도구 사용 빈도 변화 (Tool Drift), 위임 깊이 증가 (Delegation Drift), 컨텍스트 변화 (Context Drift).
   • 결과: 모든 시나리오에서 집행 신호 ($g$) 는 0 번의 위반을 발생시켰습니다. 반면, IML 의 편차 점수 ($\hat{D}$) 는 편차 발생 후 9~258 스텝 내에 monotonically(단조롭게) 증가하며 편차를 감지했습니다.
   • 비교: 기존 이상 탐지 (Anomaly Detection) 는 에이전트의 행동이 변함에 따라 기준 (Reference) 도 함께 변하는 '참조 오염 (Reference Contamination)' 현상으로 인해 감지 능력이 떨어졌습니다. IML 은 고정된 기준을 유지하여 장기적인 감지 능력을 입증했습니다.

2. 실제 에이전트 검증 (n8n 웹훅 파이프라인):

   • 실제 JavaScript 기반 워크플로우에서 편차가 발생했을 때, 집행은 여전히 0 이었으나 IML 은 편차 시작 후 9 스텝 만에 감지했습니다.

3. LangGraph 에이전트 실험:

   • LangGraph StateGraph 에이전트에서 결정적 도구 선택을 시뮬레이션. 6 가지 시드 (Seed) 모두에서 집행은 0 이었으나, IML 은 평균 126 스텝 내에 편차를 감지했습니다.

4. 장기 검증 (1000 스텝):

   • 1000 스텝까지 실행해도 집행 신호는 여전히 0 이었으며, IML 점수는 계속 증가하여 구조적 맹점이 일시적 현상이 아님을 입증했습니다.

4. 주요 기여 (Key Contributions)

1. 이론적 증명: 집행 기반 거버넌스가 입사 시 행동 계약 ($A_0$) 을 식별할 수 없다는 **비식별성 정리 (Non-Identifiability Theorem)**를 수학적으로 증명했습니다.
2. 새로운 아키텍처 제안: 집행 시스템의 구조적 맹점을 해결하는 **불변 측정 계층 (IML)**을 설계하고, 고정된 입사 스냅샷을 기반으로 한 일관된 편차 추정기를 제안했습니다.
3. 실증적 검증: 시뮬레이션, 실제 웹훅 파이프라인, LangGraph 에이전트 등 다양한 환경에서 집행 시스템이 편차를 놓치는 반면 IML 이 이를 성공적으로 감지함을 입증했습니다.
4. 거버넌스 시리즈의 연결: 이 논문은 에이전트 거버넌스 4 부작 중 2 부작으로, 입사 제어 (ACP) 와 실행 집행을 보완하는 '행동 감시' 레이어의 필요성을 정립했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 한계의 인식: 단순히 규칙을 더 세밀하게 만들거나 위험 점수를 조정하는 것만으로는 에이전트의 점진적인 행동 이탈 (Drift) 을 막을 수 없습니다. 집행 시스템은 '규칙 위반'은 보지만 '계약 위반'은 보지 못합니다.
• 필수적인 보완재: 에이전트 거버넌스 시스템은 입사 (Admission), 집행 (Enforcement), **불변성 모니터링 (Invariant Monitoring, IML)**의 3 층 구조로 구성되어야 합니다. IML 은 집행 시스템이 구조적으로 맹점 (Blind Spot) 을 가진 영역에서 에이전트가 원래 계약에서 얼마나 벗어났는지를 측정합니다.
• 실무적 시사점: 자율 에이전트 시스템의 안전성을 보장하려면, 단순한 규칙 기반 필터링을 넘어 입사 시점의 행동 기준을 고정하고 런타임에 이를 비교하는 메커니즘이 필수적입니다.

이 논문은 에이전트 거버넌스 분야에서 "규칙 준수 (Compliance)"와 "행동 불변성 (Behavioral Invariance)" 사이의 간극을 이론적으로 증명하고, 이를 해결할 수 있는 실용적인 아키텍처를 제시했다는 점에서 중요한 의의를 가집니다.