From Governance Norms to Enforceable Controls: A Layered Translation Method for Runtime Guardrails in Agentic AI

1. 문제 제기 (Problem Statement)

• 에이전트 AI 의 고유한 위험: 기존 단일 턴 생성형 AI 와 달리, 에이전트 AI 는 작업을 분해하고, 도구를 호출하며, 상태를 유지하고, 외부 시스템과 상호작용하는 다단계 행동 궤적 (trajectory) 을 생성합니다. 이로 인해 모델 개발이나 배포 시점이 아닌 실행 (execution) 중에 중요한 위험이 발생합니다.
• 거버넌스 표준의 한계: ISO/IEC 42001, NIST AI RMF 등 기존 AI 거버넌스 표준은 관리 체계, 리스크 프로세스, 책임 소재 등을 정의하지만, 이를 **실행 가능한 런타임 가드레일 (runtime guardrails)**로 직접 변환하는 구체적인 방법론을 제공하지는 않습니다.
• 직접 번역의 실패: 거버넌스 목표 (예: 공정성, 사회적 영향) 를 기술적 통제 수단으로 무분별하게 변환하려 할 때, 맥락적 판단이 필요한 규범이 결정론적인 런타임 규칙으로 단순화되면서 오류가 발생하거나, 실행 시점에 개입하기 어려운 통제 수단이 잘못 배치되는 문제가 발생합니다.

2. 방법론 (Methodology)

저자는 거버넌스 목표를 아키텍처, 런타임 정책, 인간 개입, 감사 (audit) 등 적절한 계층에 배치하기 위한 **5 단계 계층적 번역 방법 (Layered Translation Method)**을 제안합니다.

A. 네 가지 아티팩트의 구분

혼동되기 쉬운 네 가지 개념을 명확히 구분합니다:

1. 거버넌스 목표 (Governance Objective): 책임성, 최소 권한, 영향 평가 등 규범적 목표.
2. 기술적 통제 (Technical Control): 목표를 운영화하는 메커니즘 (로그, 승인 게이트 등).
3. 런타임 가드레일 (Runtime Guardrail): 실행 중 행동을 허용, 거부, 지연, 에스컬레이션, 수정하는 통제 하위 집합.
4. 보증 증거 (Assurance Evidence): 통제 실행 및 효과를 증명하는 로그, 감사 추적 등.

B. 5 단계 번역 프로세스

1. 규범적 목표 추출: 표준이나 내부 정책에서 목표 문장을 추출합니다.
2. 제어 튜플 (Control Tuple) 로 정규화: 모든 통제 후보를 구조화된 튜플 $\kappa = \langle a, x, r, \phi, \delta, \epsilon, o \rangle$로 변환합니다.
   • $a$: 행위 주체, $x$: 행동 클래스, $r$: 보호 대상, $\phi$: 전제 조건, $\delta$: 결정 (허용/거부 등), $\epsilon$: 증거 아티팩트, $o$: 책임 소유자.
3. 런타임 실행 가능성 점수 매기기 (Runtime Enforceability Rubric): 표 1 의 기준에 따라 해당 통제가 런타임에서 실행 가능한지 평가합니다.
   • 고평가 기준: 실행 전 피해 예방 필요, 상태/맥락이 기계적으로 관찰 가능, 규칙이 명확 (결정론적), 판단 부담이 적음, 실수 시 되돌리기 어려움.
   • 저평가 기준: 사후 평가 가능, 맥락이 부재, 해석이 필요함, 인간 판단이 핵심, 사후 수정 가능.
4. 주요 통제 계층 할당: 목표를 다음 4 계층 중 하나에 배정합니다.
   • 거버넌스 목표 계층, 설계 시간 (Design-time) 계층, 런타임 계층, 보증 (Assurance) 계층.
   • 중요: 모호하거나 고영향, 저결정론적인 결정은 기본적으로 인간 에스컬레이션으로 처리합니다.
5. 증거 및 소유자 명시: 각 통제에 대해 생성될 증거 아티팩트와 책임 소유자를 명시합니다.

3. 주요 기여 (Key Contributions)

1. 개념적 명확화: 거버넌스 목표, 기술적 통제, 런타임 가드레일, 보증 증거를 서로 다른 역할을 가진 아티팩트로 구분하여 혼란을 해소했습니다.
2. 번역 방법론 제안: 명시적인 '제어 튜플'과 '런타임 실행 가능성 평가 기준 (Rubric)'을 중심으로 한 거버넌스-to-통제 번역 프레임워크를 제시했습니다.
3. 실증 사례 연구: 기업 조달 에이전트 (Procurement Agent) 사례를 통해 방법론을 적용했습니다.
   • 예시: "승인된 벤더만 구매 주문 가능"은 런타임 가드레일 (고실행 가능성) 로, "공정하고 이의제기 가능한 공급업체 순위"는 설계 시간 설계 및 감사 (저실행 가능성) 로 적절히 배분되었습니다.
4. 평가 기준 제시: 정책 충실도, 개입 품질, 궤적 커버리지, 안전 - 유틸리티 트레이드오프, 증거 완전성 등 5 가지 차원의 평가 지표를 제안했습니다.

4. 결과 및 사례 연구 결과 (Results)

• 적절한 계층 배치의 중요성: 모든 거버넌스 요구사항을 런타임 가드레일로 강제하려는 시도는 실패합니다.
  • 런타임 가드레일: 관찰 가능하고, 규칙이 명확하며, 실행 전 개입이 필수적인 경우 (예: 벤더 화이트리스트 확인, 금액 임계값 초과 시 승인 요청) 에만 적용해야 합니다.
  • 설계 시간/보증 계층: 공정성, 사회적 영향, 복잡한 맥락 판단이 필요한 경우 아키텍처 설계, 최소 권한 원칙, 사후 감사, 인간 검토로 처리해야 합니다.
• 조달 에이전트 사례:
  • "승인된 벤더만 구매" 및 "5,000 유로 이상 구매 시 인간 승인"은 런타임에서 효과적으로 통제 가능 (High enforceability).
  • "공정하고 설명 가능한 순위"는 런타임 규칙으로 변환하기 어렵기 (Low enforceability) 때문에 설계 단계의 알고리즘 설계와 사후 감사로 배정되었습니다.
  • 이 접근법은 에이전트의 행동 공간을 설계 단계에서 제한 (Least Privilege) 하고, 런타임에서 이를 검증하는 효율적인 아키텍처를 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가이드라인: 조직이 ISO/NIST 표준을 준수하기 위해 무작정 런타임 필터를 구축하는 것이 아니라, 어떤 통제를 어디에 배치할지 결정하는 체계적인 의사결정 도구를 제공합니다.
• 안전성과 실용성의 균형: 런타임 가드레일은 안전을 보장하지만, 지나치게 엄격하거나 모호한 규칙은 에이전트의 유용성 (Utility) 을 해치고 우회될 수 있습니다. 이 방법론은 안전과 실용성 사이의 균형을 유지하며 통제 수단을 최적화합니다.
• 미래 방향: 제안된 방법론은 경험적 검증이 필요한 초기 단계의 프레임워크입니다. 향후 도메인별 에이전트 배포를 통해 정책 충실도, 개입 품질, 증거 완전성 등을 실증적으로 검증해야 합니다.

핵심 요약: 이 논문은 "거버넌스 표준을 런타임 가드레일로 직접 컴파일할 수 없다"는 전제 하에, 어떤 통제 수단이 런타임에서 실행 가능하고, 어떤 것이 설계 단계나 사후 감사가 필요한지를 판단하는 계층적 번역 방법론을 제시함으로써, 에이전트 AI 의 안전한 운영을 위한 실용적인 아키텍처 가이드를 제공합니다.