기술 요약: SARC – 에이전트 AI 시스템을 위한 아키텍처 기반 거버넌스 프레임워크

1. 문제 정의

도구와 하위 에이전트를 통해 인지, 계획, 행동을 수행하는 에이전트 AI 시스템이 거버넌스 인프라의 성숙 속도보다 빠르게 규제 환경에 진입하고 있습니다. 치명적인 구조적 불일치가 존재합니다: 규제 의무 (예: 인간 감독, 위험 관리) 는 일반적으로 사후 문서화를 통해 평가되거나 프롬프트 및 대시보드에 부착됩니다. 이는 실행을 제한하기 위해 고안된 제약 조건이 종종 행동이 발생한 후에만 평가되는 "구조적 불일치"를 초래합니다.

현재 접근 방식은 다음과 같은 특정 실패 모드를 겪고 있습니다:

• 프롬프트 가드레일: 모델은 도구를 통해 지시를 무시하거나, 재해석하거나, 우회할 수 있습니다.
• 출력 필터링: 가시적인 텍스트가 아닌 세계에 대한 부수적 효과를 통해 실현된 위반 사항을 포착할 수 없습니다.
• 사후 감사: 위반 사항을 문서화하지만 예방할 수는 없습니다.
• 워크플로우 규칙: 완전한 레지스트리에 연결되고 디스패치 시 강제되지 않는 한, 동적으로 확장되는 행동 공간에서는 종종 불충분합니다.

본 논문은 거버넌스 통제가 프롬프트, 로그와 같은 아티팩트에 부착되는 것에서 시스템 아키텍처 내 실행에 부착되는 것으로 이동해야 한다고 주장합니다.

2. 방법론: SARC 프레임워크

저자들은 SARC(상태, 행동 공간, 보상, 제약) 라는 아키텍처 기반 거버넌스 프레임워크를 소개합니다. 여기서 $S$, $A$, $R$은 표준 강화 학습 (RL) 원시 요소이지만, **$C$(제약)**는 새로운 기여입니다. 이는 제약 조건을 상태 및 보상과 동등한 1 급 지정 객체로 취급하며, 에이전트 런타임의 선언된 지점에서 이를 강제합니다.

2.1 지정 튜플

SARC 지정은 $\Sigma = \langle S, A, R, C \rangle$로 정의됩니다.

• 제약 ($C$): 세 가지 클래스로 분류됩니다:
  • $C_h$(하드): 어떤 정책 하에서도 위반이 허용되지 않습니다.
  • $C_s$(소프트): 선언된 한계 비용에서 위반이 허용됩니다.
  • $C_e$(승급): 인간 운영자에게 제어 이양이 필요한 조건입니다.
• 제약 구조: 각 제약 $c \in C$는 $\langle src, class, pred, verif, resp \rangle$라는 5 중 튜플입니다. 여기서:
  • $src$: 출처 (규제, 계약 등).
  • $class$:$h$, $s$, 또는 $e$.
  • $pred$: 상태, 행동, 시간에 대한 술어.
  • $verif$: 검증 메커니즘 (전제 조건, 런타임 모니터, 사후).
  • $resp$: 응답 프로토콜 (차단, 로그, 승급, 중단).

2.2 런타임 강제 아키텍처

제약 조건은 에이전트 루프 내 네 가지 named 강제 사이트로 컴파일됩니다:

1. 사전 행동 게이트 (PAG): 디스패치 전에 평가합니다. 상태와 행동만으로 결정 가능한 하드 제약 및 예측적 승급에 사용됩니다.
2. 행동 시간 모니터 (ATM): 실행 중 (예: 도구 호출 감싸기) 에 평가합니다. 부분 출력 (비용 누적, 스트리밍 콘텐츠) 에 의존하는 제약에 사용됩니다.
3. 사후 행동 감사자 (PAA): 완료 후 평가합니다. 행동 후 상태와 행동 전 상태를 비교 (드리프트, 부수적 효과 검증) 하는 데 사용됩니다.
4. 승급 라우터 (ER): 행동의 가역성 창에 대한 제한된 대기 시간과 함께 플래그가 지정된 행동을 인간 운영자에게 라우팅합니다.

2.3 다중 에이전트 확장

다중 에이전트 워크플로우의 경우, SARC 는 다음을 도입합니다:

• 제약 전파: 제약 조건은 호출 체인을 따라 하위 에이전트 계층으로 상속됩니다. 하위 에이전트 계층에서 결정 불가능한 제약 조건은 "결정 가능성 구조"가 가장 깊은 계층에서 평가됩니다.
• 권한 교집합: 권한은 호출 체인 내 모든 주체와 에이전트의 교집합이며, 단조 비증가적입니다.
• 귀속 보존 추적 트리: 감사 추적은 평평한 시퀀스가 아닌 계층적 트리이며, 귀속 희석을 방지하기 위해 주체 - 에이전트 관계의 전체 체인을 보존합니다.

2.4 형식적 속성

• 보상 형성의 한계: 본 논문은 Proposition 1 을 통해 유한한 보상 패널티가 일반적으로 저확률 고보상 위반에 대한 하드 제약 준수를 보장할 수 없다는 형식적 반례를 제시합니다. 따라서 하드 제약은 보상 항이 아닌 아키텍처 술어여야 합니다.
• 지정 - 추적 대응: 시스템이 8 가지 불변성 (예: 사전 행동 허용성, 추적 유도, 강제 완전성) 을 만족하면 "SARC 준수"로 간주됩니다. 이는 모델이나 프롬프트에 접근하지 않고도 추적 내의 모든 행동에 대해 어떤 제약이 적용되었고 어떤 응답이 취해졌는지 감사자가 기계적으로 검증할 수 있음을 보장합니다.

3. 주요 기여

1. 제약 지정 모델: 구현과 무관하지만 실행 가능성과 감사 가능성을 위해 특정 메타데이터를 요구하는 클래스 유형 모델 ($\langle src, class, pred, verif, resp \rangle$).
2. 에이전트 루프 강제 아키텍처: 제약 클래스를 특정 강제 지점 (PAG, ATM, PAA, ER) 에 매핑하는 규율로, 거버넌스를 문서화에서 실행 통제로 전환합니다.
3. 검증 가능한 감사 가능성: "구축 시 감사 가능"의 형식적 정의와 $O(|T| \cdot |C|)$ 시간에 사양에 대한 런타임 추적을 검증하는 프로토타입 체커.
4. 다중 에이전트 확장: 복잡한 기업 토폴로지를 처리하기 위한 제약 전파, 권한 교집합, 추적 트리 메커니즘.
5. 규제 컴파일 경로: 규제 조항 (예: EU AI 법 제 14 조) 을 실행 가능한 술어 및 런타임 검사로 매핑하는 방법.

4. 실증 평가

저자들은 사후 감사, 출력 필터링, 워크플로우 규칙, 정책 - 코드 (PaC) 만의 네 가지 베이스라인과 SARC 를 비교하는 구매 작업 ($H=1,000$개 주문, 50 개 시드) 에 대해 재현 가능한 합성 평가를 수행했습니다.

결과:

• 하드 위반: 정확한 술어 하에서 SARC 는 0개의 하드 제약 위반을 실행하여 정책 - 코드 베이스라인과 일치했으며, 출력 필터링 및 사후 감사보다 우수한 성능을 보였습니다.
• 소프트 제약: SARC 는 정책 - 코드 전용 베이스라인 대비 소프트 윈도우 초과를 89.5% 감소시켰습니다. 이는 내재적 성능에 의존하는 대신 사후 행동 감사자 (PAA) 에 억제 응답을 명시적으로 배치했기 때문입니다.
• 잔여 위반: 불완전한 강제 (술어 노이즈 또는 강제 실패) 하에서 잔여 위반은 환경적 위반 기회율이 아닌 강제 스택 오류 ($\epsilon_{pred} + \epsilon_{exec}$) 에 비례하여 증가했습니다.
• 지연 시간 트레이드오프: SARC 는 단계당 약 21ms 의 지연 시간을 발생시켰으며 (사후 대비 0ms), 이는 런타임 거버넌스의 명시적 비용을 보여줍니다.

5. 중요성 및 주장

본 논문은 SARC 를 안전 보장이나 법적 준수 인증이 아닌, 런타임에서 의무를 실행 가능하고 검사 가능하며 감사 가능하게 만드는 아키텍처 기반으로 위치시킵니다.

• 아티팩트에서 실행으로의 전환: 주요 기여는 프롬프트, 로그와 같은 아티팩트에 제약 조건을 부착하는 것에서 실행 경로에 부착하는 것으로의 전환입니다.
• 구축 시 감사 가능: SARC 는 사후에 로그에서 재구성하는 대신 시스템이 사양을 준수함으로써 감사 추적이 생성되는 "구축 시 감사 가능"을 가능하게 합니다.
• Regime B: 이 프레임워크는 제약 구성 요소 $C$를 생략하면 지정이 불완전해지는 "Regime B"(규제된, 비가역적, 또는 비대칭적 손실 환경) 배포를 위해 설계되었습니다.
• 경제적 명확성: 운영 지점과 가역성 창을 명시적으로 선언하도록 강제함으로써, SARC 는 오탐, 오미탐 및 운영자 용량 간의 트레이드오프를 자본 배분 결정으로 가시화합니다.

저자들은 SARC 가 그 자체로 시스템을 안전하게 만들지는 않지만, 시스템을 관찰 불가능한 이상 현상으로 실패하지 않도록 최적화 ($R$), 기능 ($A$), 허용 가능성 ($C$) 을 분리하여 안전과 준수를 설계하는 데 필요한 구조적 규율을 제공한다고 결론지었습니다.