기술 요약: 실세계 에이전트 시스템을 위한 형식적 정책 강제

문제 제기

이메일 발송, 코드 실행, 데이터베이스 쿼리 등의 작업을 수행하기 위해 외부 도구와 대규모 언어 모델 (LLM) 을 통합하는 현대의 에이전트 시스템은 보안 및 조직 정책을 강제하기 위한 강력한 메커니즘이 부족합니다. 현재의 접근 방식은 주로 에이전트의 시스템 프롬프트 내에 자연어 정책을 임베딩하고, 준수 여부를 에이전트의 추론 능력에 위임하는 데 의존합니다. 이 방법론은 다음과 같은 세 가지 치명적인 한계를 겪고 있습니다:

1. 형식적 보장 부재: 준수는 휴리스틱적이며 모델이 지시를 따르는 능력에 의존하므로, 결정론적인 강제 수단이 없습니다.
2. 인과적 역사 표현 불가: 자연어 프롬프트는 이전 단계에서 승인 Y 가 획득되었을 때만 행동 X 를 허용하는 것과 같이, 실행의 인과적 역사에 의존하는 정책을 강제하는 데 어려움을 겪습니다.
3. 다중 에이전트 시스템에서의 확장성 부족: 기존 접근 방식은 에이전트 간 경계와 사건의 부분적 순서를 추론해야 하는 다중 에이전트 환경에는 적합하지 않으며, 단순한 선형 추적에 의존합니다.

이러한 격차는 에이전트 시스템을 프롬프트 인젝션, 무단 도구 사용, 적대적 재구성 (adversarial reframing) 에 취약하게 만들어 실세계 시나리오에서의 안전한 배포를 제한합니다.

방법론

저자들은 FORGE(FOrmal Runtime Guarantee Enforcement) 를 제안합니다. 이는 정책 강제를 교차 관심사 (cross-cutting concern) 로 간주하고 관점 지향 프로그래밍 (AOP) 에 기반한 프레임워크입니다. 이 프레임워크는 정책 논리를 에이전트 추론과 분리하여, 에이전트 내부 코드를 수정하지 않고도 모든 정책 관련 결정 지점에서 규칙을 강제합니다.

핵심 아키텍처

1. 관점 지향적 공식화:

   • 조인 포인트 (Join Points): 승인을 기다리는 후보 행동 (예: 도구 호출) 으로 정의됩니다.
   • 포인트컷 (Pointcuts): 실행 상태에 대한 불리언 함수로, 어떤 규칙이 어떤 행동에 적용되는지를 결정합니다.
   • 어드바이스 (Advice): 정책을 평가하고 Allow 또는 Deny 판정을 반환하는 참조 모니터 (Reference Monitor) 가 수행하는 강제 계산입니다.
   • 위버 (Weaver): 도구 호출을 가로채고, 실행을 일시 정지하며, 모니터를 참조한 후 승인 시에만 진행하는 인스트루멘테이션 레이어입니다.

2. 정책 언어 (Datalog):

   • 정책은 층화 부정 (stratified negation) 과 외부 함수 확장이 포함된 Datalog로 명시됩니다.
   • 표현력: 선언적 규칙 명세와 재귀를 지원하여 전이적 관계 (예: 감독 체인) 와 관계 기반 접근 제어 (ReBAC) 를 정의할 수 있게 합니다.
   • 분석 가능성: 모순 탐지, 중복성, 포괄성, 조건부 도달 가능성에 대한 정적 분석을 가능하게 하여, 자연어 명세에 내재된 모호성을 해결하고 정책 의도를 검증할 수 있게 합니다.
   • 번역: 자연어 정책 문서를 Datalog 프로그램으로 번역하는 파이프라인이 있으며, 커버리지 및 함의 검증을 위해 소스 텍스트와의 절 단위 링크가 주석으로 포함됩니다.

3. 정책 기질 및 환경 계약:

   • 기질 ($\Sigma$): 실행 컨텍스트를 설명하는 추상 술어 (역할, 출처, 도메인 특화) 의 집합입니다.
   • 관측성 서비스: 이벤트 (메시지, 도구 호출, 결과) 의 인과적 의존성 그래프를 유지하고 기질 술어를 채웁니다.
   • 가정/보장 계약: 환경이 계약을 만족한다는 가정 하에 정확성이 보장됩니다. 즉, 환경은 의도된 해석 (예: 정확한 인과적 계보) 과 일관된 사실로 기질 술어를 정합적이고 충분히 채워야 합니다. 계약이 성립하면 참조 모니터의 결정은 정책의 의도된 의미와 일치합니다.

주요 기여

1. 에이전트 강제를 위한 형식적 프레임워크: 이 논문은 AOP 패러다임을 활용하여 교차 관심사를 핵심 논리에서 분리함으로써, 다중 에이전트 시스템에서 형식적 정확성 보장을 갖춘 정책을 자동으로 강제할 수 있는 최초의 프레임워크를 제시합니다.
2. Datalog 기반 정책 명세: 재귀와 정적 분석을 지원하는 Datalog 를 에이전트 시스템의 정책 언어로 도입하여, 자연어 프롬프트로는 표현할 수 없는 복잡하고 상태가 있는 정책을 처리할 수 있게 합니다.
3. FORGE 시스템: 관점 위버, 관측성 서비스, 참조 모니터로 구성된 실제 구현체입니다. FORGE 는 에이전트 코드 변경 없이 런타임에서 정책을 강제하기 위해 에이전트 프레임워크 (예: Langroid, $\tau^2$) 를 인스트루먼트합니다.
4. 정확성 정리: 저자들은 환경이 기질 계약을 만족한다면 런타임 강제 결정이 정책의 의도된 의미에 대해 정확하다는 가정/보장 정리를 증명합니다.

평가 결과

이 프레임워크는 세 가지 정량적 사례 연구와 두 가지 실세계 배포에서 평가되었습니다:

1. 프롬프트 인젝션 방어 (정보 흐름):

   • 목표: 프롬프트 인젝션을 통한 데이터 유출 방지.
   • 결과: 인스트루먼트되지 않은 에이전트는 공격 성공률이 100% 였습니다. FORGE 는 이를 **0%**로 낮추었으며, 유해하지 않은 작업에서는 100% 의 유틸리티를 유지했습니다.
   • 오버헤드: 실험당 지연 시간이 약 12~15 초 증가했으나 비용 증가는 미미했습니다 (<$0.003).

2. 고객 서비스 워크플로우 ($\tau^2$-Bench):

   • 목표: 세 가지 최첨단 모델을 통해 취소, 환불, 수하물 등 비즈니스 규칙 강제.
   • 결과: 준수율이 **58% 에서 98%**로 향상되었습니다. 작업 성공률은 유지되거나 개선되었습니다 (예: 통과율이 58% 에서 98% 로 상승).
   • 오버헤드: 종단 간 지연 시간이 19~38% 증가했습니다 (중앙값 마이크로초 이하 승인 결정); 실험당 비용 증가는 $0.05 미만입니다.

3. 다중 에이전트 약물 감시 (MALADE):

   • 목표: 다중 에이전트 파이프라인 전반에 걸쳐 FDA 데이터 접근에 대한 승인 워크플로우 강제.
   • 결과: 15 회 실험에서 무단 FDA 접근이 40 건에서 0 건으로 감소했습니다. 작업 정확도는 100% (15/15 정확한 예측) 로 유지되었습니다.
   • 오버헤드: 지연 시간이 72.5 초에서 95.4 초로 증가했습니다 (차단 후 재시도 사이클에 기인); 실험당 비용은 $0.072 에서$0.103 로 증가했습니다.

실세계 배포: 이 논문은 OpenClaw(에이전트 간 개인정보 보호 강제) 와 VS Code Copilot Chat(정적 분석 통과 전까지 git push 차단) 에서의 성공적인 적용 사례도 설명합니다.

중요성 및 주장

이 논문은 FORGE 가 자연어 기반의 비공식적 정책 명세와 에이전트 시스템의 엄격한 런타임 강제 사이의 격차를 해소함으로써 중요한 진전을 이루었다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 결정론적 보장: 프롬프트 기반 접근 방식과 달리, FORGE 는 환경 계약이 충족되는 한 정책 위반을 구조적으로 제거합니다.
• 상태 기반 강제: 기존 상태 비저장 또는 선형 추적 기반 시스템에 결여된 기능인, 인과적 역사와 다중 에이전트 간 전이적 관계에 의존하는 정책을 고유하게 지원합니다.
• 모듈성: 강제를 런타임에 직조함으로써 에이전트의 내부 추론이나 기본 도구를 변경하지 않고도 복잡한 조직 정책을 강제할 수 있게 합니다.
• 분석 가능성: Datalog 의 사용으로 배포 전 정책의 모순과 모호성을 탐지할 수 있으며, 정책을 불투명한 프롬프트가 아닌 검토 가능한 아티팩트로 다룰 수 있게 합니다.

저자들은 번역 파이프라인에 대해 겸손한 태도를 유지하며, 자연어에서 Datalog 로의 번역이 LLM 을 통해 실현되지만 현재는 형식적 정확성 보장이 없으며 수동 검토와 반복적 검증이 필요하다고 인정합니다. 이 번역의 견고성과 비전문가 정책 작성자로의 확장을 향후 과제로 식별했습니다.