기술 요약: AI 에이전트를 위한 효율적이고 건전한 확률적 검증

문제 정의

복잡한 디지털 환경에 대규모 언어 모델(LLM) 기반 AI 에이전트를 배포하는 것은, 특히 에이전트가 터미널이나 파일 시스템과 같은 시스템 인터페이스에 프로그래밍 방식으로 접근할 수 있는 경우 심각한 보안 리스크를 초와합니다. 런타임 모니터링을 통한 참조 모니터(reference monitors)는 보안 정책을 강제하는 해결책이 될 수 있지만, 기존 방식은 **결정론적 정책(deterministic policies)**에 국한되어 있습니다. 실제 시나리오에서 에이전트는 종종 상위 컴포넌트(예: PII 탐지기, 레드액션 도구 또는 분류기)에 의존하며, 이러한 컴포넌트들은 고유한 실패율을 가진 **확률적 출력(probabilistic outputs)**을 생성합니다.

현재의 결정론적 모니터는 이러한 모호성을 처리하기 위해 확률적 출력을 이진 결정으로 변환하는 로컬 임계값(local thresholds)을 적용합니다. 이러한 이산화는 보안과 유용성 사이의 취약한 트레이드오프를 만듭니다:

• 높은 임계값은 해로운 동작을 차단하지 못할 위험(거짓 음성, false negatives)을 초래합니다.
• 낮은 임계값은 안전한 동작을 과도하게 차단할 위험(거짓 양성, false positives)을 초래합니다.
• 독립성 가정: 표준 확률 추론 기법(예: 가중 모델 카운팅, Weighted Model Counting)은 흔-히 기초 사실들이 상호 독립적이라고 가정합니다. 에이전트 환경에서 이 가정은 빈번하게 유효하지 않습니다. 예를 들어, 한 파일에 대한 레드액션 도구의 실패는 공유된 콘텐츠나 도구의 동작으로 인해 다른 파일에 대한 실패와 완벽하게 상관관계가 있을 수 있습니다. 독립성에 의존하는 것은 다단계 도구 체이닝 과정에서 리스크를 심각하게 과소평가하는 결과를 낳을 수 있습니다.

본 논문은 연속적인 확률적 컨텍스트를 보존하고, 독립성 가정 없이 술어(predicate) 간의 임의의 상관관계를 처리하며, 실시간으로 정책 위반 확률에 대한 엄격하고 건전한 상한(upper bounds)을 제공하는 검증 프레임워크의 필요성을 다룹니다.

방법론

제안된 프레임워크는 에이전트 실행을 실행 궤적(execution trajectory)에 대한 **분포 강건 최적화 문제(distributionally robust optimization problem)**로 모델링합니다. 방법론은 다음 네 가지 단계로 구성됩니다.

1. 확률적 Datalog 모델링

에이전트의 실행 트레이스는 다음과 같은 Datalog 프로그램으로 컴파일됩니다:

• 기초 사실 ($F$): 경험적 도구 실패율로부터 도출된 주변 확률 경계 $[\ell_f, u_f]$에 의해 매개변수화된 초기 환경 관측(예: "파일 A에 PII가 포함됨")을 나타냅니다.
• 규칙 ($R$): 데이터 전파, 병합, 비기밀화(declassification)와 같은 상태 전이 로직을 인텐셔널 규칙(intensional rules)으로 인코딩합니다.
• 유도 그래프(Derivation Graph): 실행 트레이스는 노드가 사실을 나타내고 엣지가 규칙 적용을 나타내는 유향 비순환 그래프(DAG)로 변환됩니다. 저자들은 모든 Datalog 정책 실행이 모든 파생 사실이 최대 두 개의 부모 사실에만 의존하도록(arity $\le 2$) 재작성될 수 있음을 증명하며, 이를 통해 로직을 다중 선형 다항식(multilinear polynomials)으로 표현할 수 있게 합니다.

2. 정확한 최적화 정식화 (이론적 상한)

정책 위반의 최악의 경우 확률을 계산하기 위해, 저자들은 결합 확률 측도(joint probability measures) $\mu$의 공간에 대한 **정확한 선형 계획법(LP)**을 정식화합니다.

• 목적 함수: 안전하지 않은 상태에 도달할 확률을 최대화합니다 (예: 민감한 데이터가 외부 수신자에게 전달됨).
• 제약 조건:
  • 구조적 일관성: 측도 $\mu$는 Datalog 규칙의 결정론적 전이 로직을 위반하는 상태에 0의 확률을 할당해야 합니다.
  • 주변 경계: 측도는 알려진 기초 사실의 하한 및 상한을 준수해야 합니다.
  • 분포 강건성: 결정적으로, 이 정식화는 명시적으로 지정되지 않는 한 결합 분포(독립성, 양의/음의 상관관계)에 대한 가정을 하지 않습니다. 이는 주어진 주변 분포와 일치하는 "최악의 경우" 결합 분포를 탐색합니다.
• 한계: 이 정확한 LP는 지수적 크기($2^{|V_F|}$)를 가지며 실시간 모니터링에는 계산적으로 불가능합니다.

3. Semidefinite Programming (SDP) 완화

실행 효율성을 달ato 위해 저자들은 다항식 크기의 Semidefinite Programming (SDP) 완화를 도입합니다.

• 모멘트 추적: 전체 결합 분포를 최적화하는 대신, SDP는 상태 분포의 1차 및 2차 모멘트(기댓값 및 쌍별 상관관계)만을 추적합니다.
• 선형화: 주변 구간에 대한 **맥코믹 포락선(McCormick envelopes)**을 사용하여 공분산 제약에서 발생하는 비볼록 이차 항을 선형화합니다.
• 상관관계 클래스: 프레임워크는 특정 술어 간의 명시적 상관관계 제약(양의 상관관계, 음의 상관관계, 독립)을 지원하여, 도메인 지식이 있을 때 경계값을 조밀하게 만들 수 있도록 합니다.
• 건전성(Soundness): 저자들은 SDP 완화가 실제 실행 리스크에 대한 건전한 상한($R^*_{SDP} \ge R^*$)을 제공함을 증명합니다. 이는 모니터가 위반을 과소 차단하지 않도록 보장하며, 때때로 과잉 차단(유용성 감소)을 하더라도 보안 보장을 유지하게 합니다.

4. 런타임 인포스먼트(Runtime Enforcement)

계산된 상한은 글로벌 안전 임계값 $\tau$와 비교됩니다. 추정된 리스크가 $\tau$를 초과하면, 참조 모니터는 제안된 도구 호출을 차단하고, 그렇지 않으면 실행을 허용합니다.

주요 기여

1. 확률적 검증 모델: 모호한 환경에서의 결정론적 엔진의 보안 리스크를 식별하고, 조기 이산화를 피하는 확률적 검례 검증 모델을 도입했습니다.
2. 정확한 리스크 정식화: 다단계 에이전트 궤적을 Datalog 유도 그래프를 통해 모델링하고, 결합 측도에 대한 최악의 경우 정책 위반 리스크 계산을 정확한 최적화 문제로 정식화했습니다.
3. 건전한 SDP 완화: 2차 모멘트를 추적하여 리스크를 효율적으로 근사하는 다항식 크기의 SDP 완화를 도입했습니다. 논문은 이 완화가 실행 리스크에 대한 엄격한 상한임을 공식적으로 증명하여, 독립성 가정 없이도 건전성을 보장합니다.
4. 경험적 검증: Intercode-NL2Bash, ATBench 및 사이드 채널 취약성 작업인 Praline에 대한 벤치마크를 통해, 기존 기술보다 개선된 보안-유용성 트레이드오프를 입증했습니다.

결과

프레임워크는 세 가지 베이스라인인 Praline(상관관계를 처리하는 최첨단 Datalog 추론 엔진), Monte Carlo 샘플링(엄격한 독립성 가정), 그리고 로컬 임계값을 가진 Deterministic 엔진과 비교 평가되었습니다.

• 보안-유용성 트레이드오프: SDP 방식은 유용성-보안 트레이드오프에 대한 AUC(Area Under the Curve) 측면에서 베이스라인들을 지속적으로 능가했습니다.
  • vs. Monte Carlo: Monte Carlo는 높은 유용성을 달성했지만, 독립성 가정이 최악의 경우 리스크를 과소평가했기 때문에(특히 입력이 양의 상관관계를 가질 때) 보안 측면에서 실패했습니다(높은 거짓 음성).
  • vs. Praline: Praline은 완벽한 보안을 달성했지만, 복잡한 작업에서 솔버 타임아웃과 느슨한 경계값 문제로 인해 과도한 거짓 양성(낮은 유용성)을 겪었습니다. SDP 방식은 완벽한 보안을 유지하면서도 더 높은 유용성과 낮은 지연 시간을 달성했습니다.
  • vs. Deterministic: 결정론적 엔진은 정보 손실로 인해 안전한 동작을 차단하거나 해로운 동작을 차단하지 못하는 등 두 지표 모두에서 저조한 성능을 보였습니다.
• 지연 시간(Latency): SDP 완화는 다항식 확장성을 보여주었습니다. Intercode 및 ATBench 벤치마크에서 SDP는 베이스라인보다 훨씬 빨랐습니다 (예: Intercode에서 Praline의 ~1015ms 대비 SDP의 ~221ms). 많은 상관관계 제약이 있는 복잡한 사이드 채널 작업에서 SDP 지연 시간이 증가하긴 했으나, 정확한 SMT 추론과 관련된 지수적 꼬리 지연 시간이나 타임아웃 없이 예측 가능한 수준을 유지했습니다.
• 상관관계 민감도: 실험 결과, 입력 상관관계가 증가함에 따라 독립성 가정(Monte Carlo)은 유용성이 급격히 떨어지는 현상을 보였습니다(실제 최악의 경계가 더 타이트한 상관된 설정에서도 리스크를 과대평가하여 거짓 양성 증가). SDP 프레임워크는 이러한 제약에 효과적으로 적응했습니다.

의의 및 주장

본 논문은 AI 에이전트를 위한 결정론적 검증에서 확률적 검증으로의 패러다임 전환을 주장합니다. 주요 의의는 모호함이 존재하는 환경에서 건전성(엄격한 보안 보장)과 트랙터빌리티(실시간 성능) 사이의 간극을 메우는 데 있습니다.

• 강건성: 분포 강건 최적화를 활용함으로써, 프레임워크는 술어 간의 알려지지 않은 상관관계와 관계없이 보안 보장이 유지되도록 합니다. 이는 도구의 실패가 결합될 수 있는 실제 에이전트 배포 환경에서 필수적인 요구사항입니다.
• 실용성: SDP 완화는 연속적인 확률적 입력을 가진 복잡한 다단계 보안 정책을 계산적으로 불가능한 정확한 추론이나 독립성 가정의 보안 리스크 없이도 실행 가능하게 합니다.
• 기초 구축: 이 연구는 휴리스틱 방어를 넘어 형식적이고 확률적인 강제 집행을 통해, 모호한 환경에서 작동하는 자율 에이전트를 보호하기 위한 확장 가능한 기초를 마련합니다.

저자들은 한계점 또한 인정했습니다. 구체적으로, 팩트 병합(fact merging) 정도가 높은 매우 긴 실행 지평(execution horizon)에서는 리스크 경계가 저하(1.0으로 수렴)될 수 있으며, 이 접근 방식은 에이전트가 생성한 임의의 스크립트에 대해 사전에 정의된 도구 시맨틱에 의존한다는 점입니다. 그러나 본 프레임워크는 엄격하고 확장 가능한 에이전트 보안을 향한 중요한 진전으로 제시됩니다.