Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

기술적 요약: 안전한 LLM 에이전트 배포를 위한 3 층 확률적 가정 - 보장 (Assume–Guarantee) 아키텍처

1. 문제 제기

안전이 중요한 환경에서 대규모 언어 모델 (LLM) 에이전트를 배포하는 것은 단일 계층의 강제 메커니즘으로는 해결할 수 없는 런타임 보증 (runtime assurance) 에 대한 구조적 과제를 제시합니다. 정적 텍스트 생성과 달리, LLM 에이전트는 생성된 계획이 물리적 세계와 미래 관측에 영향을 미치는 폐루프 실행에 참여합니다. 본 논문은 안전한 운영을 위해서는 세 가지 서로 다른 차원의 동시 만족이 필요하다고 주장합니다:

1. 의미적 의도 및 정책 준수: 사용자 지시, 윤리적 제약, 그리고 도메인 규칙과의 정렬.
2. 환경적 유효성: 현재 세계 상태가 운영 설계 영역 (ODD) 내에 있음을 검증.
3. 동역학적 실현 가능성: 실행 궤적이 물리적 안전 제약 (예: 충돌 회피, 힘 제한) 을 만족함을 보장.

핵심 문제는 이 세 가지 차원이 실행의 서로 다른 단계에서 이용 가능해지는 엄격히 구별된 정보 집합에 의존한다는 점입니다. 의미적 의도는 사전 (a priori) 에 알려져 있으며, 환경적 유효성은 실행 시 센서 데이터를 필요로 하고, 동역학적 실현 가능성은 실행 중 제어 루프 궤적에 의존합니다. 본 논문은 이러한 차원들을 단일 추상화 계층으로 축소하는 어떤 아키텍처라도 적어도 하나의 차원을 인증하지 못한 채 남겨두게 된다고 주장합니다. 왜냐하면 단일 가드레일 (guardrail) 이 세 가지 모두에 필요한 정보에 동시에 접근할 수 없기 때문입니다. 벤치마크 (예: AgentSafetyBench) 에서의 경험적 증거는 이를 뒷받침하며, 안전 실패가 순수 의미적 제어의 범위를 넘어선 환경적 및 물리적 차원에 집중됨을 보여줍니다.

2. 방법론: 계약 기반 3 층 아키텍처

이 구조적 불충분성을 해결하기 위해, 본 논문은 3 층 확률적 가정 - 보장 (A/G) 아키텍처를 제안합니다. 이 프레임워크는 안전을 결정론적 증명보다는 확률적 계약의 구성으로 간주하며, 각 계층이 해당 단계에서 이용 가능한 정보를 기반으로 특정 안전 차원을 강제합니다.

아키텍처는 각각 입력에 대한 가정 $A_i$와 출력에 대한 확률적 보장 $\Gamma_i$로 정의된 계약 $\Sigma_i = (A_i, \Gamma_i)$에 의해 정의되는 세 개의 순차적으로 구성된 계층으로 구성됩니다:

• 계층 1: 사용자 보증 계층 ($\Sigma_U$)

  • 정보 집합 ($I_U$): 사용자 의도, 정책, 역할 메타데이터, 윤리적 규칙. 세계 관측은 이용 가능하지 않음.
  • 기능: 생성된 계획 $p$를 의미적 정렬 (인지적, 규제적, 윤리적) 및 사용자 권한 부여에 대해 검증.
  • 계약: 요청이 권한 부여된 경우 ($A_U$), 해당 계층은 계획이 권한 부여된 위치만을 대상으로 하며 정책 위반이 없음을 보장합니다 ($\Gamma_U$). 이 보장은 다음 계층의 가정으로 작용합니다.
  • 메커니즘: 비공식적 의도와 정책 제약을 형식화하기 위해 신경 - 심볼릭 (neural-symbolic) 방법을 사용.

• 계층 2: 운영 보증 계층 ($\Sigma_O$)

  • 정보 집합 ($I_O$): 추정된 세계 상태 $\hat{w}$, 센서 데이터 $\xi$, 그리고 ODD 사양.
  • 기능: 에이전트가 현재 세계 상태에서 행동할 자격이 있는지 판단하고 자율성 범위 (예: 속도 제한, 허용된 동작) 를 정의.
  • 계약: 계획이 사용자 계층을 통과했다고 가정할 경우 ($A_O \equiv \Gamma_U$), 해당 계층은 실행이 ODD ($W_{ODD}$) 내에 머무르고 ODD 제약에 위배되는 하위 계획이 차단됨을 보장합니다 ($\Gamma_O$).
  • 메커니즘: 감사 가능성을 보장하기 위해 세계 상태 추정에 대한 결정론적 유효성 검사를 수행하며, 상류의 확률적 불확실성을 처리.

• 계층 3: 기능 보증 계층 ($\Sigma_F$)

  • 정보 집합 ($I_F$): 전체 상태 궤적 $x(t)$, 제어 입력 $u(t)$, 그리고 시스템 동역학.
  • 기능: 작동 (actuation) 중 제어 루프 주파수에서 안전을 강제.
  • 계약: 운영 계층의 유효성을 가정할 경우 ($A_F \equiv \Gamma_O$), 해당 계층은 충돌이 없으며 물리적 제약 (예: 힘 제한) 을 준수함을 보장합니다 ($\Gamma_F$).
  • 메커니즘: 명세 기반 런타임 모니터링 (신호 시간 논리), 최소 개입을 위한 제어 장벽 함수 (CBFs), 그리고 시뮬레이션 기반 합성을 결합.

구성적 안전 경계:
시스템 수준의 안전 확률은 확률의 연쇄 법칙을 통해 유도됩니다. $\Gamma_U \implies A_O$이고 $\Gamma_O \implies A_F$이므로, 시스템 안전의 확률은 다음과 같습니다:
$$Pr(\text{safe}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
여기서 $p_{O|U}$와 $p_{F|OU}$는 상류 필터링의 효과를 반영하는 조건부 확률입니다. 본 논문은 이 경계의 네 가지 특성화 (B1–B4) 를 제공하며, 이는 (한계치만 사용하는) 보수적인 프레셰 - 본페로니 하한에서 모듈식, 계층별 인증을 가능하게 하는 정확한 연쇄 법칙 분해 (B4) 에 이르기까지 다양합니다.

3. 주요 기여

• 3 계층에 대한 구조적 논증: 본 논문은 세 개의 독립적으로 인증된 단계가 구조적으로 필수적임을 증명합니다 (부록 B). 이는 3 층 미만의 아키텍처는 정보 이용 가능성의 인과적 시간표 (예: 센서 데이터가 존재하기 전에 운영 안전을 인증) 를 위반하거나, 단일 구성 요소 내에서 암시적으로 3 단계 구조를 재구성하여 구성적 검증 가능성을 상실하게 됨을 보여줍니다.
• 정보 주도 분해: 목표, 계획, 도구와 같은 파이프라인 아티팩트에 기반한 이전 분류와 달리, 이 아키텍처는 정보 이용 가능성의 시간적 순서 ($I_U \subset I_O \subset I_F$) 에 의해 주도됩니다. 이 구분은 각 단계에서 인증이 올바른 정보 도메인에 의존하도록 보장합니다.
• 확률적 가정 - 보장 프레임워크: 본 논문은 A/G 계약을 비정상적이고 비-i.i.d.인 LLM 에이전트의 특성에 맞게 적응시켰습니다. LLM 출력은 본질적으로 확률적이고 환경은 불확실하다는 점을 인정하여 이진 보장을 넘어선 확률적 경계로 나아갑니다.
• 양방향 보증 루프: 이 아키텍처는 안전 신호 ($s_F, s_O$) 가 하향식으로 전파되는 라이브 루프로 설계되었습니다. 하위 계층이 위반 (예: 충돌 위험) 을 감지하면 실행을 단순히 중단하는 대신 사용자 계층에서 계획 재계산을 트리거합니다.

4. 결과 및 분석

이 논문은 위치 논문 (position paper) 으로서 새로운 경험적 벤치마크를 제시하지는 않지만, 구조적 주장을 지지하기 위해 기존 문헌을 종합합니다:

• 벤치마크 일관성: 본 논문은 현재 에이전트들 (예: AgentSafetyBench 기준) 이 콘텐츠 안전 (68.4%) 에 비해 행동 및 환경 안전 (30.4%) 에서 현저히 실패한다고 지적하며, 단일 계층 의미 가드레일이 불충분하다는 주장과 일치함을 보여줍니다.
• 이론적 경계: 본 논문은 시스템 안전에 대한 수학적 경계 (B1–B4) 를 유도합니다. 간병인 로봇과 같은 진행 중인 예시를 통해, 상류 필터링이 효과적일 경우 연쇄 법칙 경계 (B4) 는 단순한 한계치의 곱 (0.787) 에 비해 훨씬 높은 안전 확률 (예: 0.857) 을 산출할 수 있음을 시사합니다.
• 민감도 분석: 분석에 따르면 시스템은 가장 약한 계층에 민감합니다. 한 계층의 확률이 저하되면 전체 시스템 경계가 곱셈적으로 저하되며, 다른 계층을 강화하더라도 한 계층의 공백을 보상할 수 없습니다.

5. 중요성 및 미해결 문제

본 논문은 제안된 3 층 아키텍처가 안전한 LLM 에이전트 배포를 위한 최소 실행 가능 인증 구조라고 주장합니다. 현재 해당 분야는 이를 구성하고 인증하기 위한 이론적 인프라보다 더 빠른 속도로 안전 메커니즘을 생산하고 있다고 논합니다.

본 논문은 이 이론적 프레임워크에서 배포 가능한 표준으로 전환하기 위해 해결되어야 할 세 가지 미해결 문제를 명시적으로 식별합니다:

1. 비-i.i.d. 추적에서의 경계 추정: LLM 추적은 비정상적이고 의존적이기 때문에 표준 통계 방법 (PAC 경계 등) 은 실패합니다. 조건부 확률 $p_{O|U}$와 $p_{F|OU}$를 추정하기 위해 새로운 방법 (예: 마팅게일 경계, 비교환 데이터에 대한 컨포멀 예측) 이 필요합니다.
2. 배포 드리프트 하의 우아한 저하: 현재 계약은 취약하며, 가정이 위반되면 보장은 공허해집니다. 본 논문은 가정이 약간 위반될 때 보장이 비례적으로 저하되도록 허용하는 "강건한 계약"을 제안하여 분포 변화 동안 통제된 운영을 가능하게 합니다.
3. 다중 에이전트 환경으로의 확장: 현재 프레임워크는 단일 에이전트를 다룹니다. 다중 에이전트 시스템은 교차 에이전트 신념 조작과 같은 새로운 실패 모드를 도입하므로, 에이전트 간 메시지의 출처 (provenance) 라는 네 번째 정보 도메인과 수정된 인증 구조가 필요합니다.

결론적으로, 본 논문은 안전한 LLM 에이전트 배포가 단순히 더 강력한 가드레일을 구축하는 공학적 과제가 아니라, 정보의 인과적 순서를 존중하는 단계별 계약 기반 아키텍처에 대한 구조적 요구사항이라고 단언합니다. 제안된 프레임워크는 역동적이고 불확실한 환경에서 모듈식, 구성적 안전 인증을 위한 필요한 이론적 기초를 제공합니다.