기술 요약: 금융권 LLM 에이전트를 위한 검증 가능한 위임 권한

1. 문제 정의

금융 인프라에 대규모 언어 모델(LLM) 에이전트를 통합하는 것은 근본적인 보안 격차를 야기한다. 전통적인 API 보안 모델은 인증된 세션 내의 인간 또는 버전 관리된 API를 호출하는 결정론적 서비스라는 안정적인 행위자 가정에 의존한다. LLM 에이전트는 비정형 컨텍스트를 읽고, 비결정론적으로 추론하며, 실행 시마다 달라질 수 있는 행동 시퀀스를 선택함으로써 이 두 가지 가정을 모두 위반한다.

에이전트가 자금 이동이 발생하는 시스템에 연결될 때, 이러한 비결정론은 심각한 리스크를 초래한다. 기존의 안전성 연구는 주로 프롬프트 인젝션 탐지나 모델 수준의 필터링에 집중한다. 그러나 저자는 규제 대상인 금융업을 위해, 권한 집행의 주체를 모델 내부가 아닌 실행 경계(execution boundary)로 옮겨야 한다고 주장한다. 핵심 과제는 에이전트를 신뢰할 수 없는 확률적 제안자(stochastic proposer)로 간주하면서도, 에이전트가 위임된 권한을 초과할 수 없다는 형식적 보장을 제공하는 동시에, 제3자(감사인 또는 규제 기관)가 에이전트의 자기 보고를 신뢰하거나 모델의 가중치에 접근하지 않고도 준수 여부를 검증할 수 있도록 하는 것이다.

2. 방법론 및 시스템 아키텍처

본 논문은 LLM을 엄격하게 유형화된 행동(typed actions)을 제안하는 신뢰할 수 없는 제안자로 취급하고, 결정론적인 정책 엔진과 실행 계층이 모든 권한을 집행하는 공식 아키텍처를 제안한다.

핵심 구성 요소

• 권한의 형식적 모델:
  • 행동(Actions): 매개변수 공간(예: 금액, 통화) 및 관련 손실 노출을 가진 유형화된 행동으로 정의된다.
  • 위임 체인(Delegation Chains): 권한은 시간이 지남에 따라 감쇄(attenuate)되는 일련의 부여(grants)로 표현된다. 유효한 체인은 어떤 에이전트도 권한을 상승시킬 수 없음을 보장한다. 즉, 특정 에이전트의 유효 권한은 루트 주체(root principal)의 부여 범위의 부분집합이다.
  • 신뢰 컴퓨팅 기반(TCB): 정책 엔진, 실행 계층, 추가 불가능한 로그(append-only log), 그리고 신원 인프라를 포함한다. LLM은 명시적으로 TCB에서 제외된다.
• 서명된 의도 엔벨로프(Intent Envelopes) 및 토큰 프로토콜:
  • 의도 엔벨로프: 제안된 행동은 행동, 에이전트 신원, 위임 체인 및 비즈니스 케이스를 포함하는 서명된 엔벨로프에 담긴다.
  • 역량 토큰(Capability Tokens): 정책 승인 시, 엔진은 단일 사용 가능하며 매개변수 경계가 설정된 토큰을 발행한다. 결정적으로, 토큰의 유효 기간($t_{exp}$)은 기초가 되는 위임 체인의 만료 시간과 엄격히 제한되어야 한다.
  • 실행 체크: 실행 계층은 토큰 서명을 검증하고, 행동이 토큰의 유형 및 매개변수 범위를 충족하는지 확인하며, 토큰이 시간 범위 내에 있는지, 그리고 식별자가 이미 사용되었는지 여부를 확인한다.
• 검증 가능한 워크플로우:
  • 모든 상태 전이는 추가 불가능한 해시 체인 로그에 서명된 이벤트를 생성한다.
  • **증거 기반 검증기(evidence-only verifier)**는 모델을 재현하거나 가중치에 접근하지 않고도 로그, 공개 키, 정책 버전을 사용하여 전체 워크플로우를 검증할 수 있다.
• 다중 에이전트 합의(Multi-Agent Consensus):
  • 고위험 의도의 경우, 독립적으로 구성된 두 번째 검토 에이전트가 도입된다.
  • 본 논문은 "공통 원인(common-cause)" 실패(예: 공유된 학습적 맹점)를 모델링하여, 리뷰어의 다양성(서로 다른 모델 제품군/프롬프트)이 잔여 리스크를 줄이는 데 있어 리뷰어의 수보다 더 중요하다는 것을 입증한다.

3. 주요 기여

본 논문은 다섯 가지 구체적인 이론적 및 실무적 기여를 제공한다.

1. 형식적 모델: 유형화된 금융 행동, 감쇄하는 위임 체인, 그리고 인간 승리 라이프사이클을 가진 결정론적 속성 기반 액세스 제어(ABAC) 정책 엔진을 특징으로 하는 금융권 LLM 에이전트를 위한 위임 권한의 정의를 제공한다.
2. 인증 프로토콜 및 증명:
   • 정리 1 (권한 봉쇄): 임의의 적대적 제안자 하에서도, 정책 엔진과 서명 체계가 안전하다면 실행된 모든 행동이 유효한 위임 체인의 유효 권한 내에 포함됨을 증명한다.
   • 정리 2 (무인 실행 손실 상한): 유형별 캡(cap)과 슬라이딩 윈도우 속도 제한을 기반으로, 인간의 승인 없이 실행된 행동에 대한 금융 손실의 폐쇄형 상한(closed-form upper bound)을 도출한다.
3. 다중 에이전트 합의 분석:
   • 명제 1: 합의의 잔여 리스크를 정량화하며, 다양성을 통해 "공통 원인" 실패 확률($\gamma$)을 줄이지 않는 한 리뷰어를 추가하는 것이 수익 체감의 법칙을 따름을 보여준다.
   • 명제 2: 위해 가능성과 검토 비용에 기반하여 인간 또는 에이전트 검토를 호출하기 위한 비용 효율적인 규칙을 수립한다.
4. 검증 가능한 워크플로우 정의:
   • 정리 3 (변조 방지): 서명된 헤드와 독립적인 목격자(rollback 공격 방지용)를 가진 로그는 어떠한 수용된 증거 시퀀스도 실제 로그와 일치함을 보장함을 증명한다.
   • 정리 4 (건전성): 증거 기반 검증기가 모델에 접근하지 않고도 실행된 행동이 권한 내에 있고 범위 내에 있었음을 건전하게 인증할 수 있음을 입증한다.
   • 명제 3: 모델 버전 변경 시 정책 드리프트(policy drift)를 탐지하기 위한 샘플 복잡도 상한을 제공한다.
5. 참조 구현 및 시뮬레이션:
   • 봉쇄성, 손실 상한, 변조 증거를 검증하기 위해 적대적 제안자(LLM 제외)를 대상으로 테스트된 Python 구현체를 제공한다.

4. 결과

참조 구현 및 시뮬레이션 결과는 다음과 같다:

• 봉쇄성: 위조된 토큰, 재생 공격(replay), 매개변수 조작을 포함한 9가지 공격 클래스를 포함하여 700,000회의 적대적 제안자 시도 중, 권한 봉쇄 정리를 위반하는 미승인 실행은 발생하지 않았다.
• 손실 상한의 타이트함: 속도 제한을 포화시킨 적대자는 이론적 상한(정리 2)과 정확히 일치하는 최대 노출을 달성하였으며, 이는 상한이 타이트함을 확인해 준다.
• 프로토콜 격차 식별: 시뮬레이션은 초기 설계의 두 가지 결정적인 격차를 드러냈다:
  1. 토큰 만료: $t_{exp} \le t_k$ (토큰 만료 $\le$ 체인 만료) 규칙이 없었을 경우, 20,000건의 시도 중 12,383건이 위임된 권한이 만료된 후 실행되었다.
  2. 로그 롤백: 독립적인 목격자 체크가 없으면 공격자가 이전의 서명된 헤드로 로그를 롤백할 수 있었으나, 목격자 체크를 도입하자 탐지율이 100%가 되었다.
• 성능: 인코딩 체크, 정책, 토큰 민팅, 실행, 로깅을 포함한 집행 파이프라인의 중앙값 오버헤드는 액션당 45마이크로초로, 집행 비용이 병목 현상이 아님을 시사한다.
• 합의 모델링: 공통 원인 모델에 대한 몬테카를로 시뮬레이션은 명제 1의 분석적 예측과 오차 범위 내에서 일치했다.

5. 의의 및 주장

저자는 이 연구가 일반적인 다중 에이전트 안전성 연구와 구별되는, 규제 대상인 뱅킹에 특화된 형식적 처우임을 강조한다.

• 신뢰 경계의 전환: 집행을 실행 경계로 옮기고 LLM을 신뢰할 수 없는 제안자로 취급함으로써, 은행은 모델의 추론이나 정렬(alignment)에 의존하지 않고도 증명 가능한 권한 봉쇄와 정량화된 손실 상한을 달성할 수 있다고 주장한다.
• 감사 가능성: 제3자(감사인/규제 기관)가 독점적인 모델이나 가중치에 접근하지 않고도 증거 기반 검증기를 통해 준수 여부를 검증할 수 있다는 점이 중요한 주장이다.
• 정량적 리스크 관리: 다중 에이전트 검토에 대한 정량적 프레임워크를 제공하며, 단순히 리뷰어의 수를 늘리는 것보다 다양성이 잔여 리스크를 줄이는 주요 레버라는 점을 논한다.
• 범위의 겸허함: 저자는 결과가 LLM이 강제된 경계 내에서 작동한다는 가정하에 이루어졌음을 명시한다. 본 연구는 프롬프트 인젝션이 에이전트를 허용되지만 바람직하지 않은 행동(예: 허용 범위 내에서 잘못된 결제를 재전송하는 것)으로 유도하는 문제를 해결하지는 못하지만, 합의 구조가 이러한 사건의 발생 가능성을 낮춘다고 언급한다. 또한, 증명들이 기계적 검증이 아닌 "펜과 종이" 수준의 증명임을 인정하며, 시뮬레이션은 실제 LLM이 포함되지 않은 합성 데이터를 사용했으므로 실제 환경에서의 인젝션 저항성 및 유용성 평가는 향후 과제로 남겨둔다.

결론적으로, 본 논문은 이러한 형식적 아키텍처 없이는 에이전트를 핵심 뱅킹 인프라에 통합하는 것이 "대부분 검증되지 않은 공격 표면"을 만드는 일이라고 주장한다. 이러한 아키텍처를 통해 금융 기관은 형식적인 봉쇄 및 검증 보장을 바탕으로 백오피스 워크플로우에 에이전트 자동화를 확장할 수 있다.