Capability Gates Are Not Authorization: Confused-Deputy Failures in LLM Agent Frameworks

기술 요약: 기능 게이팅(Capability Gates)은 권한 부여(Authorization)가 아니다

문제 정의
본 논문은 현재의 대규모 언어 모델(LLM) 에이전트 프레임워크에서 발생하는 결정적인 보안 격차를 식별한다. 즉, **기능 게이팅(capability gating)**과 **호출당 권한 부여(per-call authorization)**를 혼동하고 있다는 점이다. LangChain, LlamaIndex, Stripe Agent Toolkit과 같은 프레임워크는 에이전트가 접근할 수 있는 도구의 종류(which tools)를 제한하는 데는 성공적이지만(기능 게이팅), 특정 도구 호출 시 특정 인자 값(specific argument values)이 권한을 가졌는지 여부를 기본적으로 검증하는 데는 실패한다.

이는 혼동된 대리인(confused-deputy) 취약점을 생성한다. 이 패턴에서, 권한을 가진 구성 요소(에이전트 런타임)는 공격자가 제어하는 입력(간접 프롬프트 주입을 통해)에 의해 자신의 권한을 오용하도록 유도된다. 만약 런타임이 도구의 존재 여부와 스키마 유효성만을 근거로 모델이 생성한 도구 호출을 수락하고, (예: account=acct_ATTACKER_999와 같이) 구체적인 인자 값을 외부 정책과 대조하여 검증하지 않는다면, 신뢰할 수 없는 모델이 실행(action)과 권한 사실(authorization fact)을 모두 제공하게 된다. 본 논문은 비용 최적화된 "배포 계층(deployment-tier)" 모델들이 플래그십 모델(미승인 작업 시도율(ASR) 0.189)에 비해 이러한 미승인 호출을 생성하는 경향이 훨씬 높다(ASR 0.603)고 주장하며, 이는 위험을 악화시킨다.

방법론
저자들은 세 가지 측면의 방법론을 채택하였다:

1. 교차 프레임워크 감사(Cross-Framework Audit): LangChain/LangGraph, LlamaIndex, Stripe Agent Toolkit의 고정된 공개 소스 커밋에 대한 정적 분석을 수행하였다. 이 감사는 모델이 생성한 후 부수 효과(side-effect)를 실행하기 전, 구체적인 인자 값에 대해 결정론적이고 실패 시 차단되는(fail-closed) 권한 부여 체크가 있는지 확인하는 것을 목표로 하였다.
2. 위협 측정(Threat Measurement): 작업 정렬된 프롬프트 주입 시나리오 하에서 27개 모델(배포 계층 및 플래그십 변형 포함)의 ASR을 측정하는 동반 벤치마크를 수행하였다. 하네스는 실제 부수 효과를 실행하지 않고 미승인 도구 호출 시도율을 측정하기 위해 샌드박스 피스처, 비라우팅 싱크(non-routable sinks), 결정론적 카나리(canaries)를 사용하였다.
3. 제어 평가(Control Evaluation): 정책 결정 지점/정책 집행 지점(PDP/PEP) 제어 모델인 SCOPEGATE를 설계하고 테스트하였다. 저자들은 SCOPEGATE를 다음 항목들에 대해 평가하였다:
   • LangChain과 LlamaIndex를 사용한 재현 가능한 개념 증명(PoC)을 통한 기본 격차 입증.
   • 공백, 호모글리프(homoglyphs), 타입 혼란, NaN 주입을 포함한 48개의 정적 우회 벡터 세트.
   • GLM-5.2 모델을 사용한 적응형 공격자 시뮬레이션(40회 반복).
   • 오탐(false-denial) 비율을 측정하기 위한 양호한 제어 테스트.
   • Latam-GPT 소버린 모델을 사용한 특정 격리 비넷(vignette).

주요 기여

• 위협 측정: 본 논문은 작업 정렬된 주입 프레임워크 하에서 배포 계층 모델이 플래그십 모델보다 미승인 작업을 약 3.2배 더 많이 시도한다는 실증적 증거를 제공한다.
• 프레임워크 감사: 주요 에이전트 프레임워크들이 기능 게이팅은 갖추고 있으나, 인자 값에 대한 기본적이고 결정론적인 fail-closed 방식의 호출당 권한 부여 기능은 결여되어 있음을 확립한다. 이는 권한 부여 결정을 프레임워크가 아닌 통합자(integrator)에게 맡기는 결과를 초래한다.
• SCOPEGATE 제어: 저자들은 다음을 강제하는 5단계 PDP/PEP인 SCOPEGATE를 도입한다:
  1. 범위(Scope): 목록에 없는 도구를 거부한다.
  2. 권한 부여(Authorization): 검증된 허용 목록에 없는 인자를 거부한다(예: 특정 계정 ID).
  3. 금액 상한(Money Ceiling): 결제 도구에 대해 유한하지 않은 숫자, NaN, 또는 상한선을 초과하는 금액을 거부한다.
  4. 멱등성(Idempotency): 신뢰할 수 있는 멱등성 키가 누락된 부수 효과 호출을 거부한다.
  5. 기본 거부(Default Deny): 모든 오류 또는 정책 미스매치는 거부로 이어진다.
• 재현성: 논문은 다른 이들이 프레임워크의 격차와 SCOPEGATE 완화책을 재현할 수 있도록 전체 아티팩트(scopegate-runtime)를 제공한다.

결과

• 감사 결과: 감사 대상인 세 가지 프레임워크(LangChain, LlamaIndex, Stripe Agent Toolkit) 모두 모델이 제공한 인자 값에 대해 기본적으로 fail-closed 방식의 권한 부여 게이트를 갖추지 못한 것으로 나타났다.
• PoC 실행: LangChain/LlamaIndex PoC에서, 탈취된 모델이 공격자가 제어하는 ID로 지급 계정을 업데이트하려는 요청은 기본 프레임워크 디스패치에 의해 실행되었다. 그러나 SCOPEGATE를 통해 라우팅되었을 때, 동일한 요청은 권한 부여 단계에서 거부되었다.
• 우회 저항성: SCOPEGATE는 48/48의 정적 적대적 벡터와 40회 반복되는 적응형 실행에서의 29/29 미승인 시도를 성공적으로 차단하였다.
• 양호한 제어: 시스템은 네이티브 함수 호출 모델을 사용하는 양호하고 권한이 있는 호출에 대해 0/10의 오탐(false denial)을 기록하였다.
• 격리: Latam-GPT 결제 비넷에서 모델은 10/10회 시도에서 미승인 지급을 시도하였으나, SCOPEGATE는 10건의 시도 모두를 권한 부여 단계에서 차단하였다.

의의 및 주장
본 논문은 새로운 프롬프트 주입 기술을 발견하거나 주입 문제를 완전히 해결한다고 주장하는 것이 아니라, 현재 에이전트 아키텍처의 특정 "기본 격차"를 식별한다고 겸허히 주장한다.

• 치료제가 아님: 저자들은 SCOPEGATE가 프롬프트 주입을 방지하거나, 오염된 모델 가중치를 탐지하거나, 안전한 자연어 출력을 보장하는 것이 아님을 명시한다. 이는 모델의 피해를 제한하는 격리 메커즘이다.
• 운영적 구분: 핵심 의의는 "도구를 노출하는 것"과 "호출을 권한 부여하는 것" 사이의 운영적 구분이다. 본 논문은 모델의 잘 정형화된 인자를 실행 가능한 권한으로 신뢰하는 것이 현재 기본 설정의 근본적인 설계 결함이라고 주장한다.
• CVE 없음: 논문은 감사된 프레임워크에 대해 특정 CVE를 주장하지 않으며, 통합자가 완전한 매개(complete mediation) 책임을 지는 "강화 및 표준 증거"로 본 결과를 규정한다.
• 추론 범위: 배포 계층 모델의 위험성에 관한 결과는 특정 벤더의 프로덕션 플릿에 대한 주장이 아니라, 고용량 트래픽에 적합한 비용 최적화 모델들을 대상으로 측정된 결과이다.

결론적으로, 본 논문은 LLM 에이전트가 부수 효과가 있는 도구와 함께 안전하게 배포되기 위해서는, 프레임워크가 기능 게이팅을 넘어 외부 정책에 대한 결정론적이고 fail-closed 방식의 호출당 권한 부여 체크를 구현해야 한다고 주장한다. SCOPEGATE는 이를 위한 참조 구현체 역할을 한다.