💻 computer science

Evidence-Bound Gateway-Path Provenance for Third-Party LLM Inference

본 논문은 모든 라우팅, 폴백 및 스트리밍 결정을 암호학적으로 검증하고 서명하기 위해 증명된 실행 평면(attested execution plane)을 활용하여, 클라이언트가 제3자 게이트웨이 운영자에 의한 정책 위반, 경로 치환 및 스트림 조작을 독립적으로 탐지하고 방지할 수 있도록 하는 증거 기반 LLM 게이트웨이 아키텍처를 제안한다.

원저자: Fei Wang, Zebai Tian

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fei Wang, Zebai Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "블랙박스" 중간 관리자

당신이 맞춤형 케이크를 주문하고 싶지만, 제과점 주인과 직접 거래하고 싶지는 않다고 가정해 봅시다. 그래서 당신은 주문을 처리할 배달 서비스(게이트웨이)를 고용합니다. 당신은 배달 서비스에 이렇게 말합니다. "A 제과점에서 초콜릿 케이크를 가져다주세요."

현재의 AI 세상에서 이 배달 서비스는 "제3자 LLM 게이트웨이"입니다. 이들은 당신과 대형 AI 기업(OpenAI, Anthropic 등) 사이에서 위치합니다.

신뢰의 문제:
문제는 당신의 주문이 당신의 손을 떠나는 순간, 배달 서비스가 모든 통제권을 갖게 된다는 점입니다. 그들은 다음과 같은 행동을 할 수 있습니다:

당신에게 알리지 않고 더 저렴하고 품질이 낮은 다른 제과점에서 주문을 바꿀 수 있습니다.
제과점에 보내기 전에 당신의 요청을 "바닐라 케이크"로 변경할 수 있습니다.
기성품 케이크를 가져다 놓고 직접 만든 맞춤형 케이크라고 주장할 수 있습니다.
나중에 청구서를 조작하여 당신이 작은 케이크를 주문했는데도 거대한 층층이 케이크를 주문한 것처럼 바꿀 수 있습니다.

배달 서비스가 영수증을 작성하고 트럭을 제어하기 때문에, 당신은 그들이 속이지 않았다는 것을 증명할 방법이 없습니다. 당신은 그저 그들을 믿어야만 합니다.

해결책: "봉인된, 증인이 있는 금고"

이 논문은 보안 금고(AGR이라 불리는 Attested Gateway Runtime)와 공증인 시스템을 사용하여 이러한 배달 서비스를 운영하는 새로운 방법을 제안합니다.

이 새로운 시스템이 작동하는 단계별 과정은 다음과 같습니다.

1. 봉인된 금고 (AGR)

배달 서비스가 개방된 사무실에서 주문을 처리하는 대신, 주문 처리를 고도의 기술이 적용된 깨지지 않는 유리 금고(신뢰 실행 환경, TEE) 안에 넣습니다.

규칙: 오직 이 특정 금고만이 봉인된 주문을 열고, 적힌 내용을 읽고, 어떤 제과점을 사용할지 결정하며, 제과점과 대화할 수 있습니다.
함정: 배달 서비스 관리자("비즈니스 플레인")는 트럭이 움직이고 패키지가 실리는 모습은 볼 수 있지만, 금고 내부를 들여다볼 수는 없습니다. 그들은 주문을 변경하거나 케이크를 만드는 동안 엿볼 수 없습니다.

2. 공증인 확인 (원격 검증)

당신은 주문을 보내기 전, 단순히 금고가 존재한다고 믿는 것이 아니라 공증인의 인장(원격 검증)을 요청합니다.

금고는 *"나는 올바르고 조작되지 않은 금고이며, 당신이 승인한 정확한 소프트웨어 버전을 실행 중이다"*라는 것을 증명하는 디지털 신분증을 보여줍니다.
만약 배달 서비스가 가짜 금고로 교체하려고 시도하면, 공증인의 인장이 일치하지 않아 당신은 주문을 보내지 않게 됩니다.

3. "증거 체인" (영수증)

금고가 요청을 처리하고 케이크(AI 응답)를 받은 후, 단순히 전달하는 것으로 끝내지 않습니다. 금고는 조작 불가능한 디지털 영수증(추론 증거 체인)을 생성합니다.

이 영수증은 금고 자체에 의해 서명됩니다.
이는 다음과 같이 증명합니다: "나는 금고다. 나는 당신의 특정 요청을 받았다. 나는 A 제과점으로 가도록 허가받았다. 나는 A 제과로부터 응답을 받았다. 나는 이 정확한 텍스트를 당신에게 전달했다."
만약 배달 서비스가 케이크를 바꾸거나 영수증을 수정하려고 하면, 서명이 깨지게 되며 영수증은 무효가 됩니다. 당신은 즉시 무언가 잘못되었음을 알 수 있습니다.

이 시스템이 실제로 하는 일 (그리고 하지 못하는 일)

이것이 해결하는 것:

숨겨진 교체 방지: 어떤 AI 모델이 사용되었는지 정확히 알 수 있습니다.
비밀스러운 변경 방지: 배달 서비스가 당신의 프롬프트나 답변을 몰래 바꿀 수 없습니다.
가짜 청구서 방지: 일어난 모든 일에 대한 기록은 배달 관리자가 아닌 금고에 의해 서명됩니다.
안전 장치: 금고가 조작되거나 증거가 누락되면, 시스템은 가짜 답변을 주는 대신 작동을 멈춥니다(fail-closed).

이것이 해결하지 못하는 것 (논문의 한계):

제과점을 막을 수는 없습니다: 만약 제과점(AI 제공업체) 자체가 당신에게 나쁜 케이크나 위험한 레시피를 주기로 결정한다면, 금고는 이를 막을 수 없습니다. 금고는 오직 전달 경로가 정직했음을 증명할 뿐, 제과점이 정직한지는 증명하지 못합니다.
시간을 숨길 수는 없습니다: 배달 서비스는 내용물을 볼 수는 없더라도, 트럭이 도로 위에 머문 시간이나 패키지의 크기를 여전히 파악할 수 있습니다.
DoS 공격을 막을 수는 없습니다: 만약 배달 서비스가 단순히 당신의 트럭 운행을 거부하기로 결정한다면, 그들은 여전히 그렇게 할 수 있습니다.

"테스트 드라이브" 결과

저자들은 이 아이디어를 테스트하기 위해 작동하는 프로토타입("Rust 프로토타입")을 구축했습니다.

이들은 "모의"(가짜) AI 제공업체와 실제 제공업체(GPT)를 사용하여 테스트했습니다.
속도: 매우 빨랐습니다. 보안 단계(금고 확인 및 영수증 서명)를 추가했음에도 불구하고 추가된 시간은 밀리초 단위로 매우 미미하여 거의 체감되지 않았습니다.
보안: 모델을 교체하거나, 폴백(fallback)을 숨기거나, 영수증을 변경하는 등의 방식으로 시스템을 "해킹"하려 시도했을 때, 시스템은 모든 시도를 포착하여 거부했습니다.

핵심 요약

이 논문은 제3자 AI 게이트웨이를 설계 단계부터 정직하게 만드는 방법을 소개합니다. 게이트웨이를 운영하는 회사를 믿으라고 요구하는 대신, 수학적 암호 기술을 통해 게이트웨이가 규칙을 정확히 따랐음을 증명하도록 강제합니다.

이는 모든 AI 상호작용에 대해 봉인되고 공증된 계약을 체결하는 것과 같습니다. 중간 관리자를 믿을 필요 없이, 영수증에 서명하는 수학과 하드웨어를 믿으면 됩니다.

기술 요약: 제3자 LLM 추론을 위한 증거 기반 게이트웨이 경로 프로비넌스(Provenance)

1. 문제 정의

제3자 대규모 언어 모델(LLM) 게이트웨이는 여러 외부 LLM 제공업체를 활용하는 애플리케이션의 핵심 인프라가 되었습니다. 이러한 시스템은 라우팅, 모델 선택, 폴백(fallback) 메커니즘, 스트리밍 및 과금을 처리합니다. 그러나 근본적인 신뢰 경계 문제가 존재합니다: 게이트웨이 운영자는 추론 경로를 중재하는 권한과 그 경로를 설명하는 기록의 작성 권한을 모두 가집니다.

기존의 배포 방식에서는 전송 계층 보안(TLS)이 네트워크 홉(hop)을 보호하지만, 게이트웨이는 클라이언트 요청을 평문(plaintext) 상태로 종료합니다. 이로 인해 게이트웨이는 다음과 같은 행위를 할 수 있습니다:

프롬프트를 읽고 업스트림 요청을 재작성함.
클라이언트 모르게 엔드포인트나 모델을 교체함.
스트리밍 응답을 변경하거나 콘텐츠를 주입함.
사용량, 과금 또는 프로비넌스(출처) 기록을 위조함.

클라이언트는 답변만을 수신할 뿐, 게이트웨이가 작성한 로그만으로는 정직한 중재와 숨겨진 모델 교체, 미공개 폴백, 엔드포인트 재작성, 또는 스트림 조작을 구분할 수 없습니다. 이러한 위험은 반환된 텍스트가 도구 호출(tool calls)이나 코드 편집을 트리거할 수 있는 에이전트 시스템에서 더욱 증폭됩니다. 핵심 문제는 단순히 누가 프롬프트를 읽을 수 있느냐가 아니라, 누가 게이트웨이 경로 기록을 작성할 수 있느냐는 것입니다.

2. 방법론: 증거 결합 아키텍처(Evidence-Bound Architecture)

본 논문은 운영자가 제어하는 비즈니스 평면(business plane)과 원격으로 검증된 실행 평면(execution plane)을 분리하는 증거 결합 게이트웨이(Evidence-Bound Gateway) 아키텍처를 제안합니다. 핵심 구성 요소는 신뢰 실행 환경(TEE, 예: AWS Nitro Enclaves) 내에서 작동하는 **검증된 게이트웨이 런타임(Attested Gateway Runtime, AGR)**입니다.

주요 아키텍처 구성 요소

비즈니스 평면(Business Plane): 클라이언트 인증, 할당량 강제, 트래픽 전달 및 로깅을 처리합니다. 이는 암호화된 형태의 불투명한 사이퍼텍스트(ciphertext)를 전달하지만, 요청을 복호화하거나 스트림 키에 접근할 수 없습니다.
검증된 게이트웨이 런타임(AGR): TEE 내에서 실행되는 보안 중심의 실행 평면입니다. 이 구성 요소만이 다음을 수행할 수 있는 유일한 권한을 가집니다:
- 클라이언트 요청을 복호화함.
- 요청 범위의 라우팅 및 폴백 정책을 강제함.
- 업스트림 호출을 구성함.
- 응답 스트림을 암호화함.
- **추론 증거 체인(Inference Evidence Chains, IEC)**을 서명함.

프로토콜 흐름

레지스트리 및 검증(Attestation): 릴리스 권한 기관(release authority)이 승인된 런타임 측정값 및 정책 레지스트리에 서명합니다. 클라이언트는 이 레지스트리를 검증하고 AGR에 신선한 검증(fresh attestation)을 요청합니다. AGR은 자신의 측정값, 정책 해시, 그리고 암호화/증거 서명 키를 바인딩한 하드웨어 쿼트(hardware quote)를 제공합니다.
정책 포함 계약(Policy-Carrying Contracts): 클라이언트는 특정 요청에 대해 글로벌 정책을 좁히는 **추론 계약(Inference Contract, IC)**을 포함한 암호화된 요청을 보냅니다(예: 허용된 모델, 폴백 엣지). AGR은 유효한 정책( $P_{eff} = P \cap IC$ )을 계산합니다.
보안 실행: AGR은 요청을 복호화하고, 정책을 검증하며, 경로/엔드포인트를 선택한 후 업스트림 제공자를 호출합니다. 이후 응답 스트림을 암호화하고 암호화된 청크(chunks)에 대해 롤링 커밋먼트(rolling commitment)를 유지합니다.
증거 생성: AGR은 **추론 증거 체인(IEC)**을 서명합니다. 이 객체는 다음 항목들을 결합합니다:
- 런타임 검증 및 식별 정보.
- 유효 정책 및 계약 해시.
- 경로 및 폴백 결정.
- 관찰된 엔드포인트 식별 정보(TLS 검증).
- 암호화된 스트림 트랜스크립트 커밋먼트(StreamEv).
- 완료 메타데이터.
검증: 클라이언트는 IEC를 검증된 런타임 식별 정보와 대조하여, 수신된 사이퍼텍스트가 서명된 증거와 일치하는지 스트림 커밋먼트를 재계산합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 합니다:

문제 식별: 라우팅, 폴백, 엔드포인트 승인 및 증거 작성이 단일 운영자 제어 서비스에 집중되어 발생하는 제3자 LLM 게이트웨이의 다중 권한 신뢰 경계 문제를 식별했습니다.
아키텍처: 디크립션, 정책 강제, 업스트림 구성 및 증거 서명을 검증된 런타임(AGR)으로 이동시키면서도 비즈니스 평면의 기능을 보존하는 분리 평면 아키텍처를 제시했습니다.
메커니즘: 런타임 검증, 요청 범위 정책, 경로 결정, 암호화된 스트림 트랜스크립트를 검증 가능한 프로비넌스로 결합하는 정책 포함 추론 계약과 추론 증거 체인을 도입했습니다.
구현 및 평가: AWS Nitro Enclaves 상에서 Rust 프로토타입을 구현하고, 메커니즘 오버헤드, 경로 강제 및 Fail-closed 동작을 평가했습니다.

4. 실험 결과

저자들은 로컬 모의(mock) 제공자와 실제 GPT 엔드포인트를 사용하여 Rust 프로토타입을 통해 시스템을 평가했습니다.

오버헤드: 로컬 결정론적 모의 환경(동시성 16)에서, 증거 결합 게이트웨이(B2)는 p95 지연 시간 38.72 ms를 기록했습니다.
Nitro Enclave 성능: 런타임을 Nitro Enclave에 배치했을 때(B3), p95 지연 시간이 46.2 ms로 약간 증가했으나(로컬 런타임 대비 약 1.1배), 처리량은 로컬 기준치의 95%를 유지했습니다. 오버헤드는 암호화 연산이 아닌 전송(transport)에 의해 지배되었습니다.
증거 비용: 100개 청크의 트랜스크립트에 대해, StreamEv 생성 및 재계산 비용은 각각 약 130 µs 및 120 µs(p95)였습니다. IEC 서명 및 검증은 수십 마이크로초 단위로 발생했습니다.
Fail-Closed 검증: 시스템은 다음을 포함한 모든 부정적 제어 시나리오에서 변조 시도를 성공적으로 거부했습니다:
- 검증/레지스트리 변조 (PCR, nonce, 레지스트리 수정).
- 채널 무결성 위반 (키/사이퍼텍스트 변조).
- 경로 및 폴백 대체 (모델 교체, 누락된 폴백).
- 엔드포인트 제약 조건 위반.
- 증거 메타데이터 재작성 및 스트림 트랜스크립트 조작 (삭제, 재정렬, 재생).
- 게이트웨이 포이즈닝 (주입된 도구 호출이 거부됨).

5. 의의 및 주장

본 논문은 이 아키텍처가 **게이트웨이 경로 프로비넌스 진본성(authenticity)**을 확립한다고 주장합니다. 이를 통해 클라이언트는 다음 사항을 검증할 수 있습니다:

요청이 특정 측정된 런타임에 의해 중재되었음.
라우팅, 폴백 및 엔드포인트 선택이 서명된 정책을 준수함.
전달된 암호화된 스트림 트랜스크립트가 서명된 커밋먼트와 일치함.
증거가 다른 요청 컨텍스트로부터 위조되거나 전이되지 않았음.

범위 및 한계:
저자들은 시스템이 하지 못하는 것을 명시적으로 밝힙니다:

트래픽 메타데이터(타이밍, 패킷 크기, 빈도)를 숨기지 않습니다.
서비스 거부 공격(DoS)을 방지하지 못합니다.
업스트립 LLM 제공자가 올바른 모델을 실행했거나 안전한 콘텐츠를 생성했음을 증명하지 않습니다(제공자는 TCB 외부에 있음).
악의적인 LLM 제공자, 오염된 RAG 컨텍스트, 또는 에이전트 수준의 정책 위반을 방지하지 못합니다.
TEE 플랫폼, 검증 루트, 릴리스 서명 프로세스의 신뢰성에 의존합니다.

본 연구의 의의는 신뢰 모델의 전환에 있습니다. 클라이언트는 더 이상 게이트웨이 운영자가 경로를 중재하고 기록을 작성하는 두 가지 역할을 모두 수행할 것이라고 믿을 필요가 없습니다. 대신, 측정된 런타임에 결합된 암호학적 증거에 의존함으로써, 승인되지 않은 라우팅, 숨겨진 폴백, 스트림 조작 및 위조된 과금 기록을 탐지하고 거부할 수 있습니다.