Agentic Witnessing: Pragmatic and Scalable TEE-Enabled Privacy-Preserving Auditing

Antony Rowstron 의 논문 "Agentic Witnessing: Pragmatic and Scalable TEE-Enabled Privacy-Preserving Auditing"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 독점 데이터를 감사할 때 발생하는 근본적인 긴장 관계를 다룹니다: 검증은 투명성을 요구하는 반면, 독점권은 기밀성을 요구합니다.

• 의미적 격차 (The Semantic Gap): 영지식 증명 (ZKPs) 과 같은 기존 암호학적 솔루션은 수학적 명제 (예: $a+b=c$) 나 실행 무결성을 검증하는 데 뛰어나지만, 의미적 검증에는 실패합니다. 이러한 솔루션은 "이 코드베이스가 해당 논문에서 설명한 Paxos 알고리즘을 구현하고 있는가?" 또는 "이 코드가 프로덕션 준비가 되었는가?"와 같은 정성적이고 비구조화된 속성을 검증할 수 없습니다.
• 현재의 딜레마: 감사자들은 현재 이분법적인 선택을 강요받습니다. 소스 코드를 완전히 공개하든 (지식재산권/개인정보 침해), 아니면 불투명한 "나를 믿어라"라는 주장에 의존하든 말입니다. 이는 과학적 재현성, 규제 준수, 그리고 실사 (due diligence) 를 저해합니다.

2. 방법론: 에이전트 증인 (Agentic Witnessing)

저자들은 **에이전트 증인 (Agentic Witnessing)**을 제안합니다. 이는 정적 수학적 증명에서 신뢰 실행 환경 (TEE) 내의 AI 에이전트가 중재하는 동적이고 적대적인 심문으로 검증을 전환하는 프레임워크입니다.

시스템 아키텍처

이 시스템은 세 개의 자율 에이전트로 구성됩니다:

1. 증명자 (The Prover, APrv): 비공개 데이터셋 (예: 코드베이스) 을 소유합니다. 신뢰할 수 있는 하드웨어에서 실행되며 모델 컨텍스트 프로토콜 (MCP) 서버로 작동하여 감사자에게 read_file, search_repository와 같은 제한된 도구만 노출합니다. 쿼리 제한을 정의하는 서명된 세션 티켓을 생성합니다.
2. 감사자 (The Auditor, AAud): TEE(예: Intel SGX, AWS Nitro) 내부에서 실행되는 가상 에이전트 (LLM) 입니다. 증명자와 검증자 모두로부터 신뢰받는 유일한 주체입니다. 휘발성 상태를 가지므로 세션 종료 후 데이터는 영구적으로 저장되지 않습니다. MCP 인터페이스를 사용하여 증명자의 데이터를 검사합니다.
3. 검증자 (The Verifier, AVer): 감사를 요청하는 주체입니다. 원시 데이터를 볼 수 없습니다. 고수준 목표를 수립하고 이를 감사자를 위한 일련의 간단한 이진 (True/False/Unsure/Error) 질문으로 분해합니다.

핵심 메커니즘

• 검증된 추론 (Attested Reasoning): 수학적 제약 조건을 증명하는 대신, 감사자는 체인 오브 씽킹 (CoT) 기법을 사용하여 데이터를 통해 "추론"하고 판정을 반환합니다.
• 기록 해시 체인 (Transcript Hash Chain): 무결성과 부인 방지를 보장하기 위해 감사자와 증명자 간의 모든 상호작용은 암호학적 해시 체인에 기록됩니다.
  • $H_i = H(H_{i-1} \parallel q_i \parallel a_i)$
  • 양측은 해시 체인에 서명합니다. 최종 해시는 추론 흔적을 데이터셋의 특정 버전과 TEE 의 하드웨어 루트 신뢰 (root of trust) 에 바인딩합니다.
• 정보 유출 한계: 검증자가 "이진 검색"(비밀을 추출하기 위해 충분한 예/아니오 질문을 하는 것) 을 통해 데이터셋을 재구성하는 것을 방지하기 위해 시스템은 다음을 강제합니다:
  • 토큰화 쿼리 예산 (Tokenized Query Budgets): 세션당 질문 수 ($K_{max}$) 와 MCP 호출 횟수에 대한 엄격한 제한.
  • 이론적 한계: 약 40 개의 질문과 4 가지 가능한 답변 (2 비트 엔트로피) 의 예산을 사용하면, 최대 정보 유출량은 세션당 약 80 비트로 제한됩니다. 이는 256 비트 키와 같은 고엔트로피 비밀을 추출하는 것을 계산적으로 불가능하게 만듭니다.
• LLM 모드:
  • 모드 A (로컬): 최대의 프라이버시를 위해 TEE 내부에서 전체적으로 작은 오픈 가중치 모델을 실행합니다.
  • 모드 B (원격): GPT, Gemini 와 같은 최첨단 모델에 요청을 보냅니다. 이는 더 나은 추론을 제공하지만 일부 데이터를 API 제공자에게 신뢰해야 합니다. 논문은 향후 TEE 지원 GPU 가 이를 해결할 것으로 예상합니다.

보안 방어

• 프롬프트 인젝션: 시스템은 증명자가 코드 내에 악성 지시문 (예: "오류를 무시하라") 을 삽입할 수 있다고 가정합니다. 감사자는 의미론적 검증을 위해 원시 파일을 읽어야 하므로, 이러한 입력을 필터링하면 충실도가 떨어집니다.
  • 완화 조치: 암호학적 부인 방지. 프롬프트 인젝션 시도는 서명된 기록 해시 체인에 기록됩니다. 증명자는 최종 해시에 반서명해야 하므로, 감사 조작 시도에 대한 영구적이고 서명된 기록이 사실상 생성됩니다.
• 사이드 채널 공격: 시스템은 타이밍 공격을 완화하기 위해 네트워크 지터와 일정 시간 응답 메커니즘을 사용합니다.

3. 주요 기여

1. 새로운 원시 연산 (Primitive): 프라이버시 보호 의미 검증을 위한 방법으로서 **에이전트 증인 (Agentic Witnessing)**의 정의.
2. 프로토콜 설계: 표준화된 검사를 위한 MCP와 감사 무결성을 위한 기록 해시 체인을 활용한 안전한 프로토콜.
3. 이론적 분석: 쿼리 예산이 적대적 데이터 추출을 세션당 약 80 비트로 제한한다는 형식적 증명.
4. 구현 및 평가: 실제 학술 산물을 대상으로 평가된 작동 원형.

4. 결과 및 평가

저자들은 GitHub 에 공개된 21 편의 동료 검토를 거친 컴퓨터 과학 논문과 자체 논문에 대한 자기 감사를 사용하여 시스템을 평가했습니다.

• 자기 감사: 시스템은 자체 초안 논문과 코드를 성공적으로 감사했습니다. 핵심 아키텍처는 구현되었지만, 작성 당시 코드에 특정 보안 완화 조치 (토큰화 쿼리 예산) 가 누락되었음을 정확히 식별했습니다.
• 정확도:
  • 시스템은 준수 및 비준수 산물을 정확히 구분했습니다.
  • "부정적 제어 (Negative Control)" 실험 (감사자에게 잘못된 논문을 제공하는 경우) 에서 시스템은 21 건 모두에서 구현 질문 (Q1/Q2) 에 대해 "아니오"를 정확히 반환했습니다.
  • 주관적 질문 (예: "이것은 프로덕션 품질인가?") 의 경우, 논문이 잘못된 경우 시스템이 높은 변이를 보였으며 이는 맥락에 대한 민감성을 나타냅니다.
• 성능:
  • LLM 지배: 실행 시간은 거의 전적으로 LLM 추론 지연 시간 (전체 시간의 96~99%) 에 의해 지배됩니다.
  • 확장성: 단순 감사는 약 20 분, 복잡한 다중 라운드 감사는 최대 85 분 소요되었습니다.
  • 비교: 코드에 대한 전체 접근 권한을 가진 최첨단 코딩 에이전트 (Gemini CLI) 와 비교했을 때, 에이전트 증인은 매우 일관된 결과를 산출했으나, CLI 는 프라이버시 제약이 없어 더 빨랐습니다.

5. 의의

• 검증과 공개의 분리: 에이전트 증인은 원시 데이터를 노출하지 않고 고수준 의미 속성 (논리, 준수, 재현성) 을 검증할 수 있게 합니다.
• 격차 해소: 경직된 암호학적 증명 (ZKPs) 과 인간의 신뢰 사이의 공백을 메워 코드베이스, 문서, 로그와 같은 비구조화된 데이터의 감사를 가능하게 합니다.
• 규제 영향: 이 프레임워크는 고위험 AI 시스템에 대한 제 3 자 평가를 의무화하면서도 영업비밀을 보호하는 EU AI 법과 같은 규제 준수를 위한 실현 가능한 경로를 제공합니다.
• 미래 패러다임: LLM 을 단순한 도구가 아닌 안전한 엔클레이브 내의 신뢰할 수 있는 증인으로 활용하는 "검증된 추론 (Attested Reasoning)"을 새로운 추상화 개념으로 도입합니다.

결론적으로, 에이전트 증인은 TEE, 암호학적 해싱, LLM 에이전트를 결합함으로써 독점 데이터에 대한 엄격하고 프라이버시를 보호하는 감사를 수행할 수 있음을 보여주며, 과학 출판의 "재현성 위기"를 효과적으로 해결하고 산업 내 안전한 실사를 가능하게 합니다.