Making AI-Assisted Grant Evaluation Auditable without Exposing the Model

Kemal Bicakci 의 논문 "Making AI-Assisted Grant Evaluation Auditable without Exposing the Model"(모델을 노출하지 않고 AI 지원 보조금 평가의 감사 가능성을 확보하기) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

공공 자금 지원 기관들은 보조금 평가를 위한 의사결정 지원 도구로 대규모 언어 모델 (LLM) 을 점점 더 많이 도입하고 있습니다. 이는 두 가지 상충하는 요구사항 간의 근본적인 거버넌스 긴장 관계를 야기합니다.

• 모델 기밀성: "게임화"(지원자가 진정한 우수성보다는 특정 모델 편향이나 채점 논리를 악용하도록 제안서를 최적화하는 행위) 를 방지하기 위해, 모델 가중치, 채점 기준서 (rubric), 프롬프트 템플릿은 지원자에게 불투명하게 유지되어야 합니다.
• 프로세스 감사 가능성: 공공 자금 지원 결정은 투명하고, 이의제기가 가능하며, 책임져야 합니다. 지원자와 감사자는 선언된 모델과 기준서가 실제로 사용되었는지, 입력이 변경되지 않았는지, 그리고 출력이 조작되지 않았는지를 증명하는 암호학적 증거가 필요합니다.

현재의 솔루션들은 제도적 신뢰에 의존하고 있는데, 이는 엄격한 알고리즘적 책임성을 보장하기에 부족합니다. 또한, 지원자가 통제하는 문서를 처리하는 것은 프롬프트 인젝션(LLM 을 조작하기 위해 제출물에 숨겨진 지시사항) 과 같은 특정 보안 위험을 초래합니다.

2. 방법론: TEE 기반 아키텍처

이 논문은 기밀성과 감사 가능성 간의 트레이드오프를 해결하기 위해 **신뢰 실행 환경 (TEE)**과 **원격 증명 (RA)**을 기반으로 한 시스템 아키텍처를 제안합니다. 이 시스템은 평가의 내용은 기밀로 유지되지만, 프로세스의 무결성은 암호학적으로 검증될 수 있다는 원칙에 따라 작동합니다.

핵심 구성 요소

아키텍처는 다섯 가지 명확한 레이어로 구성됩니다.

1. 제출물 수집 및 표준화 (TEE 외부):

   • 원본 지원자 파일 (PDF, DOCX 등) 을 수신합니다.
   • 원본 파일의 해시 ($H_{orig}$) 를 계산합니다.
   • 정제 (Sanitization): 메타데이터, 숨겨진 레이어, 스크립트 등 비가시적 콘텐츠를 파싱하여 제거하고 "표준 (canonical)" 텍스트 표현을 생성합니다.
   • 인젝션 탐지: 프롬프트 인젝션 패턴 (예: 보이지 않는 텍스트, 유니코드 유사 문자, 명령형 지시문) 을 스캔합니다. 이상 징후는 플래그가 지정되지만 조용히 폐기되지 않으며, 정제 보고서에 기록됩니다.
   • 표준화된 입력의 해시 ($H_{can}$) 를 계산합니다.

2. 증명 부트스트랩 (TEE 내부):

   • TEE(예: Intel TDX, AMD SEV-SNP) 가 시작됩니다.
   • CPU 는 초기 상태를 측정합니다: 추론 런타임, 모델 가중치, 기준서, 그리고 프롬프트 템플릿.
   • 암호학적 측정치 ($M$) 가 생성되어 CPU 의 하드웨어 신뢰 루트 (root of trust) 에 의해 서명됩니다.
   • 외부 검증자는 올바른 소프트웨어와 정책이 로드되었는지 확인하기 위해 이 **증명 보고서 ($A$)**를 공개 **참조 매니페스트 ($R$)**와 비교합니다.

3. 평가 추론 코어 (TEE 내부):

   • 표준화된 입력이 로드됩니다.
   • 시스템은 전체 프롬프트 (시스템 프롬프트 + 기준서 + 표준화된 제출물) 를 구성합니다.
   • LLM 이 추론을 수행하여 점수, 근거, 불확실성 플래그를 생성합니다.
   • 출력은 안전한 환경을 떠나기 전에 해시 ($H_O$) 됩니다.

4. 증명된 출력 서명 (TEE 내부):

   • TEE 를 떠나기 전에 **증명된 평가 번들 ($B$)**이 구성됩니다.
   • 번들 내용: 원본 해시, 표준 해시, 입력 해시, 출력 해시, 모델/기준서 측정치 ($M$), 증명 보고서 ($A$), 타임스탬프, 그리고 평가 출력 ($O$).
   • 번들은 TEE 내부에서 생성된 일회성 키 (ephemeral key) 로 서명되어, 출력을 특정 하드웨어 상태 및 구성에 바인딩합니다.

5. 감사 로그 및 검증 (TEE 외부):

   • 서명된 번들은 변조 방지 로그 (예: 머클 트리 기반) 에 기록됩니다.
   • 감사자는 참조 매니페스트와 CPU 제조사의 인증서 체인에 대해 번들을 독립적으로 검증하여 프로세스 무결성을 확인할 수 있습니다.

3. 주요 기여

1. 문제 정의: AI 지원 보조금 평가를 특정 "기밀성 - 감사 가능성" 문제로 정의하여, 좋은 결정을 증명하는 것 (증명으로는 불가능) 과 올바른 프로세스를 증명하는 것 (증명으로 가능) 을 구분했습니다.
2. 증명된 평가 번들: 제출물, 특정 모델/기준서 구성, 그리고 출력을 암호학적으로 바인딩하여 모델 가중치를 노출하지 않고도 제 3 자가 검증할 수 있는 새로운 산출물을 제안했습니다.
3. 표준화 및 정제 레이어: 문서 표현을 정규화하고 정제 행위를 감사 추적의 일부로 기록함으로써 프롬프트 인젝션에 대한 구체적인 방어를 통합하여, LLM 기반 평가의 치명적인 취약점을 해결했습니다.
4. 비교 분석: TEE 기반 증명과 제로 지식 기계 학습 (ZK-ML) 및 완전 동형 암호화 (FHE) 와 같이 더 강력하지만 현재로서는 실용적이지 않은 암호학적 대안 간의 트레이드오프를 명확히 구분했습니다.

4. 결과 및 보안 분석

제안된 아키텍처는 식별된 위협 모델을 효과적으로 완화합니다.

• 지원자 게임화 (T1): 모델과 기준서가 TEE 내부에 암호화된 상태로 유지되므로 완화됩니다. 지원자는 채점 논리를 역공학할 수 없습니다.
• 프롬프트 인젝션 (T2): 숨겨진 지시사항을 제거하고 이상 징후를 기록하는 표준화 레이어에 의해 완화됩니다.
• 사후 조작 (T3): 출력이 TEE 내부에서 나가기 전에 서명되므로 방지됩니다. 모든 수정은 서명을 무효화합니다.
• 잘못된 모델/기준서 (T4): 원격 증명에 의해 방지됩니다. 잘못된 소프트웨어가 로드되면 측정 해시가 참조 매니페스트와 일치하지 않아 검증이 실패합니다.
• 입력 은폐 (T5): 표준화 전에 원본 파일 해시 ($H_{orig}$) 를 기록함으로써 방지됩니다. 이를 통해 감사자가 전체 제출물이 처리되었는지 확인할 수 있습니다.
• 인프라 침해 (T6): TEE 메모리 암호화에 의해 완화되어, 클라우드 운영자나 하이퍼바이저가 모델 가중치나 중간 상태에 접근하는 것을 방지합니다.

한계점:

• 보장 범위: 증명은 프로세스가 정확했음을 증명할 뿐, 결정이 공정하거나 편향되지 않았거나 과학적으로 타당했음을 증명하지는 않습니다.
• 하드웨어 신뢰: 시스템은 CPU 제조사의 증명 키 무결성과 마이크로 아키텍처 사이드 채널 취약점의 부재에 의존합니다.
• 성능: 표준 클라우드 추론에 비해 TEE 추론은 지연 시간과 오버헤드를 초래합니다.
• 표준화 간극: 어떤 정제 레이어도 모든 미래의 스테가노그래피 인젝션 기법의 100% 탐지를 보장할 수는 없습니다.

5. 의의

이 논문은 고위험 공공 부문 의사결정에서 책임 있는 AI 를 구현하기 위한 실용적이고 단기적인 기술 기준을 제공합니다.

• 신뢰 격차 해소: 제도적 신뢰에만 의존하는 "블랙박스" AI 평가를 프로세스 무결성에 대한 암호학적 증거를 갖춘 시스템으로 전환합니다.
• 정책 관련성: 지적 재산을 훼손하거나 게임화를 허용하지 않으면서 공공 기관이 알고리즘적 책임성 요구사항 (투명성, 이의제기 가능성) 을 충족할 수 있는 구체적인 메커니즘을 제시합니다.
• 인간 개입 (Human-in-the-Loop): 이 아키텍처는 AI 가 감사 가능한 의사결정 지원을 제공하지만 최종 권한은 인간 패널이 유지하는 "인간 개입" 모델을 명시적으로 지원합니다. 이를 통해 법적 및 규범적 우위는 인간에게 남아있음을 보장합니다.

결론적으로, 이 논문은 원격 증명이 AI 편향이나 공정성과 같은 더 넓은 거버넌스 과제를 해결하지는 못하지만, 선언된 AI 시스템이 실제로 결정을 내린 시스템임을 검증하는 구체적인 문제를 성공적으로 해결한다고 주장합니다. 이를 통해 더 신뢰할 수 있고 이의제기가 가능한 보조금 평가 인프라를 가능하게 합니다.