Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims

1. 문제 정의 (Problem)

현대적인 대규모 언어 모델 (LLM) 시스템은 사전 학습된 가중치, 파인튜닝 어댑터, 데이터셋, 의존성 패키지, 컨테이너 이미지 등 제 3 자 아티팩트들을 자동화된 파이프라인을 통해 조립합니다. 이러한 속도는 공급망 보안을 위협하는 여러 취약점을 야기합니다.

• 공급망 위험: compromised(위협) 된 의존성, 악성 허브 아티팩트, 안전한 역직렬화 (deserialization) 부재, 출처 (provenance) 위조, 백도어 삽입된 모델 등의 위협이 존재합니다.
• 검증의 부재: 기존 소프트웨어 공급망과 달리, AI 아티팩트는 불투명한 가중치 텐서와 보조 코드를 포함하며, 학습 및 파인튜닝의 출처는 종종 불완전하거나 검증 불가능합니다.
• 강제력의 결여: 데이터/코드 계보, 빌드 환경, 보안 스캔 결과 등 학습 및 릴리스에 대한 '주장 (Claims)'이 해당 아티팩트와 암호학적으로 결합되지 않아, 팀과 단계별로 일관된 강제 (enforcement) 가 이루어지지 않습니다.

2. 방법론 (Methodology)

저자들은 아티팩트가 신뢰할 수 있는 환경 (학습, 파인튜닝, 배포) 으로 진입하기 전에 증명 인식형 승문 게이트 (Attestation-aware Promotion Gate) 를 도입하여 주장의 증거를 검증하고 정책을 강제하는 프레임워크를 제안합니다.

2.1 주장 분류 (Claim Taxonomy)

시스템은 두 가지 유형의 주장을 정의하고 이를 아티팩트와 바인딩합니다.

• 학습 주장 (Training Claims): 아티팩트 생성 방식 및 입력 데이터에 대한 정보.
  • 데이터 계보 (데이터셋 식별자, 버전, 샘플링 정책)
  • 코드 계보 (학습 스크립트, 설정, 커밋)
  • 의존성 및 환경 스냅샷 (lockfile, 컨테이너 이미지 해시)
  • 하이퍼파라미터 요약 및 컴퓨팅 컨텍스트
  • 실행 메타데이터 (로그 체크섬, 출력 아티팩트 해시)
• 릴리스 주장 (Release Claims): 아티팩트의 안전한 소비 및 배포를 제약하는 정보.
  • 아티팩트 식별 및 서명 신원
  • 포맷 보장 (안전한 텐서 포맷, pickle 등 위험 역직렬화 금지)
  • 임베디드 코드 선언 (커스텀 로더/컨버터 존재 여부)
  • 정적 스캔 결과 및 평가/보안 요약
  • 배포 요구사항 (권한, 네트워크, 파일시스템 접근 제한 등)

2.2 기술적 구현

• 암호학적 바인딩: in-toto attestations 와 Sigstore 를 사용하여 주장을 아티팩트의 내용 해시 (content digest) 와 바인딩합니다. 이는 아티팩트와 주장이 정확히 일치함을 암호학적으로 보장하며, 태그/파일명 모호성을 제거합니다.
• 승문 게이트 (Promotion Gate) 프로세스:
  1. 검증: Sigstore 서명 및 in-toto 증명 검증.
  2. 안전성 강제: 포맷 체크 및 안전한 로딩 (예: safetensors 강제, pickle 금지).
  3. 정적 스캔: 패키지 및 직렬화 표면에서의 멀웨어/보안 취약점 스캔 (ModelScan, Trivy 등).
  4. 동적 신호 (선택적): 고위험 아티팩트의 경우 런타임 보안 도구 (샌드박스, 이상 징후 탐지) 를 통해 동적 증거를 수집하여 불확실성을 줄임.
• 의사결정: 검증 결과에 따라 허용 (Allow), 검역 (Quarantine), 차단 (Block) 중 하나를 결정하고 감사 가능한 기록을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 증명 인식형 승문 게이트 설계: LLM 아티팩트가 신뢰 환경으로 진입하기 전에 검증 가능한 학습 및 릴리스 주장을 강제하는 통합 게이트 메커니즘을 제안했습니다.
2. 구체적인 위협 모델 및 매핑: 의존성 침해, 악성 허브 아티팩트, 출처 위조, 백도어 모델 등 주요 공급망 위협에 대한 구체적인 위협 모델을 제시하고, 이를 주장 (Claims) 과 증거 (Evidence), 그리고 통제 (Controls) 로 매핑했습니다.
3. 평가 청사진 (Evaluation Blueprint): 실제 공급망 시나리오 (의존성 혼란, 악성 아티팩트, 백도어 모델) 를 기반으로 한 평가 방법론과 운영 지표 (커버리지, 오버헤드, 트라이지 용이성) 를 제시하여 향후 연구의 기반을 마련했습니다.

4. 결과 및 시나리오 (Results & Walkthrough)

논문의 시나리오 분석 (Walkthrough) 에 따르면:

• 악성 허브 아티팩트 사례: 서명 신원이 없거나 역직렬화가 허용되는 포맷으로 된 아티팩트가 파이프라인에 들어올 경우, 게이트는 포맷 정책 위반과 증거 부족을 감지하여 아티팩트를 검역 (Quarantine) 합니다.
• 동적 신호 활용: 동적 플러그인이 활성화된 경우, 샌드박스 실행 중 예상치 못한 프로세스 생성이나 네트워크 접근 시도가 감지되면 차단 (Block) 으로 결정이 격상됩니다.
• 효과: 이 과정은 주장 기반의 강제적 입문 결정을 가능하게 하며, 인간 개입 (Human-in-the-loop) 을 통한 트라이지 (triage) 를 지원합니다.

5. 의의 및 의의 (Significance)

• AI 공급망 보안의 패러다임 전환: 기존 소프트웨어 보안 기법 (SLSA, Sigstore 등) 을 AI 에 적용하되, 데이터 계보와 모델의 비결정적 특성을 고려한 AI 특화 증명 (Attestation) 프레임워크를 제시했습니다.
• 실용성과 확장성: 완전한 동적 분석의 높은 엔지니어링 비용 대신, 정적 분석과 안전 로딩을 기본으로 하되 동적 신호를 '선택적 플러그인'으로 도입하여 실용적인 보안과 운영 효율성을 균형 있게 설계했습니다.
• 표준화 기여: CycloneDX 1.6 ML Bill of Materials (MLBOM) 와 같은 표준을 활용하여 아티팩트의 투명성과 추적 가능성을 높이는 방향을 제시했습니다.

이 논문은 LLM 파이프라인의 보안을 위해 단순한 스캔을 넘어, 검증 가능한 주장 (Verifiable Claims) 을 기반으로 한 체계적인 접근법의 필요성을 강조하며, 향후 AI 시스템의 신뢰할 수 있는 배포를 위한 청사진을 제공합니다.