The Grand Software Supply Chain of AI Systems

Carmine Cesarano 와 Martin Monperrus 의 논문 "AI 시스템의 거대 소프트웨어 공급망 (The Grand Software Supply Chain of AI Systems)"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 재현 가능한 빌드, 시맨틱 버전 관리, 서명된 증명과 같은 전통적인 소프트웨어를 보호하는 소프트웨어 공급망 메커니즘이 AI 시스템에는 효과적으로 적용되지 않는다고 주장합니다. 그 결과, AI 시스템은 데이터 수집부터 최종 추론에 이르는 모든 단계에서 무결성 위험에 노출되어 있습니다.

저자들은 현대의 AI 시스템이 대규모, 이질적, 그리고 관리되지 않은 상태라고 지적합니다. 전통적인 소프트웨어와 달리, AI 시스템은 현재 공급망 메커니즘이 실패하는 네 가지 구체적인 구조적 격차를 겪고 있습니다:

1. 검증 가능성 (Verifiability): 학습된 산출물 (모델 가중치) 은 GPU 스케줄링, 부동 소수점 변동성과 같은 비결정성으로 인해 비트 단위로 재현할 수 없으므로, 해시 검증은 변조 탐지에 무용지물이 됩니다.
2. 버전 관리 (Versioning): 복합 AI 시스템에는 선언되지 않은 행동적 결합 (예: 특정 베이스 모델을 필요로 하는 어댑터, 특정 출력 형식에 의존하는 프롬프트) 이 포함되어 있습니다. 이러한 구성 요소를 고정하는 "락파일 (lockfile)"이 부재하여, 제공자가 하위 시스템을 즉시 중단시키지 않고도 산출물을 일방적으로 변경할 수 있게 되며, 이는 침묵하는 열화를 초래합니다.
3. 가시성 (Observability): AI 시스템은 충돌하기보다 침묵하는 실패 (행위적 편차) 를 경향합니다. 현재의 원격 측정 (telemetry) 은 지연 시간과 오류율에 초점을 맞추고 있어, 행동의 변화를 특정 상류 산출물의 변경과 연결하지 못합니다.
4. 추적 가능성 (Traceability): AI 의 계보 그래프는 다중 부모 (예: 증류, 모델 병합), 비결정적, 그리고 조직 간 특성을 가집니다. 기존 프레임워크 (SLSA, in-toto) 는 이러한 복잡한 의존성이나 정책 결정을 표현할 수 없습니다.

2. 방법론

저자들은 AI 공급망의 특성을 규명하기 위해 계층적 아키텍처 분석과 실증적 측정을 결합하여 사용합니다.

A. 개념적 프레임워크

이 논문은 AI 공급망을 네 가지 아키텍처 계층과 세 가지 추상화로 분해합니다:

• 계층:
  1. 데이터 수집: 수집, 전처리, 주석 달기, 검색 코퍼스 구성.
  2. 모델 학습: 오케스트레이션, 실행, 변형 (사전 학습, 미세 조정, 증류, 병합).
  3. 통합 및 추론: 프롬프트 엔지니어링, 도구 통합, 가드레일, 양자화, 서빙.
  4. 교차적 기반 (Cross-Cutting Substrate): 모든 다른 계층에 대한 전이적 의존성으로 작용하는 공유 인프라 (컨테이너화, CI/CD, 관측 가능성, OS/GPU 드라이버).
• 추상화:
  1. 산출물 (Artifacts): 영구적 객체 (데이터셋, 모델 가중치, 프롬프트, 컨테이너 이미지). 기호적 (코드/설정) 과 학습된 (가중치/파라미터) 으로 구분됩니다.
  2. 변환 (Transformations): 입력 산출물을 출력 산출물로 변환하는 과정 (예: 토큰화, 미세 조정).
  3. 인프라 (Infrastructure): 변환을 실행하는 계산 기반 (하드웨어, 클라우드, 오케스트레이션).

B. 실증적 측정

문제의 규모를 정량화하기 위해 저자들은 **참고 AI 스택 (Reference AI Stack)**을 구축했습니다:

• 선정: 프레임워크에서 식별된 모든 기능적 역할 (예: 벡터 저장소, 오케스트레이터, 모델 레지스트리) 을 대표하는 48 개의 프로덕션급 오픈 소스 프로젝트가 선정되었습니다. 선정 기준에는 프로덕션 사용에 대한 독립적인 문서화가 포함되었습니다.
• 의존성 해결: 네이티브 패키지 관리자 (PyPI, Go 모듈, Cargo, Maven, Gradle, npm) 를 사용하여 직접 및 전이적 의존성을 해결했습니다.
• 지표: 소스 코드 줄 수 (LOC) 와 의존성 수를 측정했습니다.

3. 주요 기여

1. 최초의 포괄적 특성 규명: 이 논문은 공식적인 아키텍처 분해를 통해 AI 소프트웨어 공급망의 범위, 깊이, 복잡성을 정의하는 최초의 종단간 매핑을 제공합니다.
2. 네 가지 구조적 격차의 정의: 전통적인 소프트웨어 공급망 문제와 구별되는 AI 특유의 검증 가능성, 버전 관리, 가시성, 추적 가능성에서의 실패를 공식적으로 정의합니다.
3. 실증적 규모 분석: 48 개 프로젝트 참조 스택 측정을 통해 AI 공급망의 막대한 규모를 확립합니다.
4. 연구 의제: 구성적 검증, 복합 AI 시스템을 위한 "락파일", 산출물 인식 계측, 다중 부모 계보를 위한 새로운 증명 프로토콜과 같은 격차 해소를 위한 구체적인 방향을 제안합니다.

4. 결과

48 개 프로젝트 참조 스택에 대한 실증적 측정은 다음과 같은 통계를 산출했습니다:

• 직접 의존성: 4,664 개 패키지.
• 전이적 의존성: 11,508 개 패키지.
• 총 코드 볼륨: 약 3 억 9,200 만 줄 (LOC).
  • 직접 소스 코드: 약 8,260 만 줄.
  • 전이적 의존성: 약 3 억 940 만 줄.
  • 추정 불투명/독점 코드: 약 1,600 만~6,300 만 줄.
• 언어 분포: C(26%), Go(16%), C 헤더 (12%), Python(11%), 그리고 상당 부분이 C++, JSON, YAML, TypeScript 로 구성됨.
• 주요 구조적 발견: **교차적 기반 (Cross-Cutting Substrate)**이 스택을 지배하여, 직접 LOC 의 5,100 만 줄과 전이적 의존성의 대부분을 차지합니다. 이는 단일 인프라 구성 요소 (예: CI/CD 도구 또는 기본 컨테이너 이미지) 의 침해가 데이터, 학습, 서빙 계층에 동시에 영향을 미칠 수 있음을 시사합니다.
• 신뢰 비율: 운영자가 명시적으로 선택하는 코드 한 줄당, 전이적 해결을 통해 스택에 거의 네 줄의 추가 코드가 진입하여 막대한 "맹신 (blind trust)" 표면적을 생성합니다.

5. 의의

• 패러다임 전환: 이 논문은 AI 안전이 모델 정렬이나 데이터 필터링만으로 달성될 수 있다는 가정에 도전합니다. **"AI 공급망 무결성 없이는 AI 안전도 없다"**는 입장을 취합니다.
• 취약성 노출: Hugging Face 의 악성 페이로드, 데이터셋 내 아동 안전 관련 자료, 백도어 CI/CD 파이프라인과 같은 현재의 사건들은 고립된 실패가 아니라 공급망 관리의 체계적 부재로 인한 증상임을 강조합니다.
• 현재 도구의 부적절성: SLSA 와 in-toto 와 같은 기존 도구는 AI 학습 및 추론의 확률적, 다중 부모 특성에 적용되지 않는 결정론적 단일 부모 빌드 그래프를 가정하므로 불충분함을 입증합니다.
• 미래 방향: 이 논문은 연구자와 실무자들이 다음을 개발하기 위한 명확한 의제를 설정합니다:
  • 프로세스 수준의 보증: 비트 단위의 동일한 출력 대신 절차를 증명.
  • 이질적 의존성 조정: AI 전용 락파일.
  • 산출물 인식 계측: 전체 산출물 계보로 응답에 태그 부여.
  • 경계 간 계보 증명: 영업 비밀을 공개하지 않고 조직 간 계보 데이터를 공유하기 위한 프로토콜.

결론적으로, 이 논문은 AI 소프트웨어 공급망이 학습된 산출물과 복합 AI 시스템의 고유한 특성을 수용하기 위해 소프트웨어 무결성 메커니즘의 근본적인 재고가 필요한, 중요하지만 관리되지 않은 공격 표면임을 확립합니다.