1. 문제 정의 (Problem Statement)

상용 대규모 언어 모델 (LLM) 은 대부분 블랙박스 API 서비스로 배포되며, 사용자는 제공자가 추론을 정확하게 수행하고 토큰 사용량을 정직하게 보고한다고 믿어야 합니다. 그러나 이 구조는 근본적인 **신뢰 불균형 (Trust Asymmetry)**을 초래합니다.

• 주요 위협:
  • 모델 교체 (Model Substitution): 제공자가 광고된 고사양 모델 대신 저비용 모델 (예: 증류된 모델) 을 사용하여 추론을 수행하는 행위.
  • 과도한 양자화 (Aggressive Quantization): 광고된 정밀도 (예: BF16) 보다 낮은 정밀도 (예: FP8) 를 사용하여 계산 비용을 절감하는 행위.
  • 토큰 과다 청구 (Token Overbilling): 실제 사용량보다 많은 토큰 수를 보고하여 비용을 부당하게 청구하는 행위 (특히 추론 과정의 중간 토큰이 숨겨지는 경우).
• 기존 기술의 한계:
  • 신뢰 실행 환경 (TEE, 예: GPU-TEE): 강력한 무결성 보장을 제공하지만, 특정 하드웨어 (NVIDIA 등) 에 종속되어 확장성이 떨어지고 기존 인프라를 재설계해야 하는 비용이 큽니다.
  • 암호학적 증명 (ZKP 등): 신뢰 하드웨어가 필요 없으나, 증명 생성 비용이 매우 높고 현대 GPU 에서 비효율적인 정수 연산 (integer-only) 으로 제한되는 경우가 많아 실용성이 낮습니다.

2. 방법론 (Methodology)

저자들은 IMMACULATE라는 실용적인 감사 프레임워크를 제안합니다. 이는 "검증 가능한 계산 (Verifiable Computation)"과 "확률적 감사 (Randomized Auditing)"를 결합하여 모델 내부나 신뢰 하드웨어 없이도 검사를 가능하게 합니다.

2.1. 핵심 아이디어: 확률적 감사 (Randomized Auditing)

• 모든 요청을 검증하는 것은 비용이 너무 많이 듭니다. 대신, 감사자 (Auditor) 는 전체 요청 중 아주 작은 무작위 부분집합만 선택하여 검증합니다.
• 합리적인 제공자가 대량으로 사기 행위를 하려면 (예: 10% 이상의 요청에서 위반), 무작위 샘플링을 통해 높은 확률로 적발될 수밖에 없습니다.
• 이 접근법은 암호학적 오버헤드를 전체 서비스 비용에 비해 무시할 수 있는 수준으로 낮춥니다.

2.2. 수치적 비결정성 해결: 로짓 거리 분포 (Logit Distance Distribution, LDD)

현대 가속기 (GPU) 에서 부동소수점 연산은 비결정적 (non-deterministic) 이기 때문에 비트 단위 정확성 (bitwise reproducibility) 을 증명하는 것은 불가능합니다. 이를 해결하기 위해 LDD를 도입합니다.

• 하이브리드 계산 모델: LLM 추론을 연속적인 신경망 연산 (Continuous) 과 이산적인 결정 (Discrete, 예: 토큰 샘플링) 으로 분리하여 모델링합니다.
• 정렬 (Alignment): 실제 실행 모델이 취한 이산적 결정 (토큰 선택 등) 을 기준으로, 이상적인 고정밀 (Full-precision) 참조 모델이 동일한 경로를 따르도록 강제합니다.
• LDD 정의: 각 단계에서 실제 모델이 생성한 로짓 (Logits) 과 이상적 참조 모델의 로짓 사이의 거리 (예: KL 발산, 총변동 거리 TV) 를 측정합니다.
  • 합법적 실행: 수치적 오차로 인한 거리는 작고 안정적인 분포를 보입니다.
  • 악의적 실행 (모델 교체, 양자화): 체계적인 편향이나 분산 증가로 인해 거리가 크게 벌어지는 '꼬리 (Tail)' 현상이 발생합니다.

2.3. 시스템 흐름

1. 설정: 모델 소유자는 주장하는 고정밀 모델에 대한 암호학적 해시 커밋을 게시합니다.
2. 추론 및 로깅: 서버는 추론 시 각 단계의 로짓을 기록하고 커밋합니다 (저장 비용은 토큰당 약 1KB 로 매우 낮음).
3. 감사: 감사자가 무작위 요청을 보내고 응답 후 신원을 밝히며 증명 (Proof) 을 요구합니다.
4. 증명 (VC): 서버는 검증 가능한 계산을 통해 LDD 를 계산하고, 로짓이 커밋된 값에서 유래되었음을 증명합니다.
5. 판단: 감사자는 LDD 분포의 꼬리 확률 (Tail probability) 을 분석하여 악의적 행위를 탐지합니다.

3. 주요 기여 (Key Contributions)

1. IMMACULATE 프레임워크: GPU 기반 신뢰 하드웨어 (TEE) 에 의존하지 않고, 블랙박스 LLM 서비스에 대한 강력한 무결성 보장을 제공하는 실용적인 감사 프레임워크를 최초로 제안했습니다.
2. LDD (Logit Distance Distribution) 지표: 수치적 비결정성 하에서도 배포된 실행과 주장된 모델 간의 근사 정확도를 정량화하는 새로운 지표를 고안했습니다. 이는 이산적 결정의 불일치를 피하면서 로짓 수준의 차이를 포착합니다.
3. 실용성과 효율성: vLLM 기반 프로토타입 구현을 통해 기존 대규모 LLM 배포와 호환되며, 전체 처리량 (Throughput) 오버헤드가 1% 미만임을 입증했습니다.

4. 실험 결과 (Results)

저자들은 LLaMA3, Qwen3, DeepSeek-V2 등 다양한 밀집 (Dense) 및 전문가 혼합 (MoE) 모델을 대상으로 실험을 수행했습니다.

• 탐지 성능:
  • 모델 교체: 40%~99% 의 높은 탐지율 (Per-request detection rate) 을 보였습니다.
  • 과도한 양자화 (FP8): 1.3%~10.3% 의 탐지율을 보였으며, 이는 확률적 감사를 통해 전체적으로 높은 탐지 확률을 보장하기에 충분합니다.
  • 거짓 양성 (False Positive): 극단적 값 이론 (EVT) 을 적용하여 분석한 결과, 합법적 서버가 잘못 적발될 확률은 10⁻⁵ 미만으로 매우 낮았습니다.
• 성능 오버헤드:
  • 감사 대상 요청 비율이 매우 낮기 때문에 (약 10⁻⁵), 전체 시스템의 처리량 감소는 0.3%~1.0% 수준에 불과했습니다.
  • 검증 가능한 계산 (VC) 은 CPU TEE 에서 GPU 추론보다 수백 배 느리지만, 감사 요청이 극히 드물기 때문에 전체 비용은 무시할 수 있습니다.

5. 의의 및 결론 (Significance)

IMMACULATE 는 LLM 서비스 생태계에서 투명성, 책임성, 신뢰를 확보하기 위한 중요한 진전을 이룩했습니다.

• 경제적 동기 부여된 사기 탐지: 제공자가 비용을 절감하기 위해 모델 품질을 저하시키거나 과다 청구하는 행위를 기술적으로 검증 가능하게 만들었습니다.
• 인프라 독립성: 특정 하드웨어 (NVIDIA GPU 등) 나 모델 내부 접근 권한 없이도 작동하므로, 다양한 클라우드 환경과 모델 아키텍처에 적용 가능합니다.
• 실용적 타협점: 완벽한 비트 단위 검증의 비현실성을 인정하고, 통계적 유의성을 기반으로 한 실용적인 검증 방식을 제시하여 암호학적 증명과 TEE 의 단점을 모두 보완했습니다.

이 프레임워크는 상업적 LLM 서비스의 신뢰성을 보장하는 새로운 표준을 제시하며, 향후 자율 에이전트 및 중요한 애플리케이션이 LLM API 에 의존할 때 필수적인 인프라가 될 것으로 기대됩니다.