Verifying LLM Inference to Detect Model Weight Exfiltration

1. 문제 정의 (Problem Statement)

배경 및 위협:
대형 언어 모델 (LLM) 이 중요한 자산으로 부상함에 따라, 추론 서버 (Inference Server) 에 저장된 모델 가중치 (Model Weights) 의 유출 위험이 증가하고 있습니다. 공격자가 추론 서버를 장악할 경우, 정상적인 모델 응답 (텍스트) 안에 가중치 정보를 숨겨 외부로 전송하는 스테가노그래피 (Steganography) 공격을 수행할 수 있습니다.

기존 방어책의 한계:

• 단순 필터링: 문법적 패턴이나 이상한 퍼플렉시티 (Perplexity) 를 가진 메시지를 차단하는 방식은 적응형 공격자에게 우회당하기 쉽습니다.
• 암호학적 증명 (ZKP): 제로지식 증명 (ZKP) 은 강력한 보안을 제공하지만, 추론 속도를 수천 배 이상 저하시켜 실제 서비스 배포에는 비현실적입니다.
• 내부 상태 지문: 중간 활성화 값을 비교하는 방식은 공격자가 임의의 텍스트를 생성한 후 지문을 조작하여 통과시킬 수 있어 '생성 진위성'을 보장하지 못합니다.

핵심 과제:
LLM 추론은 본질적으로 **비결정적 (Non-deterministic)**입니다 (부동소수점 연산 오차, GPU 커널 스케줄링 등). 이로 인해 동일한 시드 (Seed) 와 모델이라도 매번 다른 출력이 나올 수 있습니다. 공격자는 이 '정당한 비결정성 (Valid Non-determinism)'을 악용하여 정상적인 출력처럼 보이게 하되, 숨겨진 정보를 인코딩할 수 있습니다. 따라서 어디까지가 정당한 비결정성이고, 어디부터가 악의적인 변조인지를 구분하는 검증 메커니즘이 필요합니다.

---

2. 방법론 (Methodology)

이 논문은 모델 가중치 유출을 **보안 게임 (Security Game)**으로 형식화하고, 이를 탐지하기 위한 검증 프레임워크를 제안합니다.

A. 검증 시스템 아키텍처

• 분리된 검증 서버 (Decoupled Verification Server): 추론 서버 (성능 중심) 와 검증 서버 (보안 중심) 를 분리합니다. 검증 서버는 신뢰할 수 있는 하드웨어/소프트웨어 스택에서 독립적으로 실행됩니다.
• 작동 원리:
  1. 추론 서버는 모든 입력/출력 및 사용된 시드 (Seed) 를 로깅합니다.
  2. 검증 서버는 무작위로 샘플링된 로그를 받아, 동일한 모델과 시드로 다시 추론을 실행합니다.
  3. 검증 서버는 생성된 토큰의 확률 분포를 분석하여, 실제 출력된 토큰이 '정당한 비결정성' 범위 내에 있는지 평가합니다.

B. 핵심 기술: 고정 시드 샘플링 가능성 (Fixed-Seed Sampling Likelihood, FSSL)

정당한 비결정성 하에서도 특정 토큰이 선택될 확률을 추정하는 지표를 개발했습니다.

1. Token-DiFR (FSSL-GM): Gumbel-Max Trick 을 사용하는 샘플러 (예: vLLM) 에 적용. Gumbel 노이즈 분포를 가정하고, 특정 토큰이 샘플링될 확률을 계산합니다.
2. Token-IPT-DiFR (FSSL-IPT): 역확률 변환 (Inverse Probability Transform) 을 사용하는 샘플러 (예: Ollama) 에 적용. 누적 분포 함수 (CDF) 상에서 샘플링된 값이 토큰 구간 내에 있을 확률을 가우시안 적분으로 추정합니다.

C. 3 단계 분류 및 로짓 랭크 (Logit Rank) 활용

단순한 임계값 (Threshold) 을 넘어, 로짓 랭크 (원래 점수 기준 순위) 정보를 결합하여 분류 정확도를 높였습니다.

• Safe: FSSL 점수가 높음 (정상).
• Suspicious: FSSL 점수는 낮지만, 로짓 랭크가 높음 (정상적인 비결정성 범위 내일 가능성).
• Dangerous: FSSL 점수가 낮고 로짓 랭크도 낮음 (명백한 변조/유출 시도).
  이 방식은 공격자가 유출할 수 있는 정보의 양 (Capacity) 을 수학적으로 제한합니다.

---

3. 주요 기여 (Key Contributions)

1. 형식적 보안 게임 및 이론적 한계 도출:

   • 모델 가중치 유출을 보안 게임으로 정의하고, 제안된 시스템 하에서 공격자가 유출할 수 있는 정보의 상한선 (Information-theoretic bounds) 을 수학적으로 증명했습니다 (Theorem 5.1, 5.2, 5.3).
   • 공격자가 탐지되지 않고 유출할 수 있는 속도를 이론적으로 제한함을 보였습니다.

2. 실용적인 검증 프레임워크 제안:

   • FSSL 기반 검증: 비결정성을 고려한 토큰별 신뢰도 점수 (Token-DiFR, Token-IPT-DiFR) 를 제안했습니다.
   • 성능과 보안의 분리: 검증 서버를 별도의 인프라로 운영하여 추론 속도를 저하시키지 않으면서 강력한 보안을 제공합니다.

3. 실증적 검증 및 성능:

   • Llama-3.1-8B, Llama-3.2-3B, Qwen1.5-MoE-7B, Qwen3-30B-A3B 등 다양한 오픈 가중치 모델 (3B~30B 파라미터) 에서 실험을 수행했습니다.
   • Qwen3-30B-A3B 모델에서 < 0.5% 의 유출 가능 정보율과 **< 10⁻² 의 오탐지율 (FPR)**을 달성했습니다.
   • 이는 공격자에게 **200 배 이상의 속도 저하 (Slowdown)**를 강요하여, 1TB 모델 유출에 걸리는 시간을 약 1 일에서 200 일 이상으로 늘리는 효과를 입증했습니다.

4. 이중 목적성 (Double-Purpose):

   • 악의적인 유출 탐지뿐만 아니라, 추론 시간의 버그 (Bug) 나 비정상적인 모델 동작 (Anomaly) 을 탐지하는 데에도 활용 가능합니다.

---

4. 실험 결과 (Results)

• 유출 속도 제한: 제안된 시스템은 공격자가 정상적인 트래픽을 가장하여 정보를 숨기는 것을 극도로 어렵게 만듭니다. 1TB 의 모델 가중치를 유출하는 데 걸리는 시간을 기존 (약 1 일) 에서 200 일 이상으로 증가시켰습니다.
• 오류율 (FPR) 대 정보량 트레이드오프:
  • FPR 을 1% 미만으로 유지하면서도, 공격자가 유출할 수 있는 정보량을 전체 어휘 대비 0.5% 미만으로 억제했습니다.
  • 로짓 랭크 (Logit Rank) 를 추가한 3 단계 분류 방식이 단순 임계값 방식보다 훨씬 효율적인 보안 - 사용성 균형 (Pareto Frontier) 을 보였습니다.
• 비결정성 분석: 고정된 시드에서도 모델은 약간의 비결정성을 보이지만, 이는 특정 '분기점 (Fork points)'에 집중되어 있음을 확인했습니다. (예: OpenAI 4o-mini 의 경우 약 5% 의 토큰 위치에서 분기 발생).

---

5. 의의 및 결론 (Significance)

• 실용적인 방어 솔루션: 기존 암호학적 방법 (ZKP) 의 높은 오버헤드 문제를 해결하고, 실제 대규모 LLM 서비스 배포에 적용 가능한 경량화된 보안 솔루션을 제시했습니다.
• 신뢰 모델의 변화: 추론 서버가 완전히 신뢰할 수 없다고 가정하더라도, 검증 서버를 통해 유출을 탐지하고 억제할 수 있음을 보였습니다.
• 경제적 억제 효과: 공격자에게 유출 속도를 극도로 늦추거나 (Slow Exfiltration), 탐지될 확률을 높여 공격의 경제적 타당성을 떨어뜨립니다.
• 미래 방향: 이 기술은 모델 가중치 보호를 위한 다층 방어 (Defense in Depth) 전략의 핵심 구성 요소로, 추론 인프라의 신뢰성을 높이는 데 기여합니다.

요약하자면, 이 논문은 LLM 추론 과정의 본질적인 비결정성을 정량화하고 이를 기반으로 한 검증 메커니즘을 통해, 스테가노그래피를 이용한 모델 가중치 유출을 이론적으로 제한하고 실험적으로 효과적으로 탐지할 수 있음을 입증했습니다.