Protecting Language Models Against Unauthorized Distillation through Trace Rewriting

1. 문제 정의 (Problem Statement)

• 배경: 지식 증류 (Knowledge Distillation) 는 대형 언어 모델 (Teacher) 의 능력을 더 작고 효율적인 모델 (Student) 로 전달하는 핵심 기술입니다. 그러나 최근 Frontier 모델 (고성능 추론 모델) 들은 명시적인 추론 과정 (Reasoning Traces) 을 생성하는데, 이를 무단으로 수집하여 증류하면 원본 모델 개발에 투입된 막대한 비용과 노력이 도용당하게 됩니다.
• 기존 접근법의 한계:
  • 반-증류 (Anti-distillation): 기존 방법들은 증류 효과를 떨어뜨리지만, 동시에 Teacher 모델의 성능도 크게 저하시켜 실용성이 낮습니다.
  • API 워터마킹: 기존 토큰 수준의 통계적 워터마킹은 오탐지 (False Alarm) 비율이 높아, 모델 도용을 입증하기 어렵거나 모델 소유자에게 불리한 변명 (Plausible deniability) 을 허용합니다.
• 목표: Teacher 모델의 추론 과정을 수정하여 두 가지 목표를 동시에 달성하는 것:
  1. 반-증류 (Anti-distillation): Student 모델의 학습 효율성을 극도로 떨어뜨리되, Teacher 모델의 정답률과 의미적 일관성은 유지하거나 향상시킴.
  2. API 워터마킹: Student 모델에 검증 가능한 시그니처 (워터마크) 를 숨겨 삽입하여, 도용 여부를 높은 신뢰도로 탐지하고 오탐지를 최소화함.

2. 방법론 (Methodology)

저자들은 Teacher 가 생성한 추론 추적 (Reasoning Traces) 을 동적으로 재작성 (Rewriting) 하는 프레임워크를 제안합니다. 주요 방법은 다음과 같습니다.

A. 지시 기반 재작성 (Instruction-Based Rewriting)

LLM 어시스턴트를 활용하여 원본 추론 과정을 재구성하는 방식입니다.

1. 의미적 프롬프팅 (Semantic Prompting): 자연어 지시를 통해 추론의 명확성을 해치되 정답은 유지하도록 LLM 에게 요청합니다.
2. 최적화된 프롬프팅 (Optimized Prompting - Ours): OPRO (Optimization by PROmpting) 프레임워크를 활용하여, Student 모델의 성능을 가장 크게 저하시키는 최적의 재작성 지시문 (Prompt) 을 자동 탐색합니다.
   • 특징: 이 방식은 Teacher 의 오류를 수정하여 Teacher 성능을 오히려 향상시키기도 합니다.
   • 워터마킹 적용: "trigger = target" 형태의 시그니처를 추론 과정의 은밀한 위치에 삽입하도록 지시합니다.

B. 경사 기반 재작성 (Gradient-Based Rewriting)

목표 함수를 직접 최적화하여 추론을 변형하는 방식입니다.

1. 임베딩 공간 중독 (Embedding-Space Poisoning): Student 모델의 학습 손실을 최대화하도록 Token 임베딩을 교란합니다.
   • Hessian 기반 (HB-Grad): 2 차 도함수 (Hessian) 를 이용한 정밀한 최적화 (계산 비용 높음).
   • 1 차 기반 (FO-Grad): Hessian 역행렬 계산을 생략한 근사법.
   • 제약 조건: 최종 정답 (Answer) 은 변조하지 않고, 의미적 일관성을 해치지 않는 범위 내에서만 임베딩을 수정합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 방어 프레임워크: Teacher 모델의 수정 없이, 생성된 추론 추적 (Trace) 만을 재작성하여 무단 증류를 방지하는 통합 프레임워크를 제안했습니다.
2. 최적화된 프롬프팅 기반 반-증류: 기존 방법들 (ADS, DOGe 등) 보다 강력한 반-증류 효과를 달성하면서도 Teacher 모델의 성능을 유지하거나 향상시켰습니다.
3. 스텔스 워터마킹: 의미적 일관성을 해치지 않으면서 Student 모델에 워터마크를 삽입하고, 거의 0 에 가까운 오탐지율 (False Alarm Rate) 로 도용을 탐지하는 방법을 제시했습니다.
4. 광범위한 실험 검증: GSM8K, MATH 등 다양한 벤치마크와 Student 모델 아키텍처를 통해 방법론의 유효성과 적응적 공격 (Adaptive Attacks) 에 대한 견고성을 입증했습니다.

4. 실험 결과 (Results)

• 반-증류 성능:

  • 제안된 최적화된 프롬프팅 (Optimized Prompting) 방법은 Student 모델의 정확도를 최대 61.3% 까지 감소시켰습니다.
  • 반면, Teacher 모델의 정확도는 유지되거나 (GSM8K 에서 +2.4%, MATH 에서 +22.3% 향상) 오히려 개선되었습니다.
  • 기존 Baseline (ADS, DOGe) 은 Teacher 성능을 크게 저하시켰거나 반-증류 효과가 미미했습니다.
  • 스케일링 법칙: Student 모델이 더 강력할수록 성능 저하가 더 크게 발생하여, 고능률 모델이 오히려 손상된 추론 패턴을 더 잘 학습함을 보였습니다.

• 워터마킹 성능:

  • 검출률 (True Detection): 거의 100% 에 가까운 검출률을 달성했습니다.
  • 오탐지율 (False Alarm): 거의 0% 수준으로, 기존 방법들 (He et al., GINSEW 등) 이 보였던 높은 오탐지 문제를 해결했습니다.
  • 샘플 효율성: 소수의 검증 쿼리 (K=1~5) 만으로도 신뢰할 수 있는 검지가 가능했습니다.

• 적응적 공격에 대한 견고성 (Robustness):

  • Paraphrasing (재문장화), Filtering (필터링), CDG-KD (대조적 디코딩) 등 다양한 적응적 공격 시도가 시도되었으나, 워터마크는 여전히 검출되었고 Student 모델의 성능은 오히려 더 크게 저하되었습니다. 이는 공격자가 워터마크를 제거하려 하면 추론의 질 자체가 파괴됨을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 의미 수준 (Semantic-level) 의 추론 추적 조작이 LLM 보호를 위한 유망한 방향임을 입증했습니다.

1. 실용성: Teacher 모델을 재학습하거나 수정할 필요 없이, API 응답 단계에서 추론 과정을 재작성함으로써 즉시 배포 가능한 보호 메커니즘을 제공합니다.
2. 상충 관계 해결: 기존에는 '방어 효과'와 '모델 성능'이 상충 관계에 있었으나, 이 연구는 방어 효과를 극대화하면서도 Teacher 성능을 향상시킬 수 있음을 보였습니다.
3. 법적/상업적 가치: 거의 0 에 가까운 오탐지율을 가진 워터마킹 기술은 지적재산권 침해 (모델 도용) 를 입증하는 강력한 법적 증거로 활용될 수 있습니다.

결론적으로, 이 연구는 Frontier LLM 의 무단 증류에 대한 강력한 방어 수단이자, 모델 소유권을 증명하는 신뢰할 수 있는 도구를 제시합니다.