기술 요약: 손실 없는 증류 방지 샘플링 (LADS)

문제 정의

최전선 상용 생성 모델은 **증류 (distillation)**로 인해 심각한 위협에 직면해 있습니다. 적대자들은 API 쿼리를 통해 생성된 응답을 수집하여 원래 학습 비용의 일부로 경쟁 모델을 훈련시키기 때문입니다. 단일 계정 공격에 대한 방어책 (예: 사용량 모니터링) 은 존재하지만, 적대자들이 수백 개의 계정에 쿼리를 분산시키고 각 계정이 정상적인 사용자 행동을 모방하는 다중 계정 증류에는 효과가 없습니다.

기존 대응책은 다음과 같은 치명적인 한계를 겪고 있습니다:

1. 출력 교란: 모델 출력을 변경하여 그래디언트를 오염시키는 방법 (예: 예측 중독, Nasty Teacher) 은 본질적으로 정상 사용자의 응답 품질을 저하시킵니다.
2. 워터마킹: 사후 탐지 방법 (예: GINSEW, 증류 방지 지문) 은 증류 과정 자체를 방지하지 못하며 종종 출력 분포를 변경합니다.
3. 행동 탐지: 이상 탐지 시에만 발동하는 적응형 방어책은 개별적으로 정상적으로 보이는 많은 계정에 쿼리를 분산함으로써 우회될 수 있습니다.

핵심 과제는 정상 사용자에게는 손실 없이(정확한 통계적 충실도 유지) 다중 계정 증류자의 성능을 효과적으로 저하시키는 방어책을 설계하는 것입니다.

방법론: 손실 없는 증류 방지 샘플링 (LADS)

저자들은 LADS를 제안합니다. 이는 모델의 출력 분포 $G$를 수정하는 대신 생성에 사용되는 기본 노이즈 변수 $\epsilon$의 실현을 제어하는 서버 측 메커니즘입니다.

핵심 메커니즘

LADS 는 각 생성에 대한 랜덤 시드를 비공개 단사 시드 생성기 (private injective seed generator) $SG$에서 유도하며, 이는 두 가지 입력을 받습니다:

1. 의미적 버킷 ($i$): 쿼리 $q$를 의미적 버킷으로 매핑하는 비공개 클러스터링 함수 $h(q)$. 실제로는 의미 임베딩에 대한 국소 민감도 해싱 (LSH) 을 통해 구현될 수 있습니다.
2. 버킷 로컬 방문 카운터 ($a[i]$): 해당 의미적 버킷 내에서 특정 사용자가 쿼리한 횟수.

시드는 $s = SG(i, a[i])$로 계산됩니다. 이 시드는 의사난수 생성기 (PRNG) 를 초기화하여 노이즈 $\epsilon$을 생성하고, 이를 사용하여 출력 $x = G(q, \epsilon)$을 생성합니다.

운영 특성

• 정상 사용자를 위한 손실 없음: 단일 계정의 경우, 서로 다른 요청에 걸친 시드 순서는 고유합니다 (증가하는 카운터로 인해). 결과적으로 사용자는 원래 모델의 분포에 따라 통계적으로 독립적이고 동일하게 분포된 (i.i.d.) 샘플을 수신합니다. 왜곡이 도입되지 않습니다.
• 증류자를 위한 상관관계: $K$개의 계정을 통제하는 다중 계정 증류자는 서로 다른 계정을 통해 의미적으로 유사한 쿼리 (동일한 버킷 $i$에 속함) 를 제출합니다. 이러한 쿼리가 동일한 상대적 접근 횟수 (예: 모든 계정의 버킷 내 $t$번째 쿼리) 에 발생하면 동일한 시드가 할당됩니다. 이는 계정 간 상관된 출력의 생성을 강제합니다.
• 증류에 미치는 영향: 증류자는 $KT$개의 독립적인 샘플 대신 실제로$T$개의 독립적인 샘플 (각각$K$번 반복됨) 만 수신하게 됩니다. 이는 유효 샘플 크기를 줄이고 증류 모델의 일반화 능력을 방해하는 통계적 상관관계를 도입합니다.

이론적 프레임워크

이 논문은 $K$개의 계정에서 각각 $T$개의 쿼리를 가진 증류자가 경험적 위험을 최소화하는 위협을 공식화합니다.

• 무조건부 생성 (LADS-SIMPLE): 쿼리 조건부 없이 표준 i.i.d. 샘플링 하에서 일반화 간격은 $O(1/\sqrt{KT})$로 스케일링됩니다. LADS-SIMPLE 하에서는 $O(1/\sqrt{T})$로 저하되어 계정을 추가하는 이점을 사실상 무효화합니다.
• 조건부 생성 (LADS): 작업별 증류의 경우, 일반화 간격은 계정 수 $K$가 아닌 활성화된 의미적 버킷 수 $N$에 의존합니다. 상한은 $O(1/\sqrt{NT})$로 스케일링됩니다. $N \ll K$(의미적 버킷이 계정보다 적음) 이므로 수렴 속도는 표준 i.i.d. 샘플링보다 현저히 느립니다. 이 분석은 균등 수렴 이론과 Rademacher 복잡도를 활용하여 계정 간 노이즈 결합이 증류 과정의 통계적 효율성을 감소시킨다는 것을 증명합니다.

실험 결과

저자들은 확산 기반 이미지 생성과 자기회귀 언어 모델 두 가지 패러다임에서 LADS 를 평가했습니다.

1. 이미지 생성 (EDM2 모델)

• 설정: 교사 (EDM2-Large, EDM2-XS) 대 학생 (EDM2-XXS). 50 개의 계정으로 ImageNet 클래스를 쿼리하는 다중 계정 시뮬레이션.
• 지표: Fréchet Inception Distance (FID) 및 검증 손실.
• 결과: 노이즈 결합 강도 $\alpha$가 0(표준 i.i.d.) 에서 1(완전 LADS) 로 증가함에 따라 학생 모델의 성능이 크게 저하되었습니다.
  • EDM2-Large 의 FID(실제 이미지 대비) 는 8.50($\alpha=0$) 에서 29.8($\alpha=1$) 로 증가했습니다.
  • 검증 손실은 $\alpha$에 따라 단조 증가했습니다.
  • 정상 사용자 (단일 계정으로 시뮬레이션) 는 원래 모델과 비교 가능한 고품질 FID 점수를 유지하여 손실 없는 특성을 확인했습니다.

2. 언어 모델 (수학 및 코드)

• 설정: 교사 (Qwen3.5-397B) 대 학생 (Llama-3.1-8B, DeepSeek-Math-7B, Qwen2.5-7B). 벤치마크에는 MATH, GSM8K, HumanEval 이 포함되었습니다.
• 방법: 교사는 프롬프트와 그 패러프레이즈에 대한 응답을 생성했습니다. LADS 설정에서 의미적으로 동등한 프롬프트는 동일한 랜덤 시드를 공유했습니다.
• 결과:
  • 표준 i.i.d. 샘플링: 파인튜닝은 상당한 향상을 보였습니다 (예: Llama-3.1-8B 의 GSM8K 에서 +29.8 점).
  • LADS 샘플링: 향상폭이 극적으로 감소했습니다 (예: 동일 모델의 GSM8K 에서 +11.2 점).
  • 이러한 결과는 LADS 가 개별 응답의 품질은 유지하면서 다중 계정 증류의 통계적 이점을 제한한다는 것을 확인시켜 줍니다.

주요 기여

1. 새로운 방어 메커니즘: 출력 분포가 아닌 기본 노이즈 실현을 조작함으로써 다중 계정 증류에 대한 손실 없는 방어를 달성하는 최초의 방어책인 LADS 도입.
2. 이론적 보장: 균등 수렴 이론을 사용한 엄밀한 증명을 통해 LADS 가 유효 샘플 크기를 $KT$에서$T$(또는 조건부 설정에서는$NT$) 로 축소하여 증류자의 일반화 간격을 증명적으로 저하시킨다는 점.
3. 실증적 검증: 이미지 및 언어 도메인 전반에 걸친 포괄적인 실험을 통해 LADS 가 학생 모델 성능을 크게 저하시키면서도 정상 사용자에게 정확한 통계적 충실도를 유지함을 입증.

중요성과 주장

이 논문은 LADS 가 AI 보안의 중요한 격차, 즉 사용자 경험을 훼손하지 않고 정교한 다중 계정 증류 공격에 대응할 수 없다는 문제를 해결한다고 주장합니다. 출력을 랜덤성 공간으로 이동시킴으로써, 저자들은 증류를 적대자에게는 "통계적으로 비효율적"으로 만들면서 합법적 사용자에게는 보이지 않게 만들 수 있다고 주장합니다.

저자들은 LADS 를 출력 교란 및 워터마킹에 대한 원칙적인 대안으로 제시하며, 사후에 무단 사용을 탐지하는 것이 아니라 고품질 학습 데이터의 획득을 사전에 방지하는 능동적 방어책을 제공합니다. 향후 작업은 더 적응적인 의미적 그룹화 전략과 시스템 수준 보호 장치와의 통합을 포함할 수 있지만, 현재 작업은 노이즈 결합을 방어 메커니즘으로 하는 이론적 및 실증적 타당성을 확립하는 데 초점을 맞추고 있습니다.