Can Watermarking Techniques Help Prevent LLM Model Stealing?

기술 요약: LLM 모델 탈취 방지를 위한 워터마킹 기법

문제 정의
상업용 대규모 언어 모델(LLM)은 일반적으로 블랙박스 API를 통해 접근되므로, 내부 아키텍처, 학습 데이터 및 파라미터가 독점적으로 유지된다. 그러나 [Carlini 등, 2024b]의 최근 연구는 블랙박스 모델로부터 정밀한 아키텍처 정보, 구체적으로는 은닉층 차원(hidden layer dimension)과 최종 투영층(final projection layer)을 추출할 수 있는 확장 가능한 "모델 탈취(model stealing)" 공격을 입증했다. 이 공격은 제어 가능한 프롬프트 세트를 사용하여 모델에 쿼리를 보내 다음 토큰 예측 로짓 벡터(logit vectors)를 수집함으로써 작동한다. 이 로짓들로 행렬을 구성하고 주성분 분석(PCA)을 적용하면, 공격자는 행렬의 수치적 랭크(rank)를 추정할 수 있으며, 이는 모델의 은닉 차원과 일치한다. 이러한 취약점은 매우 치명적인데, 은닉 차원이 모델의 최종 레이어 파라미터를 탈취하기 위한 기초가 되기 때문이다. 이 공격은 특정 활성화 함수나 네트워크 구조에 의존하지 않으며, 방어자가 단순한 노이즈 주입이나 평균화 기술을 통해 완화하려고 시도하더라도 효과가 유지되는 다재다능한 특성을 지닌다.

방법론
저자들은 LLM 워터마킹 기법 [Kirchenbauer 등, 2023]에서 영감을 얻어, 모델의 유용성을 보존하면서도 랭크 추정 공격을 저지하도록 설계된 방어 메커니즘을 제안한다. 핵심 전략은 토큰 샘플링 전 모델의 로짓 층을 구조적으로 섭동(perturbation)시키는 것이다.

1. 프롬프트 종속적 결정론적 노이즈: 단순한 무작위 노이즈(공격자에 의해 평균화될 수 있음)를 추가하는 일반적인 방어와 달리, 제안된 방법은 특정 프로프트 $p$에 대한 모델의 마지막 은닉 상태($h$)에 암호학적 의사 난수 함수(PRF)를 적용하여 생성된 시드를 사용하여, 주어진 프롬프트에 대해 결정론적이면서도 서로 다른 프롬프트 간에는 가변적인 노이즈를 생성한다. PRF는 동일한 프롬프트가 동일한 섭동을 생성하도록 보장하여 (평균화 공격 방지) 서로 다른 프롬프트가 서로 다른 무작위 섭동을 생성하게 한다.
2. 섭동 메커니즘: 본 논문은 다음과 같은 몇 가지 노이즈 구조를 평가한다:
   • 가산 노이즈 (Additive Noise): 이산적 또는 가우시안 노이즈 벡터를 직접 더한다. 기본적인 PCA에는 효과적이지만, 정교한 평균화 또는 강건한 PCA(Robust PCA) 공격에는 취약하다.
   • 승법 노이즈 (Multiplicative Noise): 로짓을 무작위 인수로 스케일링한다. 실험 결과, 이는 모델 품질을 크게 저하시키며 랭크 회복을 방지하는 데 실패하는 것으로 나타났다.
   • Softplus-Then-Perturb (STP): 저자들은 로짓 벡터 $\ell$을 먼저 softplus 함수($\text{softplus}(\alpha\ell)$)를 통해 변환하여 값을 왜곡하고 고신뢰 토큰의 상대적 순서를 보존하는 새로운 메커니즘을 제안한다. 그 후 이 변환된 벡터에 무작위 섭동을 더한다. 이 방식은 (품질에 중요한) 토큰 순서를 유지하면서도, 랭크 추정에 필요한 저차원 부분 공간(low-rank subspace)을 깨뜨릴 수 있는 충분한 구조적 복잡성을 도입하는 것을 목표로 한다.

주요 기여

• 랭크 추정 방어: 본 논문은 [Carlini 등, 2024b]가 이용하는 수학적 취약점을 구체적으로 겨냥하여, PCA 또는 Robust PCA를 통한 은닉 차원 회복을 방지하는 구조적 섭동 프레임워크을 도입한다.
• 노이즈의 이론적 분석: 저자들은 Weyl의 부등식과 행렬 섭동 이론을 활용하여 다양한 노이즈 조건 하에서의 랭크 회복 안정성을 분석한다. 이들은 단순 가산 노이즈가 평균화 공격에 불충분하며, 노이즈와 프롬프트 사이의 의존 구조가 결정적임을 입증한다.
• STP 메커니즘: 추출 공격에 대한 강건성과 모델 성능 보존 사이의 균형을 맞추는 Softplus-Then-Perturb 메커니즘을 제안한다.
• 실증적 검증: Mistral-7B(부록의 GPT-2 포함)에 대한 광범한 실험을 통해 방어 강건성과 모델 품질 사이의 트레이드오프를 입증한다.

결과

• 공격 방지: 제안된 방어책, 특히 가우시안 노이즈와 결합된 STP 메커니즘은 은닉 차원 추출을 성공적으로 방지한다. 10,000개의 프롬프트를 사용한 실험에서, 공격은 올바른 랭크(Mistral-7B의 경우 4,096)를 식별하는 데 실패했으며, 예측된 차원은 식별 가능한 이상 징후나 유의미한 특이값(singular value)의 급증을 보이지 않았다.
• 고급 공격에 대한 강건성: 가우시안 노이즈를 적용한 STP 메커니즘은 "softplus 역전(inversion)" 공격과 Robust PCA 확장에 견뎌냈다. 반면, 섭동이 없는 순수 softplus는 역전에 취약했고, 단순 가산 노이즈는 평균화 공격에 취약했다.
• 모델 품질 보존:
  • 당혹도 (Perplexity, PPL): 가산 노이즈는 높은 크기에서 당혹도를 크게 저하시켰다. 그러나 STP 기반 섭동은 원래 모델과 유사한 수준의 당혹도를 유지했다 (예: 원본 3.40 대비 3.37).
  • MMLU 정확도: 가산 노이즈는 MMLU 점수를 크게 낮추었으나 (~44-55%), STP 메커니즘은 원본 모델(57.78%)에 근접한 높은 정확도(56-57%)를 유지했다.
  • 분포 변화 (Distributional Shift): STP는 높은 분포적 발산(높은 KL 및 JS 발산)을 유발했음에도 불구하고, 높은 Top-50 토큰 일치도(≥0.92)를 유지했다. 이는 확률 분포는 변하더라도 가장 신뢰도가 높은 토큰들의 상대적 순위는 유지되어 모델의 기능적 유용성이 보존됨을 의미한다.

의의
본 논문은 제안된 방식이 상업용 LLM의 지적 재산을 위협하는 특정 클래스의 모델 탈취 공격에 대해 실질적이고 효과적인 방어를 제공한다고 주장한다. 프롬프트에 의존적인 방식으로 로짓을 섭동시키기 위해 워터마킹에서 영감을 얻은 기술을 활용함으로써, 저자들은 모델을 사용 불가능하게 만들지 않으면서도 내부 차원을 은닉하는 것이 가능하다는 것을 보여준다. 이 연구는 모델의 유용성을 유지하는 데 있어 원시적인 분포 변화를 최소화하는 것보다 로짓의 상대적 순서를 보존하는 것이 더 중요하다는 점을 강조하며, 이는 STP 메커니즘 설계에 시사점을 준다. 저자들은 이 방법이 랭크 기반 추출로부터 상업용 언어 모델의 보안과 무결성을 강화하며, 독점적 모델 아키텍처를 보호하기 위한 실행 가능한 경로를 제공한다고 결론짓는다.