An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic

기술 요약: 대규모 언어 모델(LLM) API 트래픽 내 모델 추출 공격을 위한 매우 단순한 탐지기

문제 정의

대규모 언어 모델(LLM)은 호스팅된 API를 통해 점점 더 많이 배포되고 있으며, 이는 모델 가중치를 보호하지만 **모델 추출 공격(model extraction attacks)**에 노출되게 합니다. 이러한 공격에서 공격자는 API를 반복적으로 쿼리하여 대체 모델을 학습시키거나 능력을 탈취합니다. 실제 배포 환경에서 이러한 공격을 탐지하는 것은 세 가지 주요 과제에 직면합니다:

1. 단일 쿼리의 모호성(Single-Query Ambiguity): 개별 추출 쿼리는 공격자가 자연어 텍스트 소스(예: 위키피디아, SQuAD 프롬프트, 의학 질문)나 도메인 특화 템플릿을 사용하기 때문에 정상적인 요청과 유사해 보일 수 있습니다. 단일 쿼리 이상치 점수 산출 방식은 추출의 체계적이고 반복적인 쿼리 구조를 포착하는 데 실패합니다.
2. 혼합 트래픽의 복잡성(Mixed-Traffic Complexity): 기존 탐지기들은 종종 "순수" 설정(순수 공격자 사용자와 순수 정상 사용자를 분리함)에서 성능을 평가합니다. 종합적인 API 모니터링에서는 공격자의 쿼리가 여러 정상 사용자를 포함하는 더 큰 트래픽 윈도우 내에 희석되어 나타나므로, 공격자의 비율이 낮을 때 탐지가 어려워집니다.
3. 정상 데이터 기반 보정(Benign Calibration): 방어자는 일반적으로 과거의 정상 트래픽 데이터는 보유하고 있지만, 레이블이 지정된 공격 사례나 공격자의 생성기에 대한 지식은 부족합니다. 기존의 많은 방어 기법은 특정 추출 설정이나 자기 지도 학습 모델(self-supervised models)에 의존하며, 이는 일반화가 잘 되지 않아 보안 분석가를 압도하는 높은 오탐률(FPR)을 초래합니다.

본 논문은 이 문제를 **정상 데이터 기반의 트래픽 윈도우 분포 테스트(benign-calibrated traffic-window distribution testing)**로 정식화합니다. 목표는 레이블이 지정된 공격 데이터 없이, 들어오는 쿼리 배치 $T$가 과거의 정상 참조 분포 $B$에서 벗어나는지 탐지하는 것입니다.

방법론

저자들은 커널 두 표본 통계량(kernel two-sample statistic)으로서 분포를 비교하는 데 사용되는 **최대 평균 불일치(Maximum Mean Discrepancy, MMD)**를 기반으로 한 "매우 단순한(embarrassingly simple)" 탐지기를 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 의미론적 임베딩(Semantic Embedding): 원시 텍스트 쿼리를 고정된 문장 인코더(구체적으로 BAAI/bge-small-en-v1.5)를 사용하여 연속적인 의미 공간으로 매핑합니다. 이를 통해 문제는 원시 텍스트를 비교하는 것에서 임베딩 공간에서의 분포를 비교하는 것으로 변환됩니다.
2. 배치 불일치 점수 산출(Batch Discrepancy Scoring): 들어오는 배치를 단 하나의 고정된 정상 참조와 비교하는 대신, 탐지기는 과거 풀(pool)에서 여러 개의 정상 참조 배치를 샘플링합니다. 각 참조 배치와 들어오는 배치 사이의 비편향 제곱 MMD를 계산한 다음, 이 점수들을 평균냅니다. 이 평균화 과정은 무작위 샘플링 노이즈에 대한 민감도를 줄여줍니다.
3. 정상 데이터 전용 보정(Benign-Only Calibration): 결정 임계값은 오직 정상 대 정상 비교만을 사용하여 보정됩니다. 정상 배치 쌍을 샘플링하고 MMD 점수를 계산함으로써, 저자들은 "정상 영가설 분포(benign null distribution)"를 구축합니다. 임계값은 이 분포의 높은 백분위수(예: 95번째 백분위수)로 설정됩니다. 결과적으로, 이 탐지기는 들어오는 트래픽 윈도우가 정상적인 변동과 비교하여 통계적으로 유의미하게 벗어날 때만 의심스러운 것으로 간략히 표시합니다.

탐지 파이프라인은 추출이 누적되는 과정임을 인지하여, 개별 쿼리가 아닌 트래픽 윈도우(쿼리 배치)를 대상으로 설계되었습니다.

주요 기여

1. 배포 지향적 정식화: 본 논문은 모델 추출 탐지를 트래픽 윈도우에 대한 분포 테스트 문제로 재정의하여, 순수 공격자 트래픽과 공격자가 쿼리를 희석시키는 혼합 다중 사용자 시나리오를 모두 명시적으로 다룹니다.
2. 통합 프로토콜 및 단순한 탐지기: 저자들은 레이블이 지정된 공격 데이터가 필요 없는 MMD 탐지기로 이 정식화를 구현합니다. 또한 공정한 비교를 위해 다섯 가지 기존 베이스라인(PRADA, SEAT, CAP, DATE, Marginal Mahalanobis)을 동일한 임베딩, 동일한 정상 데이터 보정, 동일한 트래픽 윈도우를 사용하는 통합 프로토콜에 맞게 조정했습니다.
3. 경험적 베이스라인: 본 연구는 네 가지 서로 다른 추출 시나리오 내의 14개 공격자-정상 쿼리 쌍에 대해 포괄적인 평가를 수행하여 강력한 경험적 베베이스라인을 제공합니다.

실험 결과

제안된 MMD 탐지기는 세 개의 랜덤 시드에 대해 다섯 가지 적응된 베이스라인과 비교 평가되었습니다. 주요 결과는 다음과 같습니다:

• 정상 오탐률(Benign FPR): MMD는 **0.3%**라는 매우 낮은 정상 FPR을 달却하여, 베이스라인들(7.3% ~ 16.8% 범위)을 크게 앞질렀습니다.
• 순수 공격자 탐지: MMD는 순수 공격자 트래픽에 대해 **100.0%**의 진양성률(TPR)을 달성했습니다.
• 혼합 트래픽 성능: MMD는 공격자 쿼리가 희석된 상황에서도 높은 탐지율을 유지했습니다:
  • 공격자 비율 5%: 59.0% TPR.
  • 공격자 비율 10%: 93.7% TPR.
  • 공격자 비율 25% 및 50%: 100.0% TPR.
• 균형 정확도(Balanced Accuracy): MMD는 평가된 모든 방법 중 가장 높은 균형 정확도(95.1%)를 기록했습니다.
• 베이스라인 전이성: 본 논문은 PRADA 및 SEAT와 같은 기존 프로토콜이 적절한 조정 없이는 의미론적 텍스트 쿼리 트래픽으로 잘 전이되지 않으며, 직접 적용할 경우 높은 FPR 또는 낮은 TPR을 초래할 수 있음을 언급합니다.

의의 및 주장

본 논문은 정상 데이터 기반의 분포 테스트가 LLM API 서비스에서 모델 추출을 모니터링하기 위한 강력하고 실용적인 베이스라인임을 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 의미론적 임베딩과 결합된 단순한 통계 테스트가 단일 쿼리 수준에서는 보이지 않는 추출 공격을 효과적으로 탐지할 수 있음을 입증했습니다.
• 탐지 민감도와 운영 가능성 사이의 균로를 맞추면서, 공격자가 정상 쿼리를 섞어 탐지를 회피하려는 혼합 트래픽 환경에서도 거의 제로에 가까운 오경보(false alarm)를 달성할 수 있음을 보여주었습니다.
• 이 접근 방식은 공격자의 생성 프로세스, 레이블이 지정된 공격 데이터 또는 모델 파라미터에 대한 접근을 요구하지 않으므로, 이러한 정보가 없는 실제 배포 환경에 적합합니다.

저자들은 낮은 오염 시나리오(예: 의미론적으로 유사한 쿼리가 포함된 5% 공격자 비율)는 여전히 도전적인 과제로 남아 있지만, 제안된 방법이 탐지 민감도와 운영 타당성 사이의 균형을 맞춘 견고한 보안 모니터링 기반을 제공한다고 결론짓습니다.