Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

기술 요약: Gap-K% - 사전 학습 데이터 탐지를 위한 Top-1 예측 격차 측정

문제 정의

거대 언어 모델(LLM)의 방대한 사전 학습 코퍼스(corpus)가 지닌 불투명성은 개인 식별 정보(PII) 및 저작물 콘텐츠의 잠재적 유출을 포함하여 심각한 프라이버시와 저작권 위험을 초래합니다. 또한, 벤치마크 데이터셋이 사전 학습 데이터에 의도치 않게 포함될 경우 모델 성능이 부풀려져 불공정한 비교를 초래할 수 있습니다. 본 연구가 다루는 핵심 과제는 **사전 학습 데이터 탐지(pretraining data detection)**로, 이는 주어진 텍ast 시퀀스가 모델의 학습 데이터셋의 일부였는지 여부를 판별하는 것을 목표로 하는 멤버십 추론 공격(Membership Inference Attacks, MIA)의 특수한 사례입니다.

기존의 최첨단 방법론들(예: Min-K%, Min-K%++)은 주로 토큰 단위의 가능도(likelihood)에 의존하며, 토큰을 독립적으로 취급합니다. 이러한 접근 방식은 다음 두 가지 중요한 측면을 간과하는 경우가 많습니다:

1. 모델의 top-1 예측값과 대상 토큰(target token) 사이의 격차.
2. 시퀀스 내 인접한 토큰들 사이의 국소적 상관관계(local correlations).

방법론: Gap-K%

저자들은 자기회귀(autoregressive) LLM 사전 학습의 최적화 역학에 기반한 탐지 방법인 **Gap-K%**를 제안합니다.

이론적 통찰

이 방법은 차기 토큰 예측(next-token prediction) 목적 함수의 동작 방식에서 동기를 얻었습니다. 학습 과정에서 교차 엔트로피 손실(cross-entropy loss)은 모델의 top-1 예측($v_{max}$)이 실제 정답인 대상 토큰($y_t$)과 일치하지 않는 경우를 명시적으로 처벌합니다.

• 학습 데이터: 모델은 대상 토큰의 로그 확률과 top-1 예측 사이의 격차를 최소화하도록 학습됩니다. 결과적으로, 학습 샘플의 경우 대상 토큰이 빈번하게 top-1 예측이 되며, 따라서 격차가 최소화됩니다.
• 비학습 데이터: 보지 못한 데이터(unseen data)에 대해 모델은 암기보다는 학습된 구문론적 및 의미론적 상관관계에 의 Rely합니다. 이는 종종 "확신에 찬 오답(confident mispredictions)"으로 이어지며, 모델이 정답과는 다른 별개의 토큰에 높은 확률을 할당하게 만듭니다. 이는 대상 토큰과 top-1 예측 사이의 더 큰 로그 확률 격차를 발생시킵니다.

알고리즘 구성 요소

Gap-K%는 다음 세 단계를 통해 이 현상을 정량화합니다:

1. Top-1 격차 점수 산출 (Top-1 Gap Scoring):
   각 토큰 $x_t$에 대해, 방법론은 정규화된 격차 점수 $g_t$를 계산합니다:
   $$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$$
   여기서 $\sigma_t$는 로그 확률의 표준 편차입니다. 분포의 평균을 기준으로 정규화하는 Min-K%++와 달리, Gap-K%는 **최빈값(mode, top-1 예측)**을 기준으로 정규화합니다. 이를 통해 이 지표는 불확실한 예측(평탄한 분포)과 확신에 찬 오답(잘못된 토큰에 집중된 피크 분포)을 구분할 수 있습니다.

2. 순차적 평활화 (Sequential Smoothing):
   국소적 상관관계를 포착하고 토큰 단위의 변동을 완화하기 위해, 크기가 $w$인 슬라이딩 윈도우가 격차 점수에 적용됩니다:
   $$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$$
   이 단계는 연속적인 세그먼트에 걸쳐 신호를 집계하며, 이는 멤버십 신호가 고립된 토큰보다는 구절(phrase) 단위로 나타난다는 관찰 결과를 반영합니다.

3. Gap-K% 메트릭:
   최종 탐지 점수는 시퀀스 내에서 가장 낮은 하위 $k\%$의 평활화된 격차 점수의 평균입니다. 점수가 0에 가까울수록 격차가 작음을 의미하며(멤버십 시사), 큰 음수 값은 상당한 격차를 의미합니다(비멤버십 시사).

주요 기여

1. 새로운 신호의 식별: 저자들은 top-1 예측과 대상 토로 간의 불일치가 효과적인 탐지 신호임을 밝혀냈으며, 이는 차기 토큰 예측의 그래디언트 역학에 근거합니다.
2. 새로운 방법론 (Gap-K%): 저자들은 이러한 top-1 예측 격차를 활용하고, 국소적 상관관계를 포착하기 위해 순차적 평활화를 통해 토큰 단위 신호를 집계하는 방법을 제안하여 독립적인 토큰 분석의 한계를 해결했습니다.
3. 최첨단 성능 (State-of-the-Art Performance): 이 방법은 다양한 모델 크기와 입력 길이에 걸쳐 표준 벤치마크에서 우수한 성능을 달 데 성과를 거두었습니다.

실험 결과

저자들은 WikiMIA(Wikipedia 기반)와 MIMIR(Pile 기반, 분포적 차이가 미미하여 더 어려운 과제)라는 두 가지 벤치마크에서 Gap-K%를 평가했습니다.

• WikiMIA 성능:

  • 5개의 모델(Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B)과 입력 길이(32, 64, 128) 전반에 걸쳐, Gap-K%는 Loss, Zlib, Neighbor, Min-K%, Min-K%를 포함한 기존 베이스라인들을 지속적으로 능가했습니다.
  • 원본 설정에서 Gap-K%는 기존 베이스라인들의 평균 대비 9.7%, 가장 강력한 베이스라인인 Min-K%++ 대비 **2.4%**의 절대 AUROC 향상을 달성했습니다.
  • 패러프레이징(paraphrased) 설정에서도 베이스라인 평균 대비 5.7%, Min-K%++ 대비 **1.7%**의 이득을 얻었습니다.
  • 이 방법은 최신 모델들(LLaMA 3.1, Gemma2) 및 그 지시어 튜닝(instruction-tuned) 변형 모델들에 대해서도 강건함을 입증했습니다.

• MIMIR 성능:

  • 더 까다로운 MIMIR 벤치마크에서, Gap-K%는 1.4B에서 12B 파라미터에 이르는 Pythia 모델 전반에 걸쳐 가장 높은 평균 성능을 기록하며 모든 평가된 크기에서 Min-K%++를 앞질렀습니다.

• 어블레이션 연구 (Ablation Studies):

  • 순차적 국소성 (Sequential Locality): 평활화는 원래의 토큰 순서에 적용되었을 때만 성능을 개선했으며, 이는 멤버십 신호가 순차적 국소성을 가진다는 점을 확인시켜 줍니다.
  • 구성 요소 분석: 평균 기반 정규화를 Top-1 격차 단독 사용으로 대체했을 때의 이득은 미미했으며, 평활화 단독 적용 시에는 성능이 완만하게 개선되었습니다. 두 가지 모두를 결합한 형태(전체 Gap-K% 방법)가 가장 큰 성능 향상을 보였는데, 이는 Top-1 격차가 변별력 있는 신호를 제공하며 순차적 평활화에 의해 안정화되고 강화된다는 것을 나타냅니다.
  • 강건성: Gap-K%는 강력한 적대적 패러프레이징(DIPPER 사용) 하에서도 효과적이었으며, 모든 베이스라인보다 우수한 성능을 보였습니다.

의의 및 한계점

의ness (Significance):
본 논문은 LLM의 최적화 역학(특히 학습이 top-1 예측과 정답 사이의 정렬을 어떻게 강제하는지)을 이해하는 것이 사전 학습 데이터를 탐지하는 강력한 메커니즘을 제공한다고 주장합니다. 단순한 토근 가능도를 넘어 오답의 "확신도"와 국소적 문맥을 분석함으로써, Gap-K%는 더욱 정교하고 효과적인 탐지 도구를 제공합니다. 이러한 관점은 암기와 프라이버시 위험을 이해하는 데 있어 top-1 예측 행동과 순차적 상관관계의 중요성을 강조합니다.

한계점 (Limitations):

• 그레이박스 가정 (Gray-Box Assumption): 이 방법은 토큰 단위 확률 출력(logits)에 대한 접근을 필요로 하며, 이는 해당 정보를 노출하는 모델이나 API로 사용이 제한됨을 의미합니다. 현재로서는 완전한 블랙박스 환경에서는 작동하지 않습니다.
• 모델 범위: LLaMA 3.1, Gemma2와 같은 최신 모델군에서 테스트되었으나, 평가는 수십억 개의 파라미터 규모 모델로 제한되어 있습니다. 수천억 개 규모에서의 동작은 검증되지 않았습니다.
• 적대적 강건성: 표준적인 패러프레이징에는 강건하지만, 토큰 단위 통계량을 조작하여 탐지를 회피하도록 설계된 적응형 적대 공격(adaptive adversaries)에 대해서는 테스트되지 않았습니다.

저자들은 본 연구가 LLM의 투명성과 프라이버시 이해를 높이기 위한 비상업적 학술 연구용임을 강조합니다.