기술 요약: LEAK IT – 블랙박스 언어 모델의 학습 데이터 추출에 대한 확률론적 접근법

문제 정의

본 논문은 대규모 언어 모델(LLM)의 개인정보 보호 위험 평가, 특히 멤버십 추론 공격(Membership Inference Attacks, MIA) 및 학습 데이터 추출에 초점을 맞춥니다. 현재의 프라이버시 감사는 ROC-AUC와 같은 집계 지표(aggregate metrics)에 주로 의존하여 모델이 학습 세트에 대한 정보를 유출하는지 판단합니다. 그러나 최근 연구(Das et al., 2025)는 이러한 집계 지표가 혼란을 야기할 수 있음을 보여주었습니다. 즉, 모델 프리(model-free) 방식의 "블라인드" 분류기(예: bag-of-words, 날짜 탐지)가 표면적인 텍스트 통계만을 기반으로 학습 멤버와 비멤버를 구분해낼 수 있으며, 이로 인해 집계된 AUC 점수가 실제 모델 유출의 신뢰할 수 있는 지표가 되지 못한다는 것입니다.

나아가, 샘플링 기반의 추출이 발생한다는 것은 알려져 있으나, 이것이 개별 문서 대 집계 인구 전체에 어떻게 영향을 미치는지, 그리고 엄격한 블랙박스 제약 조건(토큰 수준의 로짓 미제공, 화이트박스 접근 불가) 하에서 어떻게 작동하는지는 여전히 충분히 규명되지 않았습니다. 본 논문은 집계 지표가 "테일 리스크(tail risk)"—즉, 평균적인 모델 성능은 낮은 유출을 나타내더라도, 실제 구절(verbatim) 추출 피해를 입는 극소수의 고위험 노출 문서들—를 가린다고 주장합니다.

방법론

확률론적 프레임워크

저자는 블랙박스 샘플링 유출을 분석하기 위한 확률론적 관점을 제안합니다. 주어진 접두사(prefix) $x$에 대해, 저자는 $N$개의 독립적인 샘플 $C_1, \dots, C_N \sim p_\theta(\cdot | x)$를 모델 출력 분포의 경험적 추정치로 취급합니다. 유출 신호는 이 분포의 **함수값(functionals)**으로 정의됩니다:

1. 평균 중첩(Mean Overlap): 샘플들과 홀드아웃(held-out) 지속 문구 $y$ 사이의 평균 중첩 (SaMIA에 해당).
2. 극값(Extreme Value): 단일 샘플과 $y$ 사이의 최대 중첩 (또는 집합 합집합 재현율).
3. 자기 집중도(Self-Concentration): 샘플들 간의 상호 중첩을 측정하며, $y$를 참조하지 않고 분포가 얼마나 집중되어 있는지 측정함.

실험 설정

• 벤치마크: 표면 텍스트 분리 가능성의 혼란스러운 특성을 입증하기 위해 WikiMIA를, 그리고 멤버와 비멤버 간의 n-gram 중복 제거가 적용된 The Pile의 IID 학습/테스트 분할인 MIMIR를 활용합니다.
• 블라인드 베이스라인: 실제 모델 유출을 격리하기 위해, 저자는 모델 프리 방식의 블라인드 분류기(날짜 탐지, TF-IDF bag-of-words, 희귀 n-gram 선택)를 재현하고 이를 샘플링 함수값들과 비교합니다.
• 모델: Pythia 모델 제품군(410M ~ 6.9B 파라미터)과 OLMo-1B를 대상으로 실험을 수행합니다.
• 추출 감사(Extraction Audit): 식별자(이메일 주소 및 전화번호)를 포함하는 The Pile 학습 분할의 특정 문서 500개를 구성합니다. 공격은 식별자 바로 앞의 접두사로부터 지속 문구를 샘플링하는 방식으로 진행됩니다.
• 대조군(Controls): 유출을 일반적인 문자열 생성 때문이 아닌 특정 문서의 특성으로 귀속시키기 위해, 불일치 접두사(mismatched-prefix) 대조군을 사용합니다. 문서는 올바른 접두사와 함께 식별자가 재현될 때만 "유출"된 것으로 간정합니다.

주요 결과

1. 집계 지표는 혼란을 야기한다

WikiMIA 벤치마크에서 블라인드 bag-of-words 분류기는 0.97의 AUC를 달성하는 반면, 샘플링 기반 함수값(골드-지속 문구 재현 포함)은 우연 수준에 근접한 성능(AUC ~0.52)을 보였습니다. 시간적 변화가 제거된 MIMIR IID 분할에서는 블라인드 베이스라인이 우연 수준(0.56)으로 떨어졌으나, 샘플링 함수값(자기 집중도, 골드-지속 문구 재현) 역시 잔여 블라인드 베이스라인을 유의미하게 상회하지 못했습니다. 샘플링의 증분 AUC는 95% 신뢰 구간에 0을 포함합니다.

• 결론: 집계 멤버십 분류기로서 블랙박스 샘플링은 이미 표면 텍스트가 드러내는 정보 이상의 유의미한 신호를 추가하지 않습니다.

2. 특정 "테일(Tail)" 문서들의 구절 추출

집계 지표는 실패할지라도, 샘플링은 블라인드 공격이 도달할 수 없는 특정 테일 문서들에 대해 구절(verbatim) 추출에 성공합니다.

• PII 유출: Pythia-6.9B에서 500개의 프로브 문서 중 16.6%(83개 문서)가 특정 실제 식별자(이메일/전화번호)를 구절 그대로 재현했으며, 이는 일반적인 생성이 아닌 특정 문서에 기인한 비율입니다. 특히 이메일 주소의 경우 유출률은 21.3%였습니다.
• 규모 의존성: 문서별 유출은 모델 용량(410M에서 5.6% $\rightarrow$ 6.9B에서 16.6%)에 따라 단조 증가합니다.
• 도메인 특이성: 유출은 산문(prose)보다 **코드(code)**에서 약 3배 더 강력합니다. 산문의 유출률은 규모에 따라 4.0%에서 12.1% 사이지만, 여전히 통계적으로 양(+)의 값을 가집니다.
• 임의 지속 문구 재현: 임의의 홀드아웃 지속 문구 재현은 주로 GitHub 도메인에 국한되며(멤버 차이 +0.44), 산문 도메인(Wikipedia, ArXiv)에서는 미미합니다.

3. 추출 레짐(Regime)의 특성

• 접두사 길이: 16-토큰 접두사만으로도 추출을 트리거하기에 충분합니다.
• 샘플링 예산: 필요한 샘플링 예산은 접두사 길이에 반비례하여 변화합니다.
• 디코딩 파라미터: 온도(Temperature)와 넥서스 샘플링(top-p)은 추출률에 미미한 영향을 미칩니다.
• 중복 제거: 중복 제거된 코퍼스로 학습하는 것(Pythia-2.8B-deduped)이 표준 모델에 비해 구절 PII 추출을 유의미하게 줄이지 못했습니다(12.8% vs 14.0%, $p=0.52$). 저자는 근사 중복 제거(near-deduplication)가 데이터에 대한 패스(pass) 횟수를 늘려 이점을 상쇄할 수 있다고 언급했습니다.

기여

본 논문은 네 가지 주요 기여를 합니다:

1. 확률론적 프레임 가이드: 평균 중첩, 극값, 자기 집중도 통계를 모델 출력 분포의 함수적 추정치로 통합하여 블랙박스 샘플링 유출을 분석하는 관점을 제시합니다.
2. 블라인드-베이스라인 비판의 확장: IID 분할에서 어떤 샘플링 함수값도 모델 프리 베이스라인을 유의미하게 능가하지 못함을 입증합니다.
3. 테일 리스크 특성화: 샘플링이 집계 지표가 포착하지 못하는 테일 문서들의 학습 데이터(PII 포함)를 구절로 추출함을 보여주며, 규모, 도메인, 디코딩 파라미터에 따른 추출 레짐을 규명합니다.
4. 도구 공개: 블랙박스 추출 감사 도구인 leakit을 공개하며, 프라이버시 감사가 집계된 멤버십 점수 대신 문서별 추출률을 보고해야 한다고 주장합니다.

의의 및 주장

본 논문은 프라이버시 감사에서 ROC-AUC를 보고하는 현재의 관행이 불충분하며 오해의 소지가 있다고 주장합니다. 저자는 다음과 같이 주장합니다:

• 집계 AUC는 실제 해악을 은폐한다: 높은 위험을 가진 테일 문서들에서 발생하는 구절 추출 현상을 평균화하여 가려버립니다.
• 문서별 노출이 핵심 지표이다: 특정 문서에 대해 특정 식별자나 지속 문구를 재현할 수 있는 능력은 MIA가 탐지하고자 하는 구체적인 프라이버시 해악이며, 이는 집계 지표로는 보이지 않습니다.
• 완화 전략의 시사점: 중복 제거가 추출을 측정 가능하게 줄이지 못했음을 근거로, 저자는 공식적인 보증을 제공하는 **차분 프라이버시(Differential Privacy)**의 필요성을 강조합니다.
• 감사 표준: 프라이버시 감사는 집계된 멤버십 추론에서 문서별 추출 분석으로 초점을 전환해야 합니다.

저자는 자신의 결과가 중복 제거의 일반적인 실패를 주장하는 것이 아니라, 테스트된 조건 하에서 중복 제거가 개별 식별자를 보호하지 못했음을 강조함으로써, 더 강력하고 보장된 완화책의 필요성을 역설하고 있습니다.