Membership Inference Attacks on Tokenizers of Large Language Models

이 논문은 대규모 언어 모델 (LLM) 의 프라이버시 위험을 평가하는 새로운 공격 벡터로 토크나이저를 제시하고, 이를 통한 멤버십 추론 공격의 취약점을 규명하며 대응 방안을 제안합니다.

핵심

🕵️‍♂️ 핵심 주제: "인공지능이 어떤 책으로 배웠는지 알아내는 새로운 방법"

1. 기존 문제: "거인"을 직접 조사하기엔 너무 무겁다

지금까지 인공지능 (LLM) 이 어떤 데이터를 가지고 학습했는지 확인하려면, 그 거대한 인공지능 모델 자체를 분석해야 했습니다.

• 비유: 마치 거대한 도서관 (LLM 모델) 에 들어가서, 그 도서관이 어떤 책 (데이터) 을 빌려 읽었는지 확인하려는 것과 같습니다.
• 문제점: 도서관이 너무 크고 (수백 조 개의 데이터), 책장 정리가 엉망이라서 (데이터 불일치), 정확한 책을 찾기 위해 도서관 전체를 다시 짓는 비용이 너무 비쌉니다. 그래서 기존 연구들은 정확한 결론을 내기 힘들었습니다.

2. 새로운 발견: "자물쇠" (Tokenizer) 를 조사하라!

연구팀은 거대한 도서관 전체를 조사할 필요 없이, **도서관의 '입구'와 '열쇠'**만 보면 된다는 사실을 발견했습니다. 이를 **'토크나이저 (Tokenizer)'**라고 합니다.

• 비유: 토크나이저는 문장을 작은 조각 (토큰) 으로 잘게 부수는 가위이자, 그 조각들을 번호표에 붙이는 스탬프입니다.
  • 예를 들어, "안녕하세요"라는 문장을 "안", "녕", "하", "세", "요"로 쪼개거나, "안녕"을 하나의 특별한 번호로 만드는 역할을 합니다.
• 왜 중요한가? 이 '가위와 스탬프'는 인공지능이 배운 데이터의 특징을 가장 잘 보여주는 곳입니다. 만약 특정 책 (데이터) 에서 자주 나오는 독특한 단어가 있다면, 그 가위와 스탬프는 그 단어를 특별하게 번호를 매겨서 기억해 둡니다.

3. 공격 방법: "누구의 스탬프가 누구의 책과 일치할까?"

해커는 이 '스탬프'를 이용해 인공지능이 어떤 책을 학습했는지 추리합니다. 연구팀은 5 가지 방법을 제안했는데, 그중 두 가지를 쉽게 설명하면 다음과 같습니다.

• 방법 A: "스탬프의 겹침 확인" (Vocabulary Overlap)

  • 상황: 해커는 가상의 '스탬프 세트'를 여러 개 만들어 봅니다.
  • 추리: "만약 인공지능이 'A 책'을 학습했다면, A 책에 나오는 독특한 단어가 스탬프에 찍혀 있을 거야."
  • 결과: 실제 인공지능의 스탬프와 가상의 A 책 스탬프를 비교했을 때, 독특한 단어들이 많이 겹친다면, "아! 이 인공지능은 A 책을 학습했구나!"라고 맞힙니다.
  • 효과: 매우 정확도가 높습니다.

• 방법 B: "자주 나오는 단어의 빈도수 분석" (Frequency Estimation)

  • 상황: 스탬프를 만드는 과정은 '자주 나오는 단어'부터 먼저 번호를 매깁니다.
  • 추리: "만약 'A 책'이 학습 데이터에 없었다면, A 책에特有한 단어는 아주 드물게 나타날 거야. 그래서 스탬프에 번호가 붙지 않았을 거야."
  • 결과: 하지만 실제 스탬프를 보니, A 책의 독특한 단어들이 의외로 번호를 받아서 존재합니다. 이는 "A 책이 학습 데이터에 꼭 포함되어 있었기 때문"이라는 강력한 증거가 됩니다.
  • 장점: 이 방법은 훨씬 빠르고 효율적입니다.

4. 놀라운 사실: "커질수록 더 위험해진다"

인공지능이 더 똑똑해지려면 (규모가 커지면), 단어 조각 (토큰) 을 더 많이 만들어야 합니다.

• 비유: 도서관이 커질수록 더 많은 책 (데이터) 을 다루게 되고, 그 책들에서 나오는 독특한 단어 (비밀) 가 스탬프에 더 많이 찍히게 됩니다.
• 결론: 인공지능이 더 강력해질수록, 이 '스탬프'를 통해 학습한 비밀을 캐내는 것은 더 쉬워집니다.

5. 방어책: "희귀한 단어는 지워버리기"

이런 공격을 막기 위해 연구팀은 방어책을 제안했습니다.

• 방어 방법: 스탬프를 만들 때, 아주 드물게 나오는 단어 (희귀한 단어) 는 아예 번호를 매기지 않고 버린다.
• 대신: 이렇게 하면 인공지능이 문장을 잘게 쪼개는 효율이 조금 떨어집니다. (비유: "안녕하세요"를 5 조각으로 쪼개야 하는데, 3 조각만 쪼개야 해서 글자 수가 늘어날 수 있음).
• 결론: 보안을 위해 약간의 효율을 포기해야 합니다.

---

💡 요약 및 시사점

이 논문은 **"인공지능의 거대한 몸체 (모델) 를 조사할 필요 없이, 그 입구의 작은 도구 (토크나이저) 만 조사해도 학습한 비밀을 알아낼 수 있다"**는 것을 처음 증명했습니다.

• 경고: 우리가 매일 쓰는 AI 가 저작권이 있는 책이나 개인의 비밀 데이터를 학습했을 때, 그 흔적이 이 '스탬프'에 남을 수 있습니다.
• 해결: AI 개발자들은 이 '스탬프'를 만들 때, 너무 독특한 단어들을 필터링하거나 암호화 (차동 프라이버시) 하는 기술을 도입해야 합니다.

즉, **"거인 (AI) 의 발자국 (토크나이저) 을 보면 그가 어디를 다녀왔는지 (학습 데이터) 알 수 있다"**는 것이 이 연구의 핵심 메시지입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 의 사전 학습 데이터에 민감하거나 저작권이 있는 정보가 포함되었는지 여부를 확인하기 위해 '소속 추론 공격 (Membership Inference Attacks, MIAs)'이 활발히 연구되고 있습니다.
• 기존 LLM MIA 의 한계: 기존 연구는 주로 LLM 의 출력 (Output) 을 공격 벡터로 사용하지만, 실제 평가에는 다음과 같은 심각한 한계가 존재합니다.
  • 레이블 오류 (Mislabeled Samples): 실제 LLM 의 학습 데이터에 대한 정확한 라벨을 얻기 어렵습니다.
  • 분포 편이 (Distribution Shifts): 평가용 모델과 실제 배포된 모델 간의 데이터 분포 차이가 발생합니다.
  • 모델 크기 불일치: 실험에 사용되는 모델 (예: Pythia-12B) 이 실제 상용 모델 (예: DeepSeek-R1-671B) 보다 훨씬 작아 현실적인 평가를 어렵게 합니다.
  • 계산 비용: 신뢰할 수 있는 평가를 위해 LLM 을 처음부터 다시 학습 (Pre-training) 해야 하는 막대한 비용이 발생합니다.
• 핵심 질문: 이러한 한계를 우회할 수 있는 새로운 공격 벡터는 존재할까?

2. 방법론 (Methodology)

이 논문은 토크나이저 (Tokenizer) 를 새로운 공격 벡터로 제안합니다. 토크나이저는 LLM 의 핵심 구성 요소로, 원본 텍스트를 토큰으로 변환하며, 상용 LLM 들 (OpenAI-o3, Gemini 등) 에서 투명성을 위해 오픈소스로 공개되어 있습니다.

공격 원리

토크나이저는 바이트 페어 인코딩 (BPE) 알고리즘을 사용하여 빈도가 높은 문자열을 병합하며 어휘를 구축합니다. 학습 데이터에 포함된 특정 데이터셋의 고유한 토큰들이 어휘에 '과적합 (Overfitting)'되어 포함될 수 있으며, 이를 통해 데이터셋의 소속 여부를 추론할 수 있습니다.

5 가지 공격 기법

저자는 5 가지 소속 추론 공격 방법을 제안하고 평가했습니다.

1. Merge Similarity (기존 방식):

   • 타겟 토크나이저와 특정 데이터셋을 포함/제외하여 학습된 섀도 (Shadow) 토크나이저들의 '토큰 병합 순서 (Merge Order)'를 비교합니다.
   • 결과: 전체적인 병합 순서의 분포가 유사하여 공격 성능이 낮았습니다.

2. Vocabulary Overlap (주요 제안 1):

   • 전체 병합 순서가 아닌, 고유 토큰 (Distinctive Tokens) 에 초점을 맞춥니다. 특정 데이터셋을 학습했을 때만 어휘에 포함되는 고유 토큰들을 식별합니다.
   • 타겟 어휘와 섀도 어휘 간의 고유 토큰 겹침 정도를 자카드 지수 (Jaccard Index) 로 계산하여 소속 신호를 생성합니다.
   • 단점: 다수의 섀도 토크나이저 (예: 96 개) 를 학습해야 하므로 계산 비용이 큽니다.

3. Frequency Estimation (주요 제안 2):

   • 효율성을 높이기 위해 제안된 방법입니다. 다수의 섀도 모델을 학습하지 않고, 단 하나의 섀도 토크나이저와 멱법칙 (Power Law) 분포를 활용합니다.
   • RTF-SI (Relative Token Frequency with Self-Information) 지수를 도입하여, 특정 토큰이 타겟 어휘에 포함되기 위해 해당 데이터셋의 학습이 '필수적인지'를 통계적으로 추정합니다.
   • 장점: 계산 비용이 매우 낮고 대규모 공격에 효율적입니다.

4. Naive Bayes & Compression Rate:

   • 추가적인 베이스라인로 제안된 방법들입니다. (Naive Bayes 를 통한 확률 추정 및 압축률 분석)

3. 주요 기여 (Key Contributions)

1. 새로운 공격 벡터 제안: LLM 의 토크나이저를 대상으로 한 최초의 소속 추론 공격 연구를 수행했습니다.
2. 5 가지 공격 기법 개발: Merge Similarity, Vocabulary Overlap, Frequency Estimation 등 5 가지 방법을 제안하여 토크나이저의 취약성을 규명했습니다.
3. 실제 데이터 기반 광범위한 평가: 수백만 개의 인터넷 데이터 (C4 코퍼스) 를 사용하여 실험했으며, 상용 LLM 과 유사한 크기와 성능을 가진 토크나이저로 평가하여 현실성을 확보했습니다.
4. 상용 토크나이저 분석: OpenAI-o200k, DeepSeek-R1 등 실제 상용 토크나이저에도 고유 토큰이 존재하여 소속 추론이 가능함을 확인했습니다.
5. 적응형 방어 메커니즘 제안: 공격을 완화하기 위한 '최소 카운트 (Min Count)' 필터링 및 차등 프라이버시 (DP) 기반 학습 방식을 제안했습니다.

4. 실험 결과 (Results)

• 성능:
  • Vocabulary Overlap 공격은 20 만 토큰 크기의 토크나이저에서 AUC 0.771을 기록했습니다.
  • Frequency Estimation 공격은 AUC 0.740으로 높은 성능을 보였으며, 섀도 모델 학습 없이도 효과적이었습니다.
  • 기존 기법 (Merge Similarity 등) 에 비해 월등히 우수한 성능을 보였습니다.
• 확장 법칙 (Scaling Laws) 의 역설:
  • LLM 의 지능을 높이기 위해 어휘 크기를 늘리면 (Scaling), 토크나이저의 압축 효율은 향상되지만, 소속 추론 공격에 대한 취약성은 오히려 증가하는 것으로 나타났습니다.
• 데이터셋 크기의 영향:
  • 대상 데이터셋의 크기가 클수록 (예: 800~1200 개 샘플) 공격의 정확도가 크게 향상되었습니다. (AUC 0.882 달성)
• 방어 메커니즘의 효과:
  • 학습 데이터에서 빈도가 낮은 토큰을 제거하는 'Min Count' 방어는 공격 성능을 일부 감소시켰으나, 토크나이저의 압축 효율 (Utility) 을 저하시키는 trade-off가 발생했습니다.
  • 또한, 방어 후에도 대규모 데이터셋에 대한 공격은 여전히 유효했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 프라이버시 위협: LLM 의 토크나이저가 그동안 간과되었던 중요한 프라이버시 취약점임을 처음으로 증명했습니다.
• 실용적 위험: 상용 LLM 의 토크나이저가 공개되어 있다는 사실 자체가 데이터 소스 (예: Reddit 데이터 등) 추론 및 저작권 침해 증거 확보에 악용될 수 있음을 경고합니다.
• 향후 방향: 토크나이저 설계 단계에서 프라이버시를 고려한 메커니즘 (예: DP 적용, 고유 토큰 필터링) 이 필수적임을 강조하며, 안전한 LLM 시스템 구축을 위한 기초를 마련했습니다.

이 연구는 LLM 의 보안과 프라이버시 보호를 위해 모델 자체뿐만 아니라 전처리 구성 요소 (토크나이저) 에 대한 심층적인 분석과 방어 전략이 시급함을 시사합니다.