Learning the Signature of Memorization in Autoregressive Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 기존 방법의 한계: 기존 언어 모델에 대한 멤버십 추론 공격 (Membership Inference Attacks, MIA) 은 대부분 손으로 설계된 휴리스틱 (Loss 임계값, Min-K%, Zlib 정규화, 참조 모델 보정 등) 에 의존합니다. 이러한 방법들은 설계자의 직관에 그 성능이 제한되며, 특정 신호를 포착하는 데 한계가 있습니다.
• 학습 기반 공격의 병목 현상: 이미지 분류기 등 다른 분야에서 학습 기반 공격 (Shadow Model 사용) 은 휴리스틱보다 성능이 우수하지만, 대규모 언어 모델 (LLM) 에서는 적용하기 어렵습니다. 그 이유는 'Shadow Model'을 다수 학습시켜야 하는데, LLM 규모에서는 이를 위한 계산 비용이 prohibitive(금지적) 이기 때문입니다.
• 핵심 질문: 다양한 아키텍처 (Transformer, State-space, Linear Attention 등) 에서 모델이 훈련 데이터를 '암기'했을 때 발생하는 보편적인 신호 (Signature) 가 존재하며, 이를 학습하여 공격할 수 있는가?

2. 핵심 통찰 및 방법론 (Methodology)

저자들은 LT-MIA (Learned Transfer MIA) 라는 새로운 공격 기법을 제안하며, 다음과 같은 핵심 통찰을 바탕으로 합니다.

A. 무한한 레이블 데이터의 발견

• 통찰: 어떤 모델을 어떤 코퍼스 (Corpus) 로 파인튜닝 (Fine-tuning) 하더라도, 파인튜닝에 사용된 데이터는 '멤버십 (Membership)'이 명확히 알려진 레이블이 됩니다.
• 효과: Shadow Model 을 새로 학습할 필요가 없으며, 기존 파인튜닝된 모델들에서 특징을 추출하여 레이블이 있는 데이터를 무한히 생성할 수 있습니다. 이는 학습 기반 MIA 의 확장성 병목 현상을 해결합니다.

B. LT-MIA 파이프라인

1. 특징 추출 (Per-Token Feature Extraction):
   • 대상 모델 (Fine-tuned Target) 과 참조 모델 (Pre-trained Reference) 에 동일한 텍스트를 입력합니다.
   • 각 토큰 위치에서 두 모델의 예측 분포가 어떻게 다른지 포착하는 154 차원 특징 벡터를 추출합니다.
   • 특징에는 로스 (Loss), 로짓 (Logits), 순위 (Rank), 두 모델 간의 차이 (Difference) 등이 포함됩니다.
2. 시퀀스 분류 (Sequence Classification):
   • 추출된 특징 시퀀스를 처리하기 위해 경량 Transformer 인코더를 사용합니다.
   • 단순한 평균 풀링 (Mean Pooling) 이나 집계 통계량을 사용하는 대신, 토큰별 분포 통계량을 시퀀스로 학습하여 적응적으로 가중치를 부여합니다.
3. 다양한 학습 (Training Diversity):
   • 단일 모델 - 데이터셋 조합이 아닌, 30 개의 다양한 모델 - 데이터셋 조합 (각각 600 샘플) 으로 학습합니다.
   • 이는 특정 모델의 아키텍처 편향이나 토크나이저 특이점 (Artifacts) 을 필터링하고, 모든 모델에 공통적으로 존재하는 '암기 신호'만 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 학습 기반 MIA 의 확장성 해결: Shadow Model 없이 파인튜닝 데이터의 레이블 특성을 활용하여 학습 기반 공격을 LLM 규모로 확장했습니다.
2. 아키텍처 불변성 (Architecture-Invariance) 발견: 파인튜닝은 모델의 계산 메커니즘 (Attention, State-space 등) 과 무관하게 출력 분포에 일관된 '암기 서명'을 남깁니다.
3. Zero-Shot 전이 (Zero-Shot Transfer): Transformer 모델로만 학습된 공격기가 전혀 보지 못한 아키텍처 (Mamba, RWKV, RecurrentGemma) 에도 높은 성능으로 전이됩니다.
4. 다양성의 중요성 증명: 데이터 양이 동일하더라도, 다양한 모델 - 데이터셋 조합으로 학습하는 것이 단일 조합으로 대량 학습하는 것보다 일반화 성능이 훨씬 뛰어남을 입증했습니다.

4. 실험 결과 (Results)

• 전체 성능: LT-MIA 는 모든 아키텍처에서 기존 최강의 베이스라인 (EZ-MIA 등) 을 압도적으로 능가합니다.

  • Transformer (Hold-out): 평균 AUC 0.908 (EZ-MIA 대비 2.1 포인트 향상).
  • 비-Transformer 아키텍처:
    • Mamba-2.8B (State-space): AUC 0.963
    • RWKV-4-3B (Linear attention): AUC 0.972
    • RecurrentGemma-2B (Gated recurrence): AUC 0.936
  • 흥미롭게도, LT-MIA 는 학습에 사용된 Transformer 보다 학습하지 않은 비-Transformer 모델에서 더 높은 성능을 보였습니다.

• 엄격한 임계값에서의 성능:

  • 거짓 양성률 (FPR) 이 0.1% 일 때, LT-MIA 는 Transformer 에서 EZ-MIA 대비 2.8 배 높은 참 양성률 (TPR) 을 기록합니다.

• 도메인 전이: 자연어 텍스트로만 학습되었음에도 불구하고, 코드 (Code) 데이터에서도 AUC 0.865 를 기록하여 도메인 전이 능력도 입증했습니다.

• 분석 결과:

  • 특징 중요도: 모든 아키텍처에서 '목표 모델과 참조 모델의 비교 특징 (Comparison features)'이 가장 중요한 역할을 합니다. 이는 암기 신호가 모델 자체의 행동이 아니라, 파인튜닝으로 인한 모델 상태의 변화에 있음을 의미합니다.
  • 시퀀스 모델링: 특징을 평균 내는 것보다 시퀀스 모델링 (Transformer) 을 사용하는 것이 AUC 를 5.0 포인트 향상시켰습니다.

5. 의의 및 시사점 (Significance)

• 보안 및 프라이버시: 크로스 엔트로피 (Cross-Entropy) 기반 학습은 아키텍처가 무엇이든 간에 데이터 누출 (Memorization) 을 필연적으로 발생시킵니다. 따라서 아키텍처를 Transformer 에서 Mamba 등으로 변경한다고 해서 MIA 공격을 피할 수 없습니다.
• 방어 전략의 전환: 특정 계산 메커니즘 (Attention 패턴 등) 을 변경하는 방어는 무효할 수 있으며, 학습 목적 함수 (Training Objective) 나 프라이버시 보호 기술 (Differential Privacy 등) 의 근본적인 수정이 필요함을 시사합니다.
• 법적/규제적 활용: 저작권 소유자가 자신의 콘텐츠가 모델 파인튜닝에 사용되었는지 검증하거나, GDPR 등 데이터 거버넌스 요구사항을 준수하는 데 LT-MIA 를 활용할 수 있습니다.

요약

이 논문은 언어 모델의 파인튜닝 과정에서 발생하는 '암기' 현상이 아키텍처와 무관한 보편적인 신호임을 발견하고, 이를 학습하여 Zero-Shot 전이가 가능한 강력한 멤버십 추론 공격 (LT-MIA) 을 개발했습니다. 이는 MIA 연구가 휴리스틱 설계에서 데이터 중심의 딥러닝 패러다임으로 전환되어야 함을 보여주며, 현재 LLM 생태계의 프라이버시 위험이 아키텍처 혁신만으로는 해결되지 않음을 경고합니다.