CoLA: A Choice Leakage Attack Framework to Expose Privacy Risks in Subset Training

논문 개요: CoLA (Choice Leakage Attack)

이 논문은 현대 기계학습 (ML) 에서 널리 사용되는 부분집합 학습 (Subset Training) 의 프라이버시 위험을 새로운 관점에서 규명합니다. 기존에는 데이터 양을 줄여 학습하면 프라이버시 위험도 감소할 것이라고 추측했으나, 저자들은 데이터 선택 과정 자체에서 발생하는 '선택 신호 (Choice Signals)'가 새로운 프라이버시 공격 표면이 되어 오히려 민감한 정보를 유출할 수 있음을 증명했습니다. 이를 위해 CoLA(Choice Leakage Attack) 라는 통합 공격 프레임워크를 제안했습니다.

---

1. 문제 정의 (Problem Setting)

1.1 배경 및 가설

• 배경: 대규모 데이터셋의 처리 비용과 효율성, 데이터 품질 향상을 위해 전체 데이터가 아닌精心하게 선별된 부분집합 (Subset) 으로 모델을 학습하는 것이 표준화되고 있습니다 (예: 코어셋 선택, 데이터 필터링, 제중제거 등).
• 기존 통념: 학습에 사용되는 샘플 수가 적어지면 프라이버시 유출 위험도 줄어든다고 여겨졌습니다.
• 저자의 반박: 부분집합 선택 과정에서 '어떤 데이터가 포함되고 어떤 데이터가 제외되었는지'에 대한 결정 (Choice) 자체가 강력한 신호가 되어, 학습된 모델의 출력뿐만 아니라 선택 메타데이터를 통해 민감한 정보를 유출할 수 있습니다.

1.2 새로운 프라이버시 표면 (Privacy Surfaces)

저자는 부분집합 학습에서 발생하는 두 가지 새로운 공격 표면을 정의합니다.

1. 학습 멤버십 추론 공격 (TM-MIA, Training-membership MIA):
   • 기존 MIA 와 유사하게, 학습에 사용된 데이터 (Included Data) 가 모델에 포함되었는지 여부를 추론하는 공격입니다.
2. 선택 참여 멤버십 추론 공격 (SP-MIA, Selection-participation MIA):
   • 학습에 사용된 데이터 (I) 와 학습에서 제외된 데이터 (E) 모두를 '선택 멤버 (Selection Member)'로 간주합니다.
   • 공격 목표는 데이터가 전체 수집 데이터셋 (Candidate Pool) 에 포함되었는지 (I ∪ E) 를 추론하는 것입니다. 이는 모델의 기억 (Memorization) 이 아니라, 데이터 - 모델 공급망 (Data-Model Supply Chain) 의 선택 과정에서 유출된 정보를 기반으로 합니다.

1.3 공격자 지식 시나리오

• 부분집합 인식 사이드 채널 공격 (Subset-aware Side-channel): 공격자가 모델 출력과 선택 메타데이터 (선택 알고리즘, 포함 비율 등) 를 모두 알고 있는 경우.
• 블랙박스 공격 (Black-box): 공격자가 모델 출력만 관찰하고, 선택 과정에 대한 메타데이터는 전혀 모르는 경우.

---

2. 방법론 (Methodology)

2.1 핵심 통찰: 선택 과적합 (Selection Overfitting)

기존 MIA 는 모델이 학습 데이터에 과적합되어 높은 확신을 보이는 현상을 이용합니다. CoLA 는 부분집합 선택기 (Selector) 가 특정 데이터에 대해 일관되게 선호하는 경향 (Inclusion Stability) 을 이용합니다. 즉, 여러 번의 선택 시도에서 특정 데이터가 반복적으로 '선택'되거나 '대표성'을 갖는 패턴을 포착하여 멤버십 신호로 활용합니다.

2.2 CoLA 프레임워크

CoLA 는 데이터의 일관된 선택 패턴을 포착하기 위해 중첩된 윈도우 (Overlapping Windows) 를 생성하여 다중 시도 (Multi-shot) 를 수행합니다.

• A. 부분집합 인식 사이드 채널 공격 (Subset-aware Side-channel)

  • 공격자는 선택 알고리즘 ($Sel$) 과 비율 ($r$) 을 알고 있습니다.
  • 전체 데이터셋을 여러 윈도우 ($W_i$) 로 나누고, 각 윈도우에서 $x$가 선택되었는지 여부를 기록합니다.
  • 점수 함수: $x$가 $n$번의 시도 중 $t(x)$번 선택되었을 때, 무작위 선택 기대값 ($r \cdot n$) 대비 얼마나 많이 선택되었는지를 기반으로 점수를 매깁니다.
  • 공식: $s_{side}(x) = \sigma(\kappa(t(x) - r \cdot n))$. 선택 횟수가 높을수록 점수가 높아져 학습 멤버로 분류됩니다.

• B. 블랙박스 공격 (Black-box)

  • 공격자는 선택 메타데이터를 알 수 없습니다.
  • 임베딩 클러스터링: 각 윈도우 내에서 비지도 학습 (k-means) 을 수행하여 데이터의 임베딩 공간에서 '대표적인 샘플 (Centroid 에 가까운 샘플)'을 찾습니다.
  • 증거 수집: 특정 윈도우에서 샘플이 클러스터 중심에 가까우면 (거리가 짧으면) 선택되었다고 간주합니다.
  • 점수 함수: 선택 횟수뿐만 아니라, 클러스터 중심과의 평균 거리 ($\bar{d}$) 를 고려하여 점수를 계산합니다. ($s_{black} \propto \frac{t(x)}{\bar{d}(x)}$).
  • 이 방식은 선택 알고리즘을 알지 못하더라도 데이터의 기하학적 특성을 통해 선택 안정성을 추론할 수 있게 합니다.

---

3. 주요 실험 결과 (Results)

3.1 실험 설정

• 모델: 비전 모델 (ResNet-18, VGG19 on CIFAR-10/100), 언어 모델 (Pythia-160M, GPT-Neo-125M).
• 선택 방법: 9 가지 코어셋/프러닝 방법 (Glister, Craig, Uncertainty 등) 및 언어 모델용 필터링/제중제거 전략.
• 비교 대상: 기존 MIA 기법 (NN, LiRA, Loss 기반 등) 과 CoLA.

3.2 주요 성과

1. 기존 기법의 실패:
   • 기존 MIA 기법들은 SP-MIA 시나리오에서 거의 무작위 추측 수준 (AUC ≈ 50%) 의 성능을 보였습니다. 이는 모델 출력만으로는 제외된 데이터와 외부 데이터를 구별하기 어렵기 때문입니다.
2. CoLA 의 우수한 성능:
   • 비전 모델: 사이드 채널 설정에서 CoLA 는 TM-MIA 에서 8396% AUC, SP-MIA 에서 6192% AUC 를 기록하여 기존 기법들을 압도했습니다.
   • 언어 모델: 블랙박스 설정에서도 CoLA 는 Pythia-160M 에서 SP-MIA 기준 80% 이상의 AUC를 달성했습니다. 반면, 기존 기법들은 Golden Baseline (Bag of Words) 보다도 낮은 성능을 보였습니다.
3. 선택 비율 (Intensity) 의 영향:
   • 선택 비율이 높을수록 (데이터를 많이 남길수록) 프라이버시 유출 위험이 오히려 증가하는 경향을 보였습니다.
4. 범용성:
   • 다양한 비전 모델, 데이터셋, 언어 모델, 그리고 다양한 선택 알고리즘에서 CoLA 는 일관되게 높은 공격 성공률을 보였습니다.

---

4. 주요 기여 (Key Contributions)

1. 새로운 프라이버시 위협의 체계적 정의: 부분집합 학습 환경에서 '학습 데이터'뿐만 아니라 '선택 과정에서 제외된 데이터'까지 프라이버시 위험에 노출됨을 최초로 체계적으로 정의하고 탐구했습니다 (SP-MIA).
2. CoLA 프레임워크 제안: 선택 신호 (Choice Signals) 를 활용하여 모델 출력에 의존하지 않는 데이터 중심의 강력한 멤버십 추론 공격 프레임워크를 제안했습니다. 이는 사이드 채널 및 블랙박스 설정을 모두 포괄합니다.
3. 실증적 검증: 비전 및 언어 모델 전반에 걸친 광범위한 실험을 통해, 기존 위협 모델이 부분집합 학습의 프라이버시 위험을 과소평가하고 있음을 입증했습니다.

---

5. 의의 및 시사점 (Significance)

• 프라이버시 패러다임의 전환: "데이터를 적게 쓰면 안전하다"는 통념을 깨뜨렸습니다. 오히려 데이터 - 모델 공급망 (Data-Model Supply Chain) 전체가 공격 표면이 될 수 있음을 경고합니다.
• 선택 과정의 투명성 위험: 데이터 선택 알고리즘, 필터링 기준, 포함 비율 등의 메타데이터 공개가 오히려 민감한 정보 (예: 특정 질병 검진 기록, 신용 평가 데이터 등) 의 유출로 이어질 수 있음을 보여줍니다.
• 대응 방안의 필요성: 단순한 모델 보호 (예: 차등 프라이버시) 를 넘어, 데이터 수집, 정제, 선택, 학습에 이르는 전 과정에서의 프라이버시 보호 메커니즘이 필요함을 강조합니다.

이 논문은 머신러닝 시스템의 프라이버시 보안을 논할 때, 단순히 '모델'이 아닌 '데이터 선택 과정'까지 고려해야 함을 강력하게 주장하는 중요한 연구입니다.