기술 요약: 신뢰할 수 있는 언러닝 모델 감사를 위한 통계적 멤버십 추론 (SMI)

1. 문제 정의

머신 언러닝 (MU) 은 "잊혀질 권리"를 강제하기 위한 핵심 메커니즘으로, 처음부터 다시 학습하지 않고도 특정 학습 데이터를 모델에서 제거할 수 있게 합니다. 이 분야의 핵심 과제는 **감사 (auditing)**입니다. 즉, 모델이 지정된 데이터를 실제로 잊었는지 신뢰할 수 있게 검증하는 것입니다.

현재 감사 표준은 주로 **멤버십 추론 공격 (MIAs)**에 의존합니다. 지배적인 가정은 MIA 가 샘플을 멤버로 식별하지 못하면 모델이 해당 데이터를 성공적으로 언러닝했다는 것입니다. 저자들은 이 가정이 다음과 같은 두 가지 주요 이유로 근본적으로 결함이 있다고 주장합니다:

1. 정렬 편향 (Alignment Bias): 언러닝된 샘플 ($F_u$) 은 원래 멤버 샘플 ($F_m$) 과 실제 비멤버 샘플 ($F_n$) 모두와 구별되는 특징 공간을 차지합니다. $F_m$은 양의 기울기를 기여하는 반면, $F_n$은 기울기를 기여하지 않으며, $F_u$는 음의 기울기를 유도합니다. 기존의 MIAs 는 $F_u$가 $F_n$과 정렬되어 있다고 가정합니다. 그러나 추론 실패는 진정한 망각이 아니라 이러한 정렬 불일치로 인해 발생하는 경우가 많아 "환상적 망각 (illusory forgetting)"을 초래합니다.
2. 계산 오버헤드: 최첨단 MIA 감사 방법 (예: LiRA, RMIA) 은 기준선을 설정하기 위해 수많은 "섀도 모델 (shadow models)"을 학습해야 하므로, 이는 대상 모델 자체를 다시 학습하는 것과 견줄 만한 prohibitive 한 계산 비용을 초래합니다.

2. 방법론: 통계적 멤버십 추론 (SMI)

정렬 편향과 계산 비효율성을 해결하기 위해 저자들은 훈련이 필요 없는 감사 프레임워크인 **통계적 멤버십 추론 (SMI)**을 제안합니다.

이론적 기반

이 논문은 최적 수송 (Optimal Transport) 이론을 사용하여 감사 문제를 재정의합니다. 언러닝을 이진 분류 작업 (멤버 대 비멤버) 으로 보는 대신, SMI 는 언러닝된 특징 분포 $F_u$를 멤버 분포 $F_m$과 비멤버 분포 $F_n$의 볼록 혼합 (convex mixture) 으로 모델링합니다:
$$F_u \approx (1 - \rho)F_m + \rho F_n$$
여기서 $\rho$는 **혼합 비율 (또는 망각률)**을 나타냅니다. 감사 목표는 분류기를 학습하는 것에서 $\rho$를 추정하는 것으로 전환됩니다. 저자들은 PAC-Bayes 이론 ($\chi^2$ 발산을 사용) 을 통해 MIA 기반 감사가 공격자의 학습 데이터와 실제 언러닝된 데이터 간의 분포 이동에 의해 제어되는 피할 수 없는 정렬 오차 항을 겪는다는 것을 증명합니다.

알고리즘 변형

SMI 는 보조 모델을 학습하지 않고 분포의 통계적 모멘트를 매칭함으로써 $\rho$를 추정합니다:

1. SMI (저차 모멘트):

   • 혼합 모델이 첫 두 모멘트 (평균 $\mu$와 공분산 $\Sigma$) 에 대해 성립한다고 가정합니다.
   • 언러닝된 데이터의 경험적 공분산과 혼합 모델이 예측한 공분산 간의 Frobenius 노름 오차를 최소화하여 폐쇄형 해를 유도합니다.
   • 최적의 $\rho$를 찾기 위해 단일 변수 3 차 방정식을 풉니다.

2. SMI-M (최대 평균 불일치, Maximum Mean Discrepancy):

   • 고차원 공간과 비가우시안 분포에서 공분산 추정의 불안정성을 해결합니다.
   • 커널 평균 임베딩을 사용하여 특징 분포를 재생 커널 힐베르트 공간 (RKHS) 에 임베딩합니다.
   • 언러닝된 분포와 멤버 및 비멤버 분포의 볼록 결합 간의 MMD 를 최소화하는 문제로 추정 문제를 볼록 2 차 계획법 문제로 공식화합니다.

불확실성 정량화

신뢰 구간을 설정하기 위해 섀도 모델에 의존하는 MIA 방법과 달리, SMI 는 감사 특징 세트에 **부트스트래핑 (bootstrapping)**을 적용합니다. 언러닝된 데이터를 재표본 추출하고 $\rho$를 재추정함으로써, SMI 는 감사 결과의 신뢰성을 정량화하기 위한 참조 범위 (예: 5 백분위수에서 95 백분위수) 를 제공합니다.

3. 주요 기여

• 이론적 통찰: 이 논문은 언러닝된 샘플과 비멤버 간의 고유한 "정렬 편향"으로 인해 실패한 멤버십 추론이 진정한 망각을 의미하지 않는다는 것을 증명합니다. 감사는 이진 분류 성공이 아닌 분포 혼합 비율을 측정해야 함을 확립합니다.
• 훈련이 필요 없는 프레임워크: SMI 는 섀도 모델과 MIA 분류기 학습의 필요성을 제거하여 계산 오버헤드를 크게 줄입니다.
• 신뢰성 지표: 이 프레임워크는 부트스트래핑 기반의 참조 범위를 제공하여 감사 결정의 신뢰성을 평가할 수 있는 원칙적인 방법을 제시합니다.
• 실증적 우위: 광범위한 실험을 통해 SMI (특히 SMI-M) 가 다양한 데이터셋 (CIFAR-10/100, CINIC-10) 과 모델 아키텍처 (ResNet, ViT) 에서 기존 MIA 기반 기준선 (LiRA, RMIA, IAM, RULI 포함) 보다 추정 정확도에서 일관되게 우수함을 입증했습니다.

4. 실험 결과

저자들은 화이트박스 설정에서 SMI 를 7 가지 MIA 기반 기준선과 비교 평가했습니다:

• 정확도: SMI-M 은 모든 데이터셋에서 가장 높은 추정 정확도 ($\rho^*$) 를 달성했으며, 완전한 언러닝 시나리오 (재학습 대상) 에서는 종종 90% 이상의 정확도를 보였습니다. 반면 MIA 방법은 상당한 변동성과 낮은 정확도를 보였습니다.
• 효율성: SMI 변형은 단일 추론 통과 (부트스트래핑 추가) 만 필요로 하고 섀도 모델 학습이 필요 없습니다. 반면, MIA 기준선은 8~64 개의 섀도 모델 학습이 필요하여 계산 비용이 SMI 보다 수배에서 수십 배 더 높았습니다.
• 강건성: SMI-M 은 커널 선택과 대역폭의 변화 하에서도 안정적으로 유지되었습니다. 이 방법은 클래스당 20 개의 샘플만으로도 신뢰할 수 있는 성능을 보였으나, 더 큰 감사 세트에서는 성능이 향상되었습니다.
• 실제 시나리오: 근사 언러닝 방법 (FineTune, Fisher, Scrub) 에 적용했을 때, SMI 는 다양한 수준의 망각을 성공적으로 구분하여 Scrub 이 테스트된 근사 방법 중 가장 효과적인 방법임을 식별했습니다.

5. 중요성과 주장

이 논문은 SMI 를 MIA 기반 감사에 대한 원칙적이고 효율적인 대안으로 제시합니다. 그 중요성은 다음과 같습니다:

1. 근본적 결함 교정: 언러닝 검증을 위한 MIA 에 대한 커뮤니티의 의존성에 도전하며, "공격 실패 = 망각"이라는 휴리스틱이 구조적으로 부당함을 입증합니다.
2. 확장성: 섀도 모델에 대한 의존성을 제거함으로써, 섀도 모델 학습이 계산적으로 불가능한 대규모 모델에서도 신뢰할 수 있는 감사를 실현 가능하게 합니다.
3. 이론적 보장: 이 방법은 PAC-Bayes 경계와 최적 수송 이론에 기반하여 언러닝 성능 감사를 위한 엄격한 수학적 기초를 제공합니다.

저자들은 SMI 가 이전 접근법의 계산적 부담 없이 이론적 보장과 강력한 실증적 성능을 모두 제공함으로써 언러닝 모델 감사를 위한 새로운 기준을 수립했다고 결론지었습니다.