기술 요약: PURGE (Projected Unlearning via Retain-Guided Erasure)

1. 문제 정의

기계 언러닝(Machine Unlearning, MU)은 훈련된 모델로부터 특정 훈련 데이터(망각 집합, $D_f$)의 영향을 재학습의 막대한 계산 비용 없이 제거하는 것을 목표로 한다. MU에는 근본적인 긴장 관계가 존재한다: 모델은 프라이버시 감사(예: GDPR의 "잊힐 권리")를 충족하기 위해 $D_f$를 공격적으로 망각해야 하는 동시에, 남은 데이터(유지 집합, $D_r$)에 대한 높은 유용성을 보존해야 한다.

기존 방법론들은 다음과 같은 구체적인 실패 모드에 직면해 있다:

• 경사 상승법 (Gradient Ascent): $D_f$에 대한 손실을 최대화하지만, 종종 $D_r$에 대한 성능을 파괴적으로 저하시킨다.
• Saliency 기반 방법 (예: SalUn): 가중치를 선택적으로 섭동시키지만, 유지 성능에 대한 공식적인 보장을 결여하고 있다.
• 지식 증류 (Knowledge Distillation): 유지 분포를 고정하지만, 그래디언트 방향을 제약하는 데는 실패한다.
• Fisher 기반 방법: 이론적 근거는 갖추고 있으나, 헤시안(Hessian) 근사를 위한 계산 비용이 매우 높다.

결정적으로, 기존의 많은 접근 방식은 언러닝된 모델이 $D_r$만으로 처음부터 재학습된 모델과 통계적으로 구별 불가능하도록 보장하는 데 실패한다. 이 차이는 멤버십 추론 공격(Membership Inference Attack, MIA)에 저항하는 데 필수적이다. 여기서 공격자는 특정 샘플이 훈련 세트에 포함되었는지 여부를 판단하려고 시도한다.

2. 방법론

PURGE의 핵심 통찰은 **지속 학습(Continual Learning, CL)**과 기계 언러닝(Machine Unlearning) 사이의 이중성(duality)에 있다. CL이 이전 태스크를 잊지 않고 새로운 태스크를 배우는 것이라면, MU는 유지 성능을 해치지 않으면서 특정 데이터를 지우는 것이다. PURGE는 새로운 태스크의 그래디언트를 이전 태스크의 손실을 증가시키지 않도록 투영하는 A-GEM(Averaged Gradient Episodic Memory) 알고리즘을 CL에서 채택하여 적응시킨다.

2.1 유지 안전성을 위한 그래디언트 투영 (Gradient Projection for Retain-Safety)

PURGE는 언러닝 과정을 제약된 최적화 문제로 취급한다. 매 업데이트 단계마다, 망각 방향의 그래디언트($g_f$)는 유지 그래디언트($g_r$)에 의해 정의된 반공간(half-space) 위로 투영된다.

• 제약 조건: 업데이트는 유지 손실($L_r$)을 증가시켜서는 안 된다.
• 메커니즘: 만약 망각 그래디언트가 유지 그래디언트와 충돌하면(즉, $\langle g_f, g_r \rangle < 0$), $g_f$는 $\langle g, g_r \rangle \geq 0$인 반공간의 경계 위로 투영된다.
• 이론적 보장: 이는 매 단계마다 유지 손실이 증가하지 않음을 보장하는 구성적 보장(first-order approximation 기준)을 제공하며, 이는 기존의 근사적 언러닝 방법론에는 결여된 특징이다.

2.2 망각 목적 함수 (Forget Objectives)

PURGE는 단순한 균등 분포 타겟을 넘어, 망각 집합을 위한 새로운 타겟을 도입한다:

• KL-Retain (유지 혼란 타겟): 망각 출력을 균등 분포로 밀어내는 대신(이는 MIA에 의해 쉽게 탐지될 수 있음), PURGE는 유지 집합에 대한 모델의 자연스러운 혼란 패턴을 타겟으로 삼는다. 이는 동결된 원래 모델 상의 $D_r$에 대한 소프트맥스 출력들을 평균하여 분포 $p_r$을 사전 계산한다. 망각 목적 함수는 망각 출력과 $p_r$ 사이의 KL-divergence를 최소화한다.
• 근거: 이를 통해 언러닝된 모델의 출력은 처음부터 재학습된 모델과 통계적으로 구별 불가능하게 만들어, MIA AUROC를 이상적인 값인 0.5로 유도한다.

2.3 다층 표현 삭제 (Multi-Layer Representation Erasure)

출력 억제만으로는 충분하지 않다. 정보가 중간 레이어에 잔존할 수 있기 때문이다. PURGE는 여러 중간 레이어에 걸쳐 망각 집합의 활성화(activation)와 유지 집합의 평균 활성화(동결된 모델 기준) 사이의 평균 제곱 오차(MSE)를 계산한다. 이는 정보가 최종 출력뿐만 아니라 은닉 표현(hidden representations)에서도 제거되도록 강제한다.

2.4 안정성 및 정지 메커니즘

• KD-앵커링 안정성: 언러닝 전의 모델을 복사한 동결된 모델이 지식 증류(KD)를 통해 유지 집합에 대한 교사 역할을 수행하여, 표현 드리프트(representation drift)를 줄인다.
• 엔트로피 게이팅 및 캡핑 (Entropy Gating & Capping): 망각 배치의 출력 엔트로피가 이미 최대치에 근접한 경우, 업데이트는 유지 목적 함수로 제한되어 과도한 망각이나 그래디언트 폭주를 방지한다.
• 이중 자기 조절 정지 (Dual Self-Regulating Stopping): 알고리즘은 다음 두 가지 기준에 따라 자동으로 정지한다:
  1. 유지 손실 예산 (Retain-Loss Budget): 유지 손실이 초기 손실 대비 사전 정의된 예산을 초과하면 정지한다.
  2. 망각 정확도 (FA) 타겟: FA가 무작위 확률 수준(예: $100/K\%$)으로 떨어지면 정지한다.
• BatchNorm 동결: 저자들이 식별한 중요한 구현 디테일: 언러닝 중에 BatchNorm 레이어는 평가 모드(evaluation mode)로 동결되어야 한다. 클래스 동질성이 높은 망각 배치는 BatchNorm이 훈련 모드로 남아 있을 경우 실행 통계량(running statistics)을 오염시켜 모델 붕괴를 초래할 수 있다.

3. 주요 기여

1. CL-MU 이중성의 알고리즘적 구현: PURGE는 A-GEM(CL 알고리즘)의 그래디언트 투영 메커니즘을 언러닝의 주요 구성 도구로 직접 적응시킨 최초의 연구이며, 매 단계별 유지 안전성에 대한 공식적인 보장을 제공한다.
2. 유지 혼란 타겟 (Retain-Confusion Target): 모델의 자연스러운 혼란에 기반한 KL-divergence 타겟을 제안함으로써, 균등 분포 타겟보다 MIA 저항성을 크게 향상시켰다.
3. 다층 삭제 (Multi-Layer Erasure): 중간 레이어의 활성화까지 확장을 통해 심층적인 정보 제거를 보장한다.
4. 자기 조절 프레임워크: 이중 정지 기준(유지 손실 예산 및 FA 타겟)을 통해 수동 에포크 튜닝을 제거했다.
5. 경험적 발견: 클래스 수준의 언러닝에서 BatchNorm 실패 모드를 식별하였으며, 이는 안정성에 영향을 미치는 미묘하지만 결정적인 문제이다.

4. 실험 결과

PURGE는 ResNet-18을 사용하여 5개의 데이터셋(CIFAR-10, MNIST, SVHN, STL10, PathMNIST)에 대해 22개의 클래스 수준 망각 태스크를 대상으로 평가되었다.

• 프라이버시-유용성 트레이드오프: PURGE는 모든 데이터셋에서 유지 정확도(RA)를 96% 이상으로 일관되게 유지한다.
• 프라이버시 (MIA 저항성): PURge는 5개 중 4개 데이터셋에서 MIA AUROC를 0.5에 근접하게 달성했다(이상적인 구별 불가능성 점수). 예를 들어, CIFAR-10에서 AUROC 0.496을 달성했다.
• 베이스라인과의 비교:
  • Gradient Ascent(CIFAR-10에서 유지 정확도를 ~38%로 저하)나 SalUn(공식적인 MIA 보장이 없음)과 달리, PURGE는 높은 유지 유용성과 진정한 멤버십 프라이버시 사이의 균형을 맞춘다.
  • PURGE의 CIFAR-10 테스트 정확도(TA, 84.5%)가 SalUn(93.5%)보다 낮지만, 저자들은 이것이 단순한 낮은 망각 정확도가 아닌 진정한 프라이버시(MIA $\approx$ 0.5)를 달성하기 위한 의도적인 트레이드오프라고 주장한다.
• 효율성: PURGE는 약 1.75 에포크 내에 수렴하며(CIFAR-10 기준 200초 미만), 이는 전체 재학습 대비 약 13배 빠른 속도이다.
• 표현 삭제: 특성 공간의 Fréchet 거리(FIDfeat) 및 코사인 유사도 지표는 PURGE가 중간 표현을 효과적으로 변경하여, 처음부터 재학습된 모델의 표현에 가깝게 만든다는 것을 확인시켜 준다.

5. 의의 및 주장

본 논문은 PURGE가 지속 학습과의 이중성을 활용하여 원칙적인 프레임워크를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 공식적 보장: 휴리스틱 기반 언러닝 방법론에는 없는, 매 단계별로 유지 손실이 증가하지 않는다는 보장을 제공한다.
• 강력한 프라이버시: 인위적인 균등 타겟보다 모델의 "자연스러운 혼란"을 타겟팅하는 것이 멤버십 추론 공격을 물리치는 데 더 우월함을 입증했다.
• 실무적 가이드: 언러닝 문헌에서 자주 간과되는 BatchNorm 레이어 동결의 필요성과 같은 결정적인 구현 통찰을 제공한다.

저자들은 일부 베이스라인과의 테스트 정확도 격차, $(\epsilon, \delta)$-차분 프라이버시(differential privacy) 보장의 부재, 현재 평가 범위(ResNet-18, 단일 클래스 망각) 등의 한계를 인정한다. 그러나 이들은 CL-MU 이중성 관점이 향려 언러닝 알고리즘 설계를 위한 더 넓은 설계 공간을 열어준다고 주장한다.