기술적 요약: 프록시로부터의 정확한 망각은 근사적 망각에 대한 근접성 보장을 유도함

문제 정의

기계 망각 (Machine unlearning) 은 모델을 처음부터 다시 학습시키지 않고, 훈련된 분류기에서 특정 훈련 데이터 (망각 집합, $D_f$) 의 영향을 제거하는 것을 목표로 합니다. 정확한 망각 (Exact unlearning) 은 금표준이지만, 대규모 심층 네트워크의 경우 계산 비용이 너무 많이 들어 실용적이지 않은 경우가 많습니다. 현재 주로 1 차 경사 업데이트 (예: 망각 집합에 대한 경사 상승) 를 기반으로 하는 근사적 방법들은 다음과 같은 여러 한계를 겪고 있습니다:

1. 해석 가능성 부족: 데이터 분포 관점에서 결과적인 예측 변화를 폐형식 (closed-form) 으로 특징짓지 않는 최적화 경로에 의존합니다.
2. 불안정성: 반복적 업데이트는 명확한 중지 기준이 부재하여 과도한 망각이나 파국적 망각 (catastrophic forgetting) 을 초래합니다.
3. 평가 간극: 성능은 종종 멤버십 추론 공격 (MIAs) 이나 정확도 지표로 측정되는데, 이는 이상적인 재학습 모델과의 통계적 거리를 정확하게 반영하지 못할 수 있습니다.
4. 비최적성: 기존 이론적 경계는 종종 데이터 분포 모델의 품질보다는 신경망 특성 (예: 헤시안 근사) 에 의존합니다.

방법론

본 논문은 경사를 통해 네트워크 가중치를 직접 업데이트하는 대신, 데이터 분포의 명시적 수학적 모델에서 유도된 로짓 (logit) 공간의 이동으로서 정확한 망각 신호를 모델링하는 패러다임 전환을 제안합니다.

1. 로짓 이동으로서의 망각 신호

핵심 아이디어는 최적화 경로가 아닌, 유지 집합과 원본 데이터셋의 사후 분포 간의 차이로 망각 목표를 정의하는 것입니다.

• $P$를 원본 데이터의 실제 분포, $P_r$을 유지 집합의 실제 분포라고 합시다.
• 저자들은 클래스 조건부 분포 $P(X|Y)$와 $P_r(X|Y)$를 모델링하기 위해 매개변수화된 프록시 (proxies)($\bar{P}$ 및 $\bar{P}_r$) 를 도입합니다.
• 이러한 프록시는 사후 분포와 관련된 로짓 벡터 $M(x)$ 및 $M_r(x)$를 유도합니다.
• 망각 신호는 이동 $\Delta M(x) = M_r(x) - M(x)$로 정의됩니다.
• 망각된 모델의 로짓은 선형 결합으로 구성됩니다: $\tilde{f}_\eta(x) = f_\theta(x) + \eta \Delta M(x)$, 여기서 $\eta$는 스케일링 인자입니다.

2. 이론적 프레임워크 및 보장

본 논문은 망각된 모델과 이상적인 재학습 모델 ($P_r$) 간의 쿨백 - 라이블러 (KL) 발산에 대한 이론적 경계를 수립합니다.

• 허용성 기준 (Admissibility Criterion): 한 쌍의 프록시가 "허용 가능 (admissible)"하기 위해서는 초기 프록시 $\bar{P}$가 유지 프록시 $\bar{P}_r$이 $P_r$을 근사하는 것보다 실제 분포 $P$를 더 잘 근사해야 합니다. 이는 검증 가능한 조건입니다.
• 안전 영역 (Safety Regime, $\eta_{max}$): 저자들은 최대 스케일링 인자 $\eta_{max}$의 존재를 증명합니다. 즉, 허용성 기준이 성립한다면 임의의 $\eta \in [0, \eta_{max}]$에 대해 망각 과정이 이상적 모델로의 KL 발산을 엄격하게 감소시킵니다.
• 경계: 명제 1 은 KL 발산에 대한 엄격한 경계를 제공하며, 오차가 초기 발산과 프록시가 각기 다른 목표를 모델링하는 방식의 차이인 "모델링 이동 (modeling shift)"에 의존함을 보여줍니다. 명제 2 는 오차를 클래스 조건부 모델링의 품질과 연결하는 직관적인 경계를 제시합니다.

3. 프록시 구성

본 논문은 데이터 구조를 근사하기 위해 여러 프록시 계열을 탐구합니다:

• 단순 모델 (Naive Models): 전체 데이터셋을 클래스당 단일 분포로 취급하는 표준 LDA(선형 판별 분석) 와 QDA(이차 판별 분석).
• 혼합 모델 (Mixture Models, LDA-Mix, QDA-Mix): 각 클래스 내에서 원본 분포를 유지 및 망각 하위 집단들의 혼합으로 모델링합니다.
• 레이블 증배 (Label Doubling, LDA-2C, DIR-2C): 레이블 공간을 $(y, s)$로 증배하는 새로운 접근법으로, 여기서 $s \in \{유지, 망각\}$입니다. 이를 통해 모델은 유지 및 망각 분포 간의 중첩을 본질적으로 포착하고, 샘플이 망각 집합에 속할 확률을 추정할 수 있습니다.
  • DIR-2C: 증배된 레이블 공간에서 경험적 디랙 (Dirac) 분포를 사용합니다. 직접 적용은 공격적이지만, 증류 단계에서 강력한 "교사" 역할을 합니다.

4. 증류를 통한 구현

구성된 로짓 이동 $\eta_{max} \Delta M(x)$는 **지식 증류 (Knowledge Distillation)**를 통해 신경망에 구현됩니다. 원본 네트워크 $f_\theta$는 학생 역할을 하여, 그 출력과 목표 로짓 $\tilde{f}_{\eta_{max}}$ 간의 KL 발산을 최소화하도록 학습됩니다. 이 단계는 폐형식 분포 보정을 네트워크 매개변수로 변환합니다.

주요 기여

1. 프록시를 통한 정확한 망각 신호: 데이터 분포의 명시적 수학적 모델에서 유도된 폐형식적이고 해석 가능한 망각 신호를 도입하여, 경사 경로가 아닌 신호를 제공합니다.
2. 이론적 보장: 이상적인 재학습 모델에 대한 KL 발산에 대한 검증 가능한 허용성 기준과 엄격한 이론적 경계를 제공하며, 망각 성능을 데이터 프록시의 품질과 직접 연결합니다.
3. 세분화된 프록시: 데이터 구조에서 멤버십 의존성을 학습하는 특정 모델링 기법 (혼합 모델 및 레이블 증배) 을 제안합니다. 특히 LDA-2C와 DIR-2C는 클래스 내 구조를 포착하는 효과적인 방법으로 등장합니다.
4. 평가를 위한 스타인 (Stein) 경계: 공격자가 망각된 모델과 재학습 모델을 구별하는 데 필요한 쿼리 수에 대한 "스타인 경계"를 유도하기 위해 KL 발산을 사용하는 것을 제안하여, 경험적 멤버십 추론 공격보다 더 안정적이고 해석 가능한 대안을 제공합니다.

실험 결과

이 방법은 CIFAR-10 과 CIFAR-100 에서 세 가지 망각 시나리오에 대해 평가되었습니다:

• 무작위 (Random): 무작위 샘플 망각.
• 클래스 (Class): 전체 클래스 망각.
• 하위 클래스 (Subclass): 클래스의 하위 집합 망각 (예: "차량" 내의 "비행기"). 이는 경사 상승 기반선들이 종종 실패하는 가장 도전적이고 현실적인 시나리오로 지적됩니다.

결과:

• 이상적 모델과의 근접성: 제안된 방법들 (특히 LDA-2C와 DIR-2C) 은 KL 발산 ($KL_t$ 및 $KL_f$) 측면에서 이상적인 재학습 모델 ($p_{\theta_r}$) 에 가장 가까운 망각된 모델을 일관되게 생성하여 SCRUB, SalUn, GA+FT 와 같은 최첨단 기반선들을 능가했습니다.
• 안정성: 불안정한 궤적을 보이거나 파국적 망각을 보인 반복적 기반선들 (예: SalUn 이 망각 정확도를 거의 0 으로 감소시킴) 과 달리, 제안된 방법은 빠르고 안정적으로 수렴했습니다.
• 효율성: 이 방법들은 전체 재학습에 필요한 시간의 약 5% 정도의 런타임 효율성 (RTE) 으로 이러한 결과를 달성했습니다.
• 프록시 효과성: "레이블 증배" 프록시 (LDA-2C, DIR-2C) 는 유지 및 망각 집합 간의 분포적 중첩을 더 잘 포착함으로써, 특히 하위 클래스 시나리오에서 표준 혼합 모델보다 일반적으로 우수한 성능을 보였습니다.

중요성 및 주장

본 논문은 신경망 매개변수 업데이트가 아닌 데이터 분포의 구조에 기계 망각을 기반함으로써 패러다임 전환을 제공한다고 주장합니다.

• 타당성: 이론적 경계는 프록시가 충분히 정확하다면 (허용성 기준을 통해 검증 가능), 망각 과정이 모델을 이상적인 재학습 상태에 더 가깝게 이동할 것을 보장함을 보여줍니다.
• 해석 가능성: 이 방법은 반복적 경사 업데이트의 "블랙박스" 성질에서 벗어나 망각 오차에 대한 폐형식 분해를 제공합니다.
• 실용성: 증류를 사용함으로써 로짓을 출력하는 블랙박스 네트워크에도 적용 가능하여 다용도로 활용됩니다.
• 한계: 저자들은 겸손하게 한계를 인정하는데, 프록시 $P_r$을 적합시키기 위해 유지 집합 $D_r$이 사용된다는 가정, 고차원 특징 공간에서의 잠재적 조건 불양성 (차원 축소를 통해 완화됨), 그리고 허용성 기준이 실제 분포가 아닌 초기 모델에서 경험적으로 검증된다는 사실 등을 포함합니다.

요약하자면, 본 논문은 데이터 분포를 명시적으로 모델링함으로써, 네트워크에 증류될 때 처음부터 다시 학습된 모델과 통계적으로 구별할 수 없는 모델을 산출하는 정확한 망각 신호를 유도할 수 있으며, 이는 검증 가능한 보장과 우수한 경험적 성능을 제공한다고 주장합니다.