기술 요약: 머신 언러닝 알고리즘의 감사 (Auditing)

문제 정의

머신 언러닝(Machine unlearning)은 훈련된 모델로부터 특정 훈련 샘플의 영향을 제거하는 것을 목표로 하며, 이상적으로는 남은 데이터만으로 처음부터 다시 훈련시킨 모델과 구별할 수 없는 결과를 내야 한다. 정확한 언러닝(Exact unlearning)은 강력한 보장을 제공하지만, 심층 신경망에서는 계산적으로 매우 비용이 많이 든다. 결과적으로, 그래디언트 상승법(gradient ascent on the forget set), 헤시안 기반 스크러빙(Hessian-based scrubbing)과 같은 휴리스틱 접근 방식부터 $(\varepsilon, \delta)$-구별 불가능성(indistinguishability) 보장을 제공하는 인증된 방법론에 이르기까지 다양한 근사적 언러닝 방법들이 등장했다.

핵심적인 미결 과제는 이러한 주장들을 경험적으로 평가하는 것이다. 기존의 이론적 경계(theoretical bounds)는 실제 상황에서 성립하지 않을 수 있는 가정(예: 볼록성)에 의존하는 경우가 많으며, 주장된 언러닝 보장이 실제로 유효한지 검증할 수 있는 실용적인 도구가 부족하다. 본 논문은 경험적 증거를 사용하여 언러닝 파라미터 $\varepsilon$이 특정 하한값($\varepsilon < \varepsilon_{LB}$) 미만이라는 가설을 기각하는 것을 목표로 하는 **감사자(auditor)**의 필요성을 다룬다.

방법론

위협 모델 (Threat Model)

저자들은 강력한 블랙박스 적대 모델(strong black-box adversary model)을 채택한다. 적대자는 다음을 알고 있다:

1. 학습 알고리즘 ($A$) 및 언러닝 알고리즘 ($U$).
2. 데이터 로딩 셔플러 (무작위 순열 $\pi$).
3. 훈련 시작 시점의 초기 모델 가중치 ($x_0$).
   적대자는 훈련 또는 언러닝 과정 중의 특정 무작위 실현(예: 그래디언트 노이즈)을 관찰할 수 없으며, 알고리즘의 내부 상태에도 접근할 수 없다. 이 모델은 표준적인 정의보다 적대자의 능력을 강화한 것이지만, Model Clipping 및 Rewind-to-Delete (R2D)와 같은 인증된 알고리즘의 보장 범위와 일치한다.

감사자 프레임워크 (The Auditor Framework)

제안된 감사자는 진정한 언러닝 파라미터 $\varepsilon$에 대한 데이터 의존적 하한 $\varepsilon_{LB}$를 계산하기 위해 설계된 가설 검정 프레임워크이다.

1. 설정: 훈련 데이터셋을 유지 세트($D_r$)와 망각 세트($D_f$)로 분할한다. $D_f$는 다시 $m$개의 후보 배치로 나뉜다.
2. 부호 벡터 (Sign Vectors): 감사자는 균형 잡힌 부호 벡터 $S \in \{\pm 1\}^m$를 샘플링한다. 여기서 $+1$은 배치가 훈련 세트에 포함되었음(따라서 언러닝 대상임)을 나타내고, $-1$은 제외되었음을 나타낸다.
3. 실행: 각 실행 $\ell$에 대하여:
   • 부호 벡터 $S^{(\ell)}$를 기반으로 훈련 세트 $D(S^{(\ell)})$를 구성한다.
   • 모델을 훈련시킨 후 언러닝하여 $f_u^{(\ell)}$를 생성한다.
   • 감사자는 $f_u^{(\ell)}$로부터 부호 벡터 $S^{(\ell)}$를 예측하려고 시도한다.
4. 스코어링: 감사자는 예측된 부호가 실제 부호와 일치하는 정답 비-제로(non-zero) 추측의 수를 세는 오버랩 점수(overlap score) $V^{(\ell)}$를 계산한다.
5. LDP로의 환원: 이 감사는 국소 차분 프라이버시(Local Differential Privacy, LDP) 문제로 환원된다. 만약 언러닝 알고리즘이 $(\varepsilon, 0)$-인증 가능하다면, 감사자의 메커니즘은 $(2\varepsilon, 0)$-LDP를 만족함이 입증된다.
6. 가설 검정: 여러 독립적인 실행에 걸친 오버랩 점수의 분포를 사용하여, 감사자는 하한 $\varepsilon_{LB}$를 계산한다. 만약 관찰된 오버랩이 무작위 추측을 유의미하게 초과하면, 귀무가설($H_0: \varepsilon \le \varepsilon_{LB}$)이 기각되며, 이는 약한 언러닝을 의미한다.

감사자 구현체 (Auditor Instantiations)

감사자 메커리즘 $M$에 대한 두 가지 구체적인 구현체가 제안된다:

• 구현체 I (배치 단위): $m$이 클 때 적합하다. LiRA에서 영감을 받아 각 배치에 대해 독립적으로 로짓(logit) 점수에 가우시안 분포를 적합시켜 포함/제외 여부를 예측한다.
• 구현체 II (결합 부호 벡터): $m$이 작을 때(열거 가능할 때) 적합하다. 전체 부호 벡터를 하나의 가설로 취급하여 배치 간 상관관계를 포착하고, 누적 가능성이 가장 높은 벡터를 선택한다.

주요 기여

1. 실용적인 감사자 설계: 본 논문은 차분 프라이버시 감사 기술을 단일 포인트 이웃이 아닌 서브셋 레벨의 망각 세트에 맞게 확장한 메타 알고리즘을 도입한다.
2. 이론적 경계: 저자들은 경험적 오버랩 점수를 제어된 제1종 오류(Type I error)를 가진 유효한 $\varepsilon$ 하한으로 변환하는 새로운 이론적 경계(정리 4.2)를 도출하였다(특히 $\delta=0$인 경우).
3. 경험적 반증: 이 프레임워크는 언러닝 주장을 경험적으로 반증할 수 있는 도구를 제공한다. 이는 엄격한 이론적 보장을 가진 알고리즘과 단순히 휴리스틱인 알고리즘을 구분해 낸다.

결과

감사자는 CIFAR-100(TinyNet 모델 사용)과 Shakespeare 텍스트 데이터셋(LSTM 사용)에서 평가되었다. 실험은 인증된 알고리즘과 인증되지 않은 알고리즘을 모두 포함하였다.

인증된 방법과 인증되지 않은 방법 사이의 뚜렷한 격차

• 인증된 알고리즘: Model Clipping (Koloskova et al., 2025) 및 Rewind-to-Delete (R2D)와 같이 공식적인 보장을 가진 방법들은 일관되게 매우 작은 $\varepsilon_{LB}$ 값(종종 0에 가까움)을 나타냈다. 이는 경험적 증거가 그들의 이론적 보장을 반증하지 못함을 의미한다.
• 인증되지 않은/휴리스틱 알고리즘: Hessian 기반 언러닝, Interleaved Ascent-Descent (IDA), Forget Set에 대한 Ascent, Retain Set에 대한 순수 파인튜닝을 포함하여 공식적인 보장이 없는 방법들은 빈번히 50~60을 초과하는 큰 $\varepsilon_{LB}$ 값을 보였다.
  • 특히, 볼록성 조건하에서 인증을 주장하는 Hessian 기반 방법(Zhang et al., 2025)이 CIFAR-100(비볼록 영역)에서 142.5의 $\varepsilon_{LB}$를 기록했는데, 이는 감사자가 해당 방법의 전제 조건 실패를 성공적으로 포착했음을 보여준다.
  • 순수 파인튜닝과 forget-set ascent 역시 유사하게 높은 경계값을 보여, 언러닝 성능이 저조함을 나타냈다.

데이터 분할의 영향

연구 결과, 균등 분할(forget 및 retain 세트가 특징 지원(feature support)을 공유하는 경우)이 적대적 분할(레이블 클래스가 서로 다른 경우)보다 일반적으로 더 높은 $\varepsilon_{LB}$ 값을 생성함을 관찰했다. 이는 잔여 기억(residual memorization)과 의미적 인접성이 균등 분할에서 언러닝을 효과적으로 달성하기 어렵게 만든다는 것을 시사한다.

볼록 vs 비볼록 영역

볼록 손실(cubic 및 logistic)에 대한 실험에서, 인증된 $\varepsilon$과 경험적 $\varepsilon_{LB}$ 사이의 간격은 비볼록 딥러닝 설정보다 훨씬 작았다. 이는 감사자가 분석적으로 다루기 쉬운 설정에서 더 정밀하며, 딥러닝에서 관찰된 큰 경계값은 감사자의 느슨함 때문이 아니라 휴리스틱 방법의 실제 언러닝 실패 때문임을 확인시켜 준다.

의의 및 주장

본 논문은 가설 검정 프레임워크를 통해 경험적으로 언러닝 보장을 반증할 수 있는 첫 번째 실용적 도구를 제공한다고 주장한다. 이 논문의 주요 의의는 감사자의 진단적 가치에 있다:

• 효율성을 위해 실제 현장에서 자주 사용되는 휴리스틱 방법들이 높은 $\varepsilon_{LB}$ 값으로 증명되듯, 데이터의 영향을 제거하는 데 자주 실패한다는 것을 드러낸다.
• 인증된 방법들(그들의 가정이 성립할 때)이 강력한 적대자 하에서도 그 보장을 유지함을 검증한다.
• 실제 딥러닝 시나리오에서 성립하지 않을 수 있는 가정(예: 볼록성)에 의존하는 인증 주장의 취약성을 강조한다.

저자들은 현재 분석이 $\delta=0$으로 제한되어 있지만, 제안된 감사자가 머신 언러닝 알고리즘의 효능를 평가하기 위한 엄격한 기준을 제공하며, 진정한 보장을 가진 것과 단순히 잊은 것처럼 보이는 것을 구분해 낸다고 결론짓는다.