논문 요약: 기계적 망각 (Machine Unlearning) 검증의 취약성 (Verification of Machine Unlearning is Fragile)

이 논문은 최근 개인정보 보호 법규 (GDPR, CCPA 등) 의 강화로 인해 등장한 기계적 망각 (Machine Unlearning, MUL) 기술의 검증 메커니즘이 본질적으로 취약하다는 점을 지적합니다. 저자들은 모델 제공자가 데이터 소유자의 삭제 요청을 속여 데이터를 실제로는 유지하면서 검증 절차를 통과할 수 있는 두 가지 새로운 적대적 (Adversarial) 방법을 제안하고, 이를 통해 기존 검증 전략의 안전성이 보장되지 않음을 증명합니다.

1. 문제 정의 (Problem Statement)

• 배경: 데이터 소유자는 자신의 데이터가 학습된 모델에서 삭제되었는지 확인하고 싶어 하지만, 현재 MUL 기술은 데이터 소유자 입장에서 '블랙박스' 상태입니다.
• 검증 전략의 현황: 모델 제공자의 정직성을 보장하기 위해 **백도어 검증 (Backdoor Verification)**과 재현 검증 (Reproducing Verification) 등의 방법이 제안되었습니다.
  • 백도어 검증: 데이터 소유자가 학습 데이터에 특정 백도어 (오류 라벨 등) 를 주입하고, 삭제 후 해당 백도어가 작동하지 않는지 확인합니다.
  • 재현 검증: 모델 제공자가 삭제 과정을 증명하는 '재학습 증명 (Proof of Retraining, PoRT)'을 제공하고, 제 3 자가 이를 재현하여 검증합니다.
• 핵심 질문: 모델 제공자가 데이터를 실제로는 유지하면서 (정보를 보존하면서) 이러한 검증 절차를 속일 수 있는가?
• 결론: 예, 가능합니다. 현재 MUL 검증은 매우 취약하며, 모델 제공자는 데이터를 유지한 채 검증을 통과할 수 있습니다.

2. 방법론 (Methodology)

저자는 모델 제공자가 데이터를 유지하면서 검증을 속이는 두 가지 적대적 망각 프로세스를 제안합니다.

2.1. 첫 번째 방법: 재학습 기반 적대적 망각 (Retraining-based Adversarial Unlearning)

• 원리: 완전한 재학습 (Exact Unlearning) 을 수행하는 것처럼 보이게 하되, 삭제된 데이터 ($D_u$) 를 제외한 데이터 ($D \setminus D_u$) 중에서 **삭제된 데이터와 유사한 그래디언트 (Gradient)**를 생성하는 미니배치를 선택하여 재학습합니다.
• 작동 방식:
  • 원래 미니배치에 삭제된 데이터가 포함되지 않은 경우: 그대로 사용.
  • 삭제된 데이터가 포함된 경우: 해당 데이터와 가장 가까운 이웃 (Nearest Neighbor) 데이터나 그래디언트 거리가 가장 작은 데이터를 대체 데이터로 선택합니다.
• 효과:
  • 재현 검증 우회: 선택된 데이터로 재학습한 모델 파라미터 업데이트가 원래 재학습 과정과 수학적으로 동일하므로, 검증 오류 (Verification Error) 가 0 이 되어 재현 검증을 완벽하게 통과합니다.
  • 백도어 검증 우회: 백도어 데이터의 라벨을 뒤집는 대신, 해당 클래스의 실제 데이터를 사용하여 모델을 업데이트하므로 백도어 패턴이 모델에 학습되지 않아 백도어 공격이 실패합니다.
  • 데이터 보존: 삭제된 데이터의 정보 (특징) 를 유지한 채 모델을 업데이트하므로, 모델은 여전히 삭제된 데이터에 대한 지식을 가지고 있습니다.

2.2. 두 번째 방법: 위조 기반 적대적 망각 (Forging-based Adversarial Unlearning)

• 원리: 원래 학습 과정 (Proof of Training, PoT) 을 기록해 두었다면, 이를 바탕으로 삭제된 데이터가 포함된 미니배치를 위조 (Forging) 하여 재학습 증명 (PoRT) 을 생성하는 방법입니다.
• 작동 방식:
  • 삭제된 데이터가 없는 배치: 모델 파라미터에 미세한 노이즈를 추가하여 변경된 것처럼 보이게 합니다.
  • 삭제된 데이터가 있는 배치: 첫 번째 방법과 유사하게 대체 데이터를 선택하여 그래디언트를 계산하고, 이를 이용해 모델 파라미터를 업데이트합니다.
• 특징:
  • 효율성: 전체 재학습을 수행하지 않고 기존 학습 경로를 위조하므로 계산 비용이 매우 낮습니다.
  • 제한점: 재현 검증에서 허용되는 오차 범위 ($\epsilon > 0$) 내에서만 작동하며, $\epsilon=0$인 엄격한 검증에는 통과하지 못할 수 있습니다. 또한 백도어 검증에서는 탐지될 가능성이 높습니다.

3. 주요 기여 (Key Contributions)

1. 적대적 망각 방법론 제안: 백도어 검증과 재현 검증이라는 두 가지 주요 검증 전략을 모두 우회하면서도 삭제된 데이터의 정보를 보존하는 두 가지 새로운 적대적 알고리즘을 제안했습니다.
2. 이론적 증명: 제안된 방법론이 재현 검증의 엄격한 조건 (오차 0 또는 $\epsilon$) 을 만족함을 수학적으로 증명했습니다. 또한, 재학습 기반 방법이 최적점에 근접하여 모델 유틸리티를 유지함을 보였습니다.
3. 실험적 검증: MNIST, CIFAR-10, SVHN 등 실제 데이터셋을 사용하여 제안된 방법의 유효성을 검증했습니다.
   • 재학습 기반 방법은 백도어 검증과 재현 검증을 모두 통과했습니다.
   • 위조 기반 방법은 재현 검증 (오차 허용 시) 을 통과했으나, 백도어 검증에서는 탐지되었습니다.
   • 제안된 방법들은 기존 재학습 방식보다 모델 성능 (유틸리티) 을 유지하거나 향상시키면서 계산 효율성을 높였습니다.

4. 실험 결과 (Results)

• 검증 우회 성공률:
  • 재현 검증: 재학습 기반 방법은 검증 오류가 0 이 되어 항상 통과했습니다. 위조 기반 방법은 오차 임계값 ($\epsilon \approx 10^{-3}$) 내에서 통과했습니다.
  • 백도어 검증: 재학습 기반 방법은 백도어 공격 성공률이 무작위 추측 수준으로 낮아져 (데이터가 삭제된 것처럼 보임) 검증을 통과했습니다. 반면, 위조 기반 방법과 원본 학습은 백도어가 작동하여 삭제되지 않은 것으로 판별되었습니다.
• 모델 유틸리티:
  • 제안된 적대적 방법 (특히 재학습 기반) 은 데이터를 삭제한 것처럼 보이면서도, 실제 삭제된 데이터에 대한 예측 성능을 유지했습니다.
  • 특히 클래스 불균형 (Class-imbalanced) 환경에서 기존 재학습 방식보다 더 나은 성능을 보였습니다.
• 효율성:
  • 위조 기반 방법은 재학습 시간보다 훨씬 짧은 실행 시간을 기록했습니다.
  • 재학습 기반 방법은 인접 데이터 탐색 비용이 발생하지만, 무작위 샘플링보다 효율적인 nearest neighbor 선택 전략을 사용하여 성능을 확보했습니다.

5. 의의 및 시사점 (Significance)

• MUL 검증의 취약성 폭로: 현재 제안된 MUL 검증 메커니즘이 모델 제공자의 사기 행위를 방지하기에 충분하지 않음을 처음으로 체계적으로 증명했습니다.
• 안전한 검증의 필요성: 단순한 재현이나 백도어 주입만으로는 데이터의 완전한 삭제를 보장할 수 없음을 시사합니다.
• 향후 연구 방향:
  • 근사적 망각 (Approximate Unlearning) 의 검증: 현재 연구는 주로 완전 재학습에 초점을 맞추었으나, 근사적 망각 기법들의 검증 안전성 또한 취약할 수 있음을 지적했습니다.
  • 새로운 검증 프레임워크: 모델 제공자가 데이터를 유지하면서 검증을 통과하는 것을 방지할 수 있는 더 강력한 암호학적 또는 통계적 검증 방법의 개발이 시급합니다.

결론적으로, 이 논문은 기계적 망각 기술이 개인정보 보호를 위한 만능 해결책이 될 수 없으며, 검증 과정 자체가 공격받을 수 있음을 경고함으로써 향후 안전한 MUL 시스템 설계의 중요성을 강조합니다.