Sharpness-Aware Machine Unlearning

이 논문은 Sharpness-aware minimization(SAM) 의 특성을 분석하여 머신 언러닝 성능을 향상시키고, 이를 기반으로 리텐 신호 학습과 포ゲット 신호 제거를 동시에 최적화하는 'Sharp MinMax'라는 새로운 알고리즘을 제안하여 다양한 언러닝 방법론의 성능을 개선함을 보여줍니다.

핵심

이 논문은 **"머신 러닝 모델이 특정 데이터를 '잊는' 방법 (기계적 망각, Machine Unlearning)"**에 대한 연구입니다.

현대 AI 는 방대한 양의 데이터를 학습하지만, 때로는 사용자가 "내 사진은 지워줘"라고 요청하거나 저작권 문제가 생겼을 때 특정 데이터를 모델에서 완전히 제거해야 합니다. 하지만 모델을 처음부터 다시 만드는 건 너무 비싸고 시간이 걸립니다. 그래서 기존 모델에서 특정 데이터만 지우는 '망각 기술'이 필요해졌죠.

이 논문은 **SAM(Sharpness-Aware Minimization)**이라는 최적화 기법을 이용해 기존보다 훨씬 더 효과적으로 데이터를 잊게 만드는 방법을 제안합니다.

핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "잊으려고 하면, 오히려 더 기억하게 되는 아이"

AI 모델을 공부하는 학생이라고 상상해 보세요.

• 유지 데이터 (Retain Set): 학생이 계속 공부해야 하는 교과서 내용 (예: 수학 공식).
• 망각 데이터 (Forget Set): 학생이 잊어야 하는 내용 (예: 친구가 알려준 잘못된 정보나, 지우라고 요청한 특정 문제).

기존 방식 (SGD) 은 이 두 가지를 동시에 가르치려고 하면, 학생이 "수학 공식도 잊어버리고, 잘못된 정보도 제대로 기억하지 못하는" 혼란스러운 상태가 되거나, 반대로 "잘못된 정보를 너무 강하게 기억해서 (과적합), 오히려 지우기가 더 어려워지는" 문제가 발생했습니다.

2. 기존 해결책의 한계: "평탄한 지형의 미덕"

기존 연구에서는 AI 가 **'평탄한 지형 (Flat Landscape)'**에 머무르면 노이즈 (오류) 를 잘 기억하지 않고 일반화 능력이 좋다고 했습니다. 마치 넓은 평야에 서 있으면 바람에 흔들리지 않는 것처럼요. 그래서 'SAM'이라는 기법을 사용하면 노이즈를 잘 무시한다고 믿었습니다.

하지만 이 논문은 **"망각 (Unlearning) 상황에서는 이 규칙이 깨진다"**는 놀라운 사실을 발견했습니다.

3. 핵심 발견: "잊으라고 하면, SAM 도 과적합한다"

논문의 저자들은 SAM 을 망각 작업에 적용했을 때, SAM 이 평소의 '노이즈를 무시하는 성실한 성격'을 버리고, 잊으라고 하는 데이터 (망각 데이터) 에 대해 SGD 와 똑같이 '과도하게 기억 (과적합)'하는 현상을 발견했습니다.

• 비유: 평소에는 소문 (노이즈) 을 믿지 않는 성실한 학생 (SAM) 이, "이 소문은 절대 잊어!"라고 강하게 명령받으면, 오히려 그 소문에 집착해서 더 잘 기억하게 되는 것입니다.
• 의미: 이는 역설적으로 좋습니다. 왜냐하면 망각 데이터에 대해 "과도하게 기억 (과적합)"하는 것이, 그 데이터를 모델에서 완전히 지우는 데 도움이 되기 때문입니다.

4. 새로운 제안: "Sharp MinMax (날카로운 최대 - 최소)"

이 발견을 바탕으로 저자들은 Sharp MinMax라는 새로운 알고리즘을 제안했습니다. 이 방법은 모델을 두 명의 학생으로 나누어 역할을 분담시킵니다.

1. 유지 학생 (Retain Model): SAM을 사용합니다.
   • 역할: 교과서 (유지 데이터) 를 공부할 때는 소문을 무시하고 **넓은 평야 (평탄한 지형)**에 서서 튼튼하게 기억합니다.
2. 망각 학생 (Forget Model): **Sharpness Maximization (날카로운 최대화)**을 사용합니다.
   • 역할: 잊어야 할 데이터 (망각 데이터) 에 대해서는 **날카로운 산꼭대기 (Sharp Landscape)**에 서서, 그 데이터에 대해 극단적으로 과적합합니다.
   • 효과: 마치 "이 데이터는 내 머릿속에 너무 깊게 박혀서, 다른 데이터와 섞이지 않게 완전히 분리해 버린다"는 느낌입니다. 이렇게 하면 유지 데이터에는 영향을 주지 않으면서, 망각 데이터만 완벽하게 지울 수 있습니다.

5. 실험 결과: "왜 이것이 더 좋은가?"

• 더 적은 데이터로도 가능: 유지 데이터가 적어도 SAM 을 쓰면 성능을 유지하면서 망각을 잘 수행합니다.
• 보안 강화: 해커가 "이 데이터가 학습에 쓰였나요?"라고 물어보는 공격 (멤버십 추론 공격) 을 해도, SAM 을 쓴 모델은 그 데이터를 전혀 기억하지 않는 것처럼 행동하여 보안을 강화합니다.
• 혼란 감소: 유지 데이터와 망각 데이터가 서로 섞여 있는 현상 (Feature Entanglement) 이 줄어들어, 모델이 더 깔끔하게 데이터를 구분합니다.

요약

이 논문은 **"AI 가 특정 데이터를 잊게 하려면, 평소의 '성실함 (노이즈 무시)'을 잠시 내려놓고, 잊어야 할 데이터에 대해서는 '집착 (과적합)'하는 전략을 써야 한다"**는 통찰을 줍니다.

그리고 이 아이디어를 바탕으로 **모델을 두 부분으로 나누어, 하나는 평온하게 유지하고 다른 하나는 날카롭게 과적합시키는 'Sharp MinMax'**라는 새로운 방법을 만들어냈습니다. 이는 데이터 프라이버시나 저작권 문제가 발생할 때, AI 를 더 안전하고 효율적으로 관리할 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 딥러닝 모델의 재학습 비용이 커지면서, 특정 데이터 (예: 개인정보, 저작권 침해 데이터) 만을 선택적으로 잊게 하되 나머지 데이터에 대한 성능은 유지하는 '머신 언러닝'이 필수적이 되었습니다.
• 핵심 난제: 언러닝 과정에서는 '유지 (Retain)'해야 할 데이터와 '잊어야 (Forget)' 할 데이터가 동시에 존재하며, 이 두 가지 상반된 신호 (Retain vs. Forget signals) 가 훈련 과정에서 서로 간섭을 일으켜 언러닝의 효율성을 떨어뜨리거나 모델 성능을 저하시킵니다.
• 기존 접근법의 한계: 기존 연구들은 주로 경사 하강법 (SGD) 기반의 그라디언트 상승 (Gradient Ascent) 등을 사용했으나, 언러닝의 이론적 기반이 부족하고 신호 간 간섭을 효과적으로 제어하는 방법이 명확하지 않았습니다.

2. 방법론 및 이론적 분석 (Methodology & Theoretical Analysis)

저자들은 신호 - 노이즈 분해 (Signal-Noise Decomposition) 관점에서 SAM 의 언러닝 동작을 분석했습니다.

• SAM 의 역설적 발견 (The Paradox):

  • 일반적으로 SAM 은 노이즈 (잘못된 라벨 등) 를 기억하지 않고 평탄한 손실 지형 (Flat Loss Landscape) 을 찾아 일반화를 향상시킵니다.
  • 그러나 NegGrad(그라디언트 하강으로 유지, 그라디언트 상승으로 잊기) 와 같은 언러닝 알고리즘과 결합할 때, SAM 은 잊어야 할 데이터 (Forget Set) 에 대해서는 노이즈 억제 기능을 포기하고 SGD 와 유사하게 해당 데이터를 과적합 (Overfitting) 시킵니다.
  • 이는 언러닝의 목적 (특정 데이터의 영향 제거) 에 부합하는 역설적인 현상으로, SAM 이 유지 데이터 (Retain Set) 에서는 여전히 평탄한 지형을 유지하며 일반화를 보장하는 반면, 잊어야 할 데이터에는 적극적으로 적응한다는 것을 의미합니다.

• 신호 과잉 (Signal Surplus) 및 가중치 임계값:

  • SAM 은 SGD 보다 유지 데이터를 학습하는 속도가 빠르므로, 유지 데이터와 잊어야 할 데이터 간의 가중치 비율 ($\alpha$) 을 SGD 보다 훨씬 낮게 설정해도 유지 성능을 유지할 수 있음을 증명했습니다.
  • 이론적으로 SAM 이 필요한 최소 유지 가중치 $\alpha$는 SGD 보다 작으며, 그 차이는 $O(\sqrt{d/n})$ (모델 차원 $d$, 데이터 크기 $n$) 순으로 분석되었습니다.

• 새로운 알고리즘 제안: Sharp MinMax

  • 위 분석을 바탕으로, 과적합이 특정 데이터 제거에는 유리할 수 있다는 통찰을 얻었습니다.
  • Sharp MinMax 알고리즘을 제안했습니다. 이 방법은 모델을 두 부분으로 분할합니다:
    1. Retain Model ($W_R$): SAM 을 사용하여 유지 데이터에 대해 평탄한 지형을 찾으며 일반화를 유지합니다.
    2. Forget Model ($W_F$): Sharpness Maximization(손실 극대화) 을 수행하여 잊어야 할 데이터에 대해 의도적으로 과적합시킵니다.
  • 이를 통해 유지 신호와 잊기 신호 간의 간섭을 최소화하고, 잊어야 할 데이터의 영향을 강력하게 제거합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 프레임워크: 머신 언러닝을 신호 - 노이즈 분해 관점에서 정립하고, SAM 이 NegGrad 하에서 유지 데이터와 잊기 데이터에 대해 어떻게 다르게 동작하는지 엄밀하게 증명했습니다.
2. 최적화 가이드라인: 언러닝 성공을 위한 유지/잊기 가중치 ($\alpha$) 의 이론적 하한을 도출했으며, SAM 이 SGD 보다 더 유연한 가중치 설정으로 효율적인 언러닝이 가능함을 보였습니다.
3. 새로운 알고리즘 (Sharp MinMax): 유지와 잊기 목표를 분리하여 각각 SAM 과 Sharpness Maximization 을 적용하는 새로운 아키텍처를 제안했습니다.
4. 실험적 검증: CIFAR-100 및 ImageNet-1K 에서 다양한 언러닝 방법 (NegGrad, SalUn, SCRUB 등) 과 결합하여 SAM 의 효과를 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: SAM 을 기존 언러닝 방법 (NegGrad, RL, SalUn 등) 에 적용하면, 유지 정확도 (Retain Accuracy) 와 테스트 정확도 (Test Accuracy) 를 유지하면서 잊기 정확도 (Forget Accuracy) 를 획기적으로 낮추어 전체적인 'Tug-of-War (ToW)' 점수가 크게 향상되었습니다.
• 기억도 (Memorization) 기반 평가: 데이터의 기억 정도 (Memorization Score) 가 높은 (잊기 어려운) 데이터셋에서도 SAM 기반 방법이 우수한 성능을 보였습니다.
• 멤버십 추론 공격 (MIA) 방어: SAM 을 적용한 모델은 잊어야 할 데이터에 대한 MIA 정확도가 낮아, 개인정보 보호 측면에서 더 강력한 보호를 제공함을 확인했습니다.
• Loss Landscape 및 Entanglement:
  • SAM 은 SGD 보다 더 평탄한 손실 지형 (Flatter Loss Landscape) 을 유지합니다.
  • 유지 데이터와 잊기 데이터 간의 특성 얽힘 (Feature Entanglement) 이 SGD 대비 현저히 감소하여, 두 데이터 집합이 더 명확하게 분리됨을 시각화 (UMAP) 를 통해 확인했습니다.
• Sharp MinMax 의 우수성: 제안된 Sharp MinMax 는 모든 설정에서 기존 방법론보다 가장 높은 ToW 점수를 기록했으며, 특히 고기억도 (High Memorization) 데이터셋에서 타 데이터를 완전히 지우는 데 탁월한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 과적합에 대한 재해석: 이 논문은 머신 언러닝이라는 특수한 맥락에서는 의도적인 과적합 (Constrained Overfitting) 이 오히려 특정 데이터의 완전한 제거에 도움이 된다는 새로운 통찰을 제시했습니다.
• 이론과 실증의 결합: SAM 의 평탄한 지형 탐색 능력이 일반화에는 좋지만, 언러닝의 맥락에서는 '잊기'를 위한 과적합 메커니즘과 어떻게 결합될 수 있는지에 대한 이론적 근거를 마련했습니다.
• 실용적 가치: 계산 비용이 큰 전체 재학습 없이도, SAM 기반의 언러닝을 통해 모델의 프라이버시 준수와 저작권 문제를 해결할 수 있는 강력한 대안을 제시했습니다.

요약하자면, 이 논문은 SAM 이 언러닝 과정에서 노이즈 억제 기능을 선택적으로 해제하여 잊기 데이터에 적응하는 특성을 발견하고, 이를 역이용하여 Sharp MinMax라는 새로운 알고리즘을 개발함으로써 머신 언러닝의 효율성과 안전성을 크게 향상시켰습니다.