기술적 요약: 기계 망각을 위한 매개변수 공간 내 비선형 경로 탐색

문제 정의

기계 망각 (Machine Unlearning, MU) 은 개인정보 보호 규정 및 사용자 요청을 준수하기 위해 훈련된 모델에서 특정 훈련 데이터의 영향을 제거하는 것을 목표로 합니다. 처음부터 다시 훈련하는 것이 금표준이지만, 계산 비용이 너무 많이 들어 비현실적입니다. 이에 따라 근사적 MU 방법들이 등장했는데, 그중 주류 접근법은 **선형 작업 산술 (linear task arithmetic)**에 의존합니다 (예: 원본 모델에서 망각 작업 벡터를 빼는 방식).

저자들은 기존 선형 접근법의 두 가지 중요한 한계를 지적합니다:

1. 가중치 얽힘 (Weight Entanglement): 현대 분류기는 고차원적이고 비선형적인 특성을 보입니다. 단순한 선형 업데이트는 망각 데이터의 영향을 배타적으로 국한시키지 못합니다. 대신 작업 벡터가 유지 데이터 (retaining data) 와 간섭하여 성공적인 선형 편집에 필요한 조건을 위반합니다.
2. 단일 모델의 한계: 기존 방법들은 일반적으로 단일 망각 모델을 생성합니다. 그러나 망각 세트 내의 서로 다른 데이터 포인트마다 망각을 위한 최적의 중단 지점은 다릅니다. 단일 모델은 반복적이고 비용이 많이 드는 훈련 없이 모든 포인트에 대해 최적의 망각을 동시에 달성할 수 없습니다.

본 논문은 두 가지 핵심 질문을 제기합니다:

• (Q1) 선형 업데이트 제약에서 벗어나 비선형 방식으로 MU 를 탐색할 수 있을까요?
• (Q2) 단일 모델이 아닌 효과적인 MU 모델들의 스펙트럼을 식별할 수 있을까요?

방법론: 모드 연결성 망각 (Mode Connectivity Unlearning, MCU)

저자들은 모드 연결성을 활용하여 매개변수 공간에서 비선형 망각 경로를 탐색하는 프레임워크인 **모드 연결성 망각 (MCU)**을 제안합니다.

1. 비선형 경로 구성

선형 보간 대신 MCU 는 두 끝단 모델 사이를 연결하는 **2 차 베지어 곡선 (quadratic Bézier curve)**을 사용하여 매끄러운 경로를 구성합니다:

• $\theta_o$ (원본 모델): 전체 데이터셋 $D_{train}$으로 훈련된 모델.
• $\theta_p$ (망각 전 모델): 망각 데이터 $D_f$의 영향을 제거하기 위해 기존 MU 방법 중 하나를 적용하여 얻은 모델. 이 모델은 망각을 향한 방향성 이동을 제공합니다.
• $\theta_c$ (제어 모델): 궤적을 형성하는 학습 가능한 매개변수.
• 경로 정의: 경로 $\phi_{\theta_c}(t)$는 다음과 같이 정의됩니다:
  $$\phi_{\theta_c}(t) = (1-t)^2\theta_o + 2(1-t)t\theta_c + t^2\theta_p$$
  여기서 $t \in [0, 1]$입니다. 이는 곡선을 따라 연속적인 망각 모델들의 스펙트럼 $\theta_u$를 생성합니다.

2. 최적화 목적 함수

이 프레임워크는 망각과 유지 성능 사이의 균형을 맞추기 위해 제어 모델 $\theta_c$를 최적화합니다. 손실 함수는 다음과 같습니다:
$$\mathcal{L}_{mcu} = \mathbb{E}_{t \sim U(0,1)}[\mathcal{L}(D_r; \phi_{\theta_c}(t)) - \beta \cdot \mathcal{L}(D_f; \phi_{\theta_c}(t))]$$
여기서 $\mathcal{L}$은 교차 엔트로피 손실, $D_r$은 유지 데이터, $\beta$는 망각 패널티 계수입니다.

3. 매개변수 마스크 전략

효율성을 높이기 위해 MCU 는 일부 매개변수만 업데이트하고 나머지에 대한 기울기 계산을 생략하는 매개변수 마스크를 도입합니다. 마스크 $m$은 다음과 같이 유도됩니다:

• 필터링 ($m_r$): 유지 데이터 $D_r$에 매우 큰 영향을 미치는 매개변수 (기울기 크기에 기반) 를 제외합니다.
• 보존 ($m_f$): 망각 데이터 $D_f$에 중요한 매개변수를 보존합니다.
• 최종 마스크: $m = m_r \ \& \ m_f$.
  이 전략은 실험에서 보고된 바와 같이 75.23% 의 속도 향상을 이루면서 효과성을 유지하며 계산 오버헤드를 크게 줄입니다.

4. 적응형 망각 패널티

경험적 하이퍼파라미터 튜닝의 필요성을 제거하기 위해 저자들은 적응형 $\beta$ 전략을 제안합니다. 계수 $\beta$는 관측된 정확도와 보정 목표 사이의 차이를 기반으로 각 배치마다 동적으로 조정됩니다:

• 망각 정확도가 이미 충분하거나 (또는 과도하게 망각된 경우), $\beta$는 0 으로 설정됩니다.
• 망각이 부족하지만 유지 성능이 안정적이라면, 약한 $\beta$(0.1) 가 적용됩니다.
• 그 외의 경우, 더 강력한 $\beta$(0.5) 가 사용됩니다.
  이를 통해 프레임워크는 수동 개입 없이 망각의 품질과 예측 성능 사이의 균형을 적응적으로 유지할 수 있습니다.

5. 모델 선택

단일 모델을 출력하는 방법과 달리, MCU 는 경로 상의 최적 망각 모델과 효과적인 망각 영역을 식별합니다. 최적 모델은 망각, 유지, 테스트 데이터셋 전반에 걸쳐 망각 모델의 성능과 재훈련 기준선 (RT) 사이의 평균 차이를 최소화하여 선택됩니다.

주요 기여

1. 비선형 관점: 본 논문은 선형 작업 산술에 내재된 가중치 얽힘 문제를 해결하기 위해 비선형 관점에서 MU 를 조사한 최초의 연구입니다.
2. 모델의 스펙트럼: 망각 경로를 탐색한다는 개념을 도입하여 단일 점이 아닌 모델들의 스펙트럼을 제공함으로써, 특정 필요에 따라 유틸리티 또는 망각 품질을 우선시할 수 있는 유연성을 제공합니다.
3. 플러그 앤 플레이 프레임워크: MCU 는 기존 MU 방법 (예: NegGrad+, SalUn) 과 원활하게 통합되도록 설계되어, 초기 망각 전 모델의 품질과 관계없이 일관되게 성능을 향상시킵니다.
4. 효율적인 마스킹: 제안된 매개변수 마스크 전략은 요소별 마스크와 유사한 망각 효과를 달성하면서도 마스크된 매개변수에 대한 기울기 계산을 완전히 생략하여 훈련 시간을 크게 단축합니다.

실험 결과

이 프레임워크는 다양한 아키텍처 (PreResNet, ViT, VGG) 를 사용하여 이미지 분류 작업 (CIFAR-10, ImageNet-100, Tiny-ImageNet) 에서 평가되었습니다.

• 성능: MCU 와 그 적응형 변형 (MCU$\beta$) 은 무작위 데이터 망각 및 클래스별 망각 시나리오 전반에 걸쳐 상위 두 가지 전체 성능을 일관되게 달성했습니다. ImageNet-100 의 클래스별 망각에서 MCU$\beta$는 재훈련 (RT) 기준선과 거의 동등한 성능을 보였습니다.
• 선형 방법과의 비교: 결과는 NegTV 와 같은 선형 방법보다 비선형 망각이 우월함을 강조했습니다. 선형 방법들은 과소 망각과 과다 망각 사이의 트레이드오프에 직면했으나, MCU 는 안정적인 균형을 유지했습니다.
• 강건성: MCU$\beta$는 다양한 망각 전 모델 (Gradient Ascent 와 같이 성능이 저하된 모델 포함) 과 다양한 비율의 유지 데이터 (유지 데이터가 10-30% 일 때도 잘 작동함) 에 걸쳐 강건성을 입증했습니다.
• 효율성: 매개변수 마스크 전략은 기준선 대비 실행 시간을 크게 단축했으며, 적응형 $\beta$ 전략은 하이퍼파라미터 검색의 필요성을 제거했습니다.

의의 및 주장

본 논문은 MCU 가 선형 업데이트의 제약을 넘어설 때 기계 망각에 대해 보다 효과적이고 유연한 해결책을 제공한다고 주장합니다. 연속적인 망각 모델의 스펙트럼을 밝혀냄으로써, 단일 모델이 모든 망각 포인트를 최적화할 수 없다는 근본적인 한계를 해결합니다.

저자들은 MCU 가 기존 MU 방법과 통합되어 효율성을 높일 수 있는 플러그 앤 플레이 프레임워크로 작용한다고 강조합니다. 경로 상의 서로 다른 지점을 선택할 수 있는 능력은 실무자들이 재훈련 비용 없이 진화하는 위험 평가 (예: 시간이 지남에 따라 더 민감해지는 데이터 포인트) 에 적응할 수 있게 합니다. 이 연구는 매개변수 공간에서 비선형 경로를 탐색하는 것이 가중치 얽힘을 극복하고 고품질 기계 망각을 달성하기 위한 실현 가능하고 필수적인 방향임을 시사합니다.