OFMU: Optimization-Driven Framework for Machine Unlearning

기술 요약: OFMU: 최적화 기반 머신 언러닝 프레임워크

문제 정의
대규모 코퍼스로 학습된 거대 언어 모델(LLM) 및 기타 딥러닝 모델은 종종 민감하거나 저작권이 있는, 혹은 유해한 정보를 포함하고 있습니다. GDPR과 같은 규제는 모델을 처음부터 다시 학습시키지 않고도 특정 데이터(삭제 집합, $D_f$)의 영향을 제거하면서 나머지 데이터(보존 집합, $D_r$)에 대한 성능은 유지해야 하는 '잊힐 권리'를 요구합니다.

기존의 모델 기반 언러닝 방법들은 일반적으로 이를 고정된 가중치를 가진 스칼라화된 다목적 최적화 문제로 정형화합니다. 본 논문은 이러한 접근 방식에서 세 가지 결정적인 한계를 식별했습니다:

1. 정적 가중치(Static Weighting): 고정된 가중치는 언러닝의 동적인 특성에 적응하지 못합니다. 즉, 초기 단계에서는 삭제를 우선시해야 하고 후기 단계에서는 유틸리티 복원에 집중해야 합니다.
2. 불안정성(Instability): 스칼라화는 학습 역학을 불안정하게 만듭니다. 삭제 목적 함수가 지배적이면 모델의 유틸리티가 붕괴되고, 보존 목적 함수가 지배적이면 삭제가 불완전하게 남습니다.
3. 그래디언트 얽힘(Gradient Entanglement): "삭제하기 어려운" 샘플의 경우, 삭제와 보존을 위한 그래디언트가 강하게 결합되어 있습니다. 지식을 제거하기 위한 공격적인 업데이트는 종-종 보존된 지식에 과도한 부수적 피해를 입힙니다.

방법론: OFMU
저자들은 목적 함수를 계층적 구조로 명시적으로 분리하는 페널티 기반 이중 레벨 최적화 프레임워크인 OFMU(Optimization-Driven Framework for Machine Unlearning)를 제안합니다. 핵심 철학은 삭제는 타협할 수 없는 일차적 목표이며, 유틸리티 보존은 성공적인 삭제를 조건으로 하는 이차적 목표라는 것입니다.

1. 이중 레벨 정형화 (Bi-Level Formulation):

   • 내부 극대화 (Forgetting): 내부 문제는 삭제 집합에 대한 손실을 최대화하는 동시에, 삭제 그래디언트와 보존 그래디언트 사이의 유사성을 최소화하는 파라미터 $\theta^*$를 찾습니다. 이는 $\Phi(\theta) = L_f(\theta) - \beta \cdot \text{Sim}(\nabla L_f, \nabla L_r)$로 정의되며, 여기서 $\beta$는 그래디언트 탈상관화 페널티를 조절합니다.
   • 외부 최소화 (Utility): 외부 문제는 파라미터가 내부 목적 함수의 정점($\nabla \Phi(\theta) = 0$)이라는 제약 조건 하에서 보존 집합에 대한 손실 $L_r(\theta)$를 최소화합니다.

2. 페널티 기반 재정형화 (Penalty-Based Reformulation):
   반복적인 내부 극대화와 고차 미분이 필요한 이중 레벨 문제를 직접 푸는 것은 계산적으로 매우 부담이 큽니다. OFMU는 이를 페널티 항을 사용하여 단일 레벨 무제약 문제로 재정형화합니다:
   $$F(\theta) = L_r(\theta) + \rho \|\nabla \Phi(\theta)\|^2$$
   여기서 $\rho$는 내부 목적 함수의 정체성(stationarity)을 강제하는 페널티 파라미터입니다. $\rho \to \infty$가 됨에 따라, $F(\theta)$의 최소값은 원래의 이중 레벨 제약 조건을 만족하게 됩니다.

3. 이중 루프 알고리즘 (Two-Loop Algorithm):
   확장성을 보장하기 위해 저자들은 다음과 같은 이중 루프 알고리즘을 개발했습니다:

   • 내부 루프 (Inner Loop): 삭제를 최대화하고 그래디언트를 탈상관화하기 위해 $\Phi(\theta)$에 대해 $T$ 단계의 그래디언트 상승(gradient ascent)을 수행합니다.
   • 외부 루프 (Outer Loop): 유틸리티를 복구하기 위해 $F(\theta)$에 대해 그래디언트 하강(gradient descent) 단계를 수행합니다. 이 단계는 페널티 항 $\|\nabla \Phi(\theta)\|^2$를 처리하기 위해 자동 미분을 통한 헤시안-벡터 곱(Hessian-vector product)을 계산합니다.
   • 페널티 스케줄 (Penalty Schedule): 내부 정체성 조건을 점진적으로 강화하기 위해 반복에 따라 페널티 파라미터 $\rho$를 증가시킵니다.

주요 기여

• 새로운 프레임워크: 삭제를 유틸리티 보존보다 우선시하여 언러닝 작업의 내재적 비대칭성을 포착하는 이중 레벨 프레임워크 OFMU를 도입했습니다.
• 확장 가능한 알고리즘: 전체 내부 수렴(full inner convergence)과 같은 계산적 병목 현상을 피하면서도 수렴성이 증명된 이중 루프 알고리즘을 개발했습니다.
• 유사성 인지 페널티 (Similarity-Aware Penalty): 업데이트 중 발생하는 파괴적 간섭을 완화하기 위해 삭제와 보존 그래디언트를 동적으로 탈상관화하는 페널티 항을 설계했습니다.
• 이론적 분석: 알고리즘이 볼록(convex) 및 비볼록(non-convex) 설정 모두에서 $\epsilon$-정체점(stationary point)으로 수렴함을 보여주는 엄격한 수렴 분석과 구체적인 하한(suboptimality) 바운드를 제시했습니다.

실험 결과
저자들은 언어 및 비전 벤치마크에서 OFMU를 평가했습니다:

• 언어 (TOFU 벤치마크): LLaMA-2-7B 및 LLaMA-3.2-1B를 사용하여 데이터셋의 1%, 5%, 10%를 삭제하는 테스트를 수행했습니다.
  • 성능: OFMU는 삭제 품질(FQ), 모델 유틸리티(MU), 삭제 진실 비율(FTR) 사이에서 우수한 균형을 달 achievement했습니다.
  • 비교: 높은 FQ를 달성하지만 유틸리티가 붕괴되는(MU $\approx$ 0) GA 및 GradDiff와 달리, OFMU는 강력한 삭제를 강제하면서도 높은 유틸리티(예: 5% 삭제 시 LLaMA-2에서 MU $\approx$ 0.65)를 유지했습니다. 또한 종합적인 정규화 점수에서 NPO 및 RMU와 같은 베이스라인을 능가했습니다.
• 비전 (CIFAR-10): 클래스별 및 랜덤 삭제 설정 하에서 테스트되었습니다.
  • 클래스별 (Class-wise): OFMU는 81.51%의 언러닝 정확도(UA)와 93.51%의 보존 정확도(RA)를 달성했습니다. 이는 더 높은 UA를 가졌으나 계산 비용이 많이 드는 IU(Influence Unlearning)보다 더 나은 트레이드오프를 제공합니다.
  • 랜덤 (Random): 도전적인 랜덤 삭제 시나리오(데이터 10%)에서, OFMU는 7.71%의 UA를 기록하여 재학습(6.79%)을 약간 상회하면서도 멤버십 추론 공격(MIA)에 대한 견고성을 유지했습니다.

의의 및 주장
본 논문은 OFMU가 언러닝 작업의 계층적 구조를 인식함으로써 기존 스칼라화된 언러닝 방법의 근본적인 불안정성을 해결한다고 주장합니다. 삭제를 유틸리티 최적화 전의 일차적 제약으로 강제함으로써, OFMU는 언어 및 비전 작업 모두에서 최첨단(state-of-the-art) 수준의 트레이드오프를 달성합니다. 저자들은 자사의 접근 방식이 다음과 같은 특징을 제공한다고 단언합니다:

• 안정성: 다른 방법들이 실패하는 삭제하기 어려운 샘로에서도 일관된 성능을 제공합니다.
• 견고성: 기존 베이스라인들에 비해 멤버십 추론 공격에 대해 더 강력한 회복력을 가집니다.
• 이론적 근거: 휴리스틱한 가중치 스킴을 넘어 수렴 보증을 갖춘 원칙적인 접근 방식을 제공합니다.

결론적으로, OFMU는 중요한 진전이지만, 향후 연구에서는 지속적 언러닝(continual unlearning) 시나리오, 적응형 페널티 스케줄, 그리고 더 큰 파운데이션 모델 및 멀티모달 데이터에 대한 적용을 탐구할 수 있을 것입니다.