기술 요약: 마진 자기 교정(MASC)을 통한 대규모 고속 언러닝(Unlearning)

문제 정의

대규모 언어 모델(LLM)은 개인 정보 및 저작권이 있는 콘텐츠를 포함한 민감한 학습 데이터를 기억하는 경향이 있으며, 이는 심각한 안전 및 프라이버시 위험을 초래합니다. "기계 언러닝(Machine Unlearning)"이 특정 학습 사례를 본 적이 없는 것처럼 모델의 동작을 업데이트하는 것을 목표로 하는 반면, 기존의 근사적 언러닝 방법들은 두 가지 주요한 확장성 한계에 직면해 있습니다:

1. 비효율적인 학습 예산: 현재의 방법들(예: Gradient Ascent, NPO)은 일반적으로 고정된, 미리 정의된 수의 에포크(epoch) 동안 실행됩니다. 이는 종종 원하는 망각-유지(forget–retain) 트레이드오프를 넘어 과하게 학습되거나, 조기에 중단되어 실무자가 저장된 체크포인트 중에서 모델을 사후적으로 선택해야 하는 상황을 초래합니다.
2. 비용이 많이 드는 모델 선택: 최적의 체크포인트를 선택하려면 검증 데이터에 대한 반복적인 다운스트림 평가가 필요하며, 이는 상당한 저장 공간 및 계산 오버헤드를 발생시킵니다. 또한, 이러한 방법들은 외부 메트릭 없이 최적의 트레이드오프를 식별할 수 있는 내재적인 온라인 정지 규칙(online stopping rule)이 부족합니다.

또한, 모델 규모가 언러닝 효능에 미치는 영향은 아직 충분히 탐구되지 않았습니다. 정보를 더 강하게 내재화할 수 있는 더 큰 모델이 작은 모델과 비교하여 언러닝 절차에 다르게 반응하는지는 불분명합니다.

방법론: 마진 자기 교정 (MASC)

저자들은 고정된 예산 기반 학습을 적응형 온라인 정지 규칙으로 대체하는 효율적인 언러닝 방법인 MASC를 소개합니다. MASC는 정확한 시퀀스 재현을 위해서는 모델이 많은 위치에서 진정한 다음 토큰(true next token)에 높은 확률을 할당해야 한다는 원리에 기반하여 작동합니다. MASC는 전역적인 가능성(likelihood) 최소화 대신, **토큰 수준의 지배 조건(token-level dominance condition)**을 강제합니다.

핵심 메커니즘

1. 제한된 토큰 비교: 위치 $t$에서의 망각 시퀀스 $(x, y)$에 대해, MASC는 모델의 상위-$k$ 비대상 대안 토큰 집합 $S_{\theta,k}(c_t)$를 식별합니다.
2. 제한된 마진: MASC는 타겟 토큰 $y_t$와 상위-$k$ 대안들의 로그-합-지수(log-sum-exp) 집합 간의 로짓 격차로 정의되는 제한된 마진 $m^{(k,\beta)}_\theta(x, y, t)$를 계산합니다:
   $$m^{(k,\beta)}_\theta(x, y, t) = \beta z_\theta(y_t | c_t) - \log \sum_{v \in S_{\theta,k}(c_t)} \exp(\beta z_\theta(v | c_t))$$
   이 마진은 모델이 대안적인 토큰들보다 망각 대상 토큰을 얼마나 강력하게 선호하는지를 측정합니다.
3. 자기 교정 손실(Self-Correction Loss): MASC는 이 마진에 힌지 함수(hinge function)를 적용한 대리 손실(surrogate loss)을 최소화합니다. 이 손실은 마진이 임계값 $\tau_\rho$를 초과할 때, 즉 타겟 토큰이 여전히 대안들보다 우세할 때만 활성화됩니다. 만약 마진이 이미 작다면(즉, 토큰이 억제되었다면), 그래디언트는 소멸합니다.
4. 온라인 정지 규칙: 알고리즘은 소량의 홀드아웃 망각 데이터 세트($D_{val}$)에 대한 위반율 $\hat{V}_\rho$를 모니터링합니다. 평균 위반율이 허용 오차 $\alpha$ 아래로 떨어지는 첫 번째 단계에서 학습이 중단됩니다. 이는 다운스트림 체크포인트 평가를 위한 불필요한 과정을 제거합니다.

최적화 목적 함수

이 방법은 망각 데이터에 대한 MASC 망각 손실과 유지 데이터에 대한 리텐(retain) 정규화 항(원래 모델로부터의 KL 발산)을 결합한 라그랑주 목적 함수를 최소화합니다:
$$\min_\theta \mathbb{E}_{(x,y)\sim D_{ret}} [\text{KL}(\pi_{\theta_0} \parallel \pi_\theta)] + \lambda \mathbb{E}_{(x,y)\sim D_{fg}} [\text{HingeLoss}(m^{(k,\beta)}_\theta)]$$
단, 망각 세트에 대한 위반율이 $\le \alpha$라는 제약 조건을 따릅니다.

주요 기여

1. MASC 알고리즘: 타겟 토큰이 합산된 상위-$k$ 대안들보다 여전히 유의미하게 높은 확률을 가질 때만 타겟 토큰을 억제하는 새로운 언러닝 목적 함수를 제공합니다. 이는 정확한 재현(exact reproduction)에 대한 이론적 상한을 제공합니다 (Proposition 1).
2. 적응형 정지: MASC는 학습 중에 최적화되는 동일한 마진 조건을 기반으로 내재적인 정지 규칙을 도입합니다. 이를 통해 모델이 망각 조건이 충족되는 즉시 학습을 멈출 수 있게 하여, 불필요한 계산과 다운스트림 평가를 피할 수 있습니다.
3. 스케일링 분석: 저자들은 TOFU 데이터셋을 사용하여 Qwen2.5 제품군(0.5B ~ 7B 파라미터)에 대한 체계적인 연구를 제시합니다. 이 연구는 정확한 암기(축자적 재현)와 지식 암기(패러프레이즈 하에서의 회복)를 구분합니다.
   • 학습 단계: 더 큰 모델은 패러프레이즈 기반의 회복보다 정확한 암기를 더 강력하게 증폭시킵니다.
   • 언러닝 단계: 언러닝 후, 잔류 암기 지표는 규모에 관계없이 거의 불변(scale-invariant)하는 반면, 유지 유틸리티(retain utility)는 모델 크기에 따라 향상됩니다. 이는 규모가 트레이드오프의 망각 측면을 악화시키기보다는 주로 유틸리티 측면을 지원함을 시사합니다.

실험 결과

저자들은 MASC를 Gradient Ascent (GA), GradDiff, NPO, NPO+KLR, RMU, SimNPO를 포함한 베이스라인들과 함께 TOFU, MUSE News, MUSE Books에서 평가했습니다.

• 효율성: MASC는 기존 베이스라인들의 아주 적은 벽시계 시간(wall-clock time)만으로 경쟁력 있는 망각-유지 트레이드오프를 달amat합니다. 예를 들어, TOFU에서 MASC는 약 88초 만에 완료된 반면, GradDiff와 NPO+KLR은 900초 이상이 소요되었습니다.
• 성능:
  • TOFU: MASC는 경쟁력 있는 1-Prob 점수를 유지하면서도 최고의 1-ROUGE-L, Truth Ratio, 그리고 retain MU 점수를 달성했습니다.
  • MUSE Books: MASC는 현저히 낮은 계산 비용으로 붕괴(collapse)되지 않은 가장 강력한 베이스라인들에 근접하는 유지 유틸리티를 보존했습니다.
  • MUSE News: MASC는 대부분의 베이스라인보다 망각 세트에 대한 지식 암기를 낮게 유지했으나, 유지 유틸리티는 가끔 약간 낮았습니다.
• 강건성: 실험 결과 MASC는 4-bit 양자화 후에도 효과적으로 작동하며, NPO 및 SimNPO와 같은 다른 방법들이 상당한 성능 저하를 겪는 것과 달리 낮은 망각 세트 암기도를 유지함을 보여주었습니다.
• 스케일링: 연구를 통해 큰 모델이 학습 중에 더 많이 암기하지만, 언러닝 과정이 망각 측면의 지표를 규모에 관계없이 효과적으로 정규화하며, 더 큰 모델이 유지 세트에서 더 높은 유틸리티를 유지한다는 점을 확인했습니다.

의의 및 주장

본 논문은 MASC가 언러닝을 고정된 길이의 학습 패러다임에서 **타겟팅된 조기 정지(targeted early stopping)**로 전환시킨다고 주장합니다. 손실 함수, 제약 조건, 그리고 정지 기준을 일치시킴으로써, MASC는 고정된 예산 방식보다 훨씬 빠르면서도 망각-유지 트레이드오프를 희생하지 않는 자기 종료형 절차를 제공합니다.

저자들은 MASC가 경험적으로 패러프레이즈 수준의 망각 지표를 개선하지만, 이론적 상한은 현재 정확한 재현만을 제어한다는 점을 겸허히 언급했습니다. 이들은 의미론적 망골(semantic forgetting, 표면적 재구성에도 불변하는)을 위한 목적 함수를 설계하는 것이 향후 연구 과제로 남아 있다고 제안합니다. 이 논문은 MASC가 대규모 모델을 위한 실용적이고 확장 가능한 언러닝 솔루션을 제공하며, 현재 접근 방식들이 가진 계산적 비효율성과 온라인 선택 메커니즘의 부재 문제를 해결한다고 강조합니다.