기술 요약: Temper-Then-Tilt: Tempering과 Classifier Guidance를 통한 생성 모델을 위한 원칙적 언러닝(Unlearning)

1. 문제 정의

본 논문은 대규모 생성 모델에서의 기계 언러닝(machine unlearning) 문제를 다룹니다. 구체적으로는 전체 데이터셋 $D = D_r \sqcup D_f$ (여기서 $D_r$은 유지 세트(retain set), $D_f$는 망각 세트(forget set))로 학습된 모델으로부터, 처음부터 다시 학습하지 않고도 $D_f$의 영향을 제거하는 과업을 다룹니다.

저자들은 언러닝을 파라미터 업데이트 문제가 아닌, 분포 교정(distribution correction) 과업으로 정의합니다. 이들은 원래의 모델이 $D_r$과 $D_f$의 혼합물인 타겟 유지 분포 $p_r$과 망각 분포 $p_f$에 대한 실제 ground-truth 분포 $p$를 근사한다고 가정합니다. 목표는 $p$, $D_r$, $D_f$에 접근할 수 있는 상태에서 $p_r$로부터 샘플링하는 법을 배우는 것입니다.

핵심적인 도전 과제는 기존의 분류기 가이드 언러닝(classifier-guided unlearning)(유지 데이터와 망각 데이터를 구분하는 분류기를 사용하여 기본 분포 $p$를 기울이는 방식)이 망각 분포 $p_f$가 매우 집중되어 있을 때(날카롭고 높은 신뢰도의 스파이크 형태일 때) 실패한다는 점입니다. 유한 샘플 환경에서 이러한 설정은 분류기의 오차가 발생하더라도, $p_f$의 날카로운 모드(modes)가 분류기만으로는 충분히 억제되지 않기 때문에 심각한 정보 누출로 이어질 수 있습니다.

2. 방법론: T3-Unlearning

저자들은 베이스 모델을 동결(freeze)하고 경량화된 재가중치(reweighting) 전략을 적용하는 2단계 추론 절차인 **Temper-Then-Tilt Unlearning (T3-Unlearning)**을 제안합니다.

1. Tempering (템퍼링): 먼저 기본 분포 $p$를 $1/T$ 승($T \geq 1$)으로 올려 "템퍼링"합니다. 이 연산은 분포의 높은 신뢰도 스파이크를 평탄하게 만들어, 이후 단계에서 필요한 교정의 크기를 줄여줍니다.
   $$p^{(T)}(z) \propto p(z)^{1/T}$$
2. Tilting (틸팅): 유지 샘플($S=1$)과 망각 샘플($S=0$)을 구분하도록 학습된 경량 분류기 $\hat{f}$를 사용하여 템퍼링된 분포를 기울입니다. 최종 추정량은 다음과 같습니다:
   $$\hat{p}_r^{(T)}(z) \propto p(z)^{1/T} \cdot \hat{f}(z)$$

LLM 구현:
LLM(대규모 언어 모델)의 경우, 본 방법은 사전 학습된 모델 파라미터 $\theta^*$를 동결합니다. 그 위에 포집된 은닉 상태(pooled hidden states)를 기반으로 $P(S=1 | x, y)$를 예측하는 작고 낮은 순위(low-rank)의 선형 헤드를 학습시킵니다.

• 학습: 분류기는 유지/망각 레이블에 대해 교차 엔트로피 손실(cross-entropy loss)을 사용하여 학습됩니다. 베이스 모델의 반복적인 순방향 패스(forward pass)를 피하기 위해 은닉 상태를 캐싱합니다.
• 추론: 다음 토큰 분포는 다음과 같이 샘플링됩니다:
  $$\hat{p}_r^{(T)}(y | x) = \text{softmax}\left( \frac{\ln p_{\theta^*}(y | x)}{T} + \ln \hat{f}(x, y) \right)$$

3. 주요 기여

이론적 분석

본 논문은 대리 분류기(surrogate classifier)의 과잉 위험(excess risk)($\delta$)과 두 가지 지표를 통해 정의되는 언러닝 에러 사이의 관계를 제공하는 유한 샘플 보증(finite-sample guarantees)을 제공합니다.

• 유지 에러 (Retain Error, $E_r$): $KL(p_r \parallel \hat{p}_r)$로 측정되며, 유지 분포에 대한 충실도를 나타냅니다.
• 망각 에러 (Forget Error, $E_f$): $\|p_r - \hat{p}_r\|_{1, p_f}$로 측정되며, 망각 분포에 의해 강조된 영역에서의 정보 누출을 나타냅니다.

주요 이론적 결과:

1. 표준 틸팅의 한한계: 템퍼링되지 않은 추정량($T=1$)의 경우, 망각 에러는 $O(\|p_f\|_\infty \sqrt{\delta})$에 비례합니다. 저자들은 이 결과가 피크 밀도 $\|p_f\|_\infty$에 대한 의존성을 갖는다는 것을 증명하며(Theorem 3.5), 이는 표준 방식이 집중된 망각 세트에 대해 실패함을 의미합니다.
2. 템퍼링의 이점: T3-Unlearning 추정량은 $O(\|p_f\|_\infty^{1/T} \cdot \delta^{1/2k})$로 스케일링되는 망각 에러 경계치를 달성합니다. $T$를 증가시킴으로써 $p_f$의 날카로움에 대한 의존성을 하위 선형(sublinear)으로 만들어, 집중된 망각 분포에 대한 강건성을 크게 향ло 개선합니다.
3. 트레이드오프: 템퍼링은 $p_r$의 엔트로피가 감소함에 따라 증가하는 바이어스(bias) 항을 도입합니다. 본 방법은 원칙적인 트레이드오프를 설정합니다: 즉, $T$는 $\|p_f\|_\infty$를 길들이기에 충분히 커야 하지만, 베이스 분포의 왜곡이 얻을 수 있는 이득을 압도할 정도로 커져서는 안 됩니다.

실험 결과

Llama 3.1 8B를 사용하여 TOFU 벤치마크에서 GradAscent, GradDiff, WGA 및 다양한 NPO/SimNPO 변형들과 같은 베이스라인들과 비교하여 실험을 수행했습니다.

• 망각 품질 (Forget Quality, FQ): T3-Unlearning은 모든 베이스라인을 일관되게 능가하여, 가장 높은 FQ 점수(5% 망각 시 0.914, 10% 망각 시 0.671)를 기록했습니다. 이는 재학습된 모델과 통계적으로 구별 불가능할 정도의 우수한 성능을 보여줍니다.
• 생성 유틸리티 (Generative Utility, MU-ROUGE): 일부 베이스라인이 높은 전반적 모델 유틸리티(MU)를 달성했지만, T3-Unlearning은 가장 높은 MU-ROUGE(ROUGE-L 점수의 조화 평균)를 달성하여, 단순히 확률을 억제하는 방식보다 생성 품질을 더 잘 보존함을 입증했습니다.
• 효율성:
  • 파라미터: T3-Unlearning은 전체 파라미터의 단 0.03%(선형 헤드 $h=20$)만을 학습합니다. 이는 풀 파인튜닝(full fine-tuning)이나 LoRA 기반 방식과 대조적입니다.
  • 실행 시간: 은닉 상태를 캐싱함으로써, "전처리된(preprocessed)" 버전의 T3-Unlearning은 실행 시간을 초 단위로 단축했습니다 (예: 5% 분할 시 약 5초). 이는 파인튜닝 베이스라인들의 수백 초와 대조됩니다.

4. 의의 및 주장

본 논문은 T3-Unlearning이 기존의 분류기 가이드 접근 방식의 통계적 한계를 극복하는 원칙적인 프레임워크를 제공한다고 주장합니다.

• 이론적 필연성: 저자들은 템퍼링이 단순한 휴리스틱이 아니라, 집중된 분포를 성공적으로 언러닝하기 위한 필요 조건이라고 주장합니다. 템퍼링 없이는 분류기의 정확도와 상관없이 망각 세트의 날카로움에 의해 언러닝 에러가 근본적으로 제한됩니다.
• 실용적 효율성: 이 방법은 언러닝을 베이스 모델의 고차원 파라미터 공간으로부터 분리하여, 재학습이나 풀 파인튜닝의 계산 비용 없이 "빠르고 메모리 효율적인 언러닝"을 가능하게 합니다.
• 강건성: 이 접근 방식은 모델이 암기한 특정 고신뢰도 정보(예: 개인정보 또는 저작권 데이터)가 포함된 시나리오에서 발생하는 기존 방식의 실패 모드를 직접적으로 해결하는 증명 가능한 유한 샘플 보증을 제공합니다.

저자들은 본 방법이 지도 학습 기반 미세 조정(supervised fine-tuning)에서 흔히 나타나는 "의도치 않은 성능 저하"를 피하며, 현대적 생성 모델에서 다루기 힘든 파라미터 복구 방식에 대한 이론적으로 근거 있는 대안을 제공한다고 강조합니다.