기술 요약: GROM (Gradient-Free Rapid One-Shot Machine Unlearning)

문제 정의

대규모 언어 모델(LLM)은 학습 코퍼스에서 민감하거나 개인적인, 또는 저작권이 있는 정보를 빈번하게 암기합니다. 머신 언러닝(Machine unlearning)은 이러한 표적화된 지식을 선택적으로 삭제하는 데 필요한 메커니즘입니다. 현재의 최첨단 방식들은 미세 조정(gradient ascent, 선호도 최적화 또는 증류 등)을 통한 반복적인 학습 시점의 언러닝에 의존하고 있으나, 이러한 방법들은 세 가지 결정적인 비효전성을 가집니다:

1. 계산 비용: LoRA와 같은 매개변수 효율적 기법을 사용하더라도, 경사 하강 기반의 최적화는 여러 에포크와 역전파를 필요로 하므로 비용이 많이 들고 느립니다.
2. 분석적 정식화의 부재: 이러한 방법들은 명시적인 폐쇄형 해(closed-form solution)를 갖지 못하며, 이로 인해 실무자들은 언러닝된 상태를 근사하기 위해 단계별 경사 하강법에 의존해야 합니다.
3. 피상적 망각: 최근 연구에 따르면, 반복적인 미세 조정은 표적화된 지식을 낮은 크기의 가중치 조정 속에 숨겨두는 것에 불과한 경우가 많습니다. 결과적으로, 언러닝된 모델을 양자화(예: 4비트)하면 삭제되었어야 할 콘텐츠가 상당 부분 복구될 수 있습니다.

방법론

저자들은 반복적인 최적화를 버리고 직접적이고 정확한 분석적 해를 채택하는 새로운 원샷(one-shot) 언러닝 접근 방식인 GROM을 제안합니다. 이 방법은 언러닝을 **릿지 규제 최소제곱 최적화 문제(ridge-regularized least-squares optimization problem)**로 프레임화합니다.

핵심 정식화

가중치 행렬 $W \in \mathbb{R}^{m \times n}$ (구체적으로 MLP 다운 프로젝션 또는 LM 헤드)가 주어졌을 때, GROM은 단일 가산 업데이트 $P$를 찾아 $W \leftarrow W + P$를 수행하고자 합니다. 이 목적은 다음을 동시에 달야합니다:

1. 유지 행동 보존 (Preserve Retain Behavior): 유지 데이터($X_r$)에 대한 출력이 변하지 않도록 보장합니다 ($PX_r \approx 0$).
2. 망각 출력 유도 (Steer Forget Outputs): 망각 데이터($X_f$)에 대한 출력을 암기된 콘텐츠를 억제하는 타겟 $D$ 방향으로 이동시킵니다 ($(W+P)X_f \approx WX_f + D$).

이는 다음의 목적 함수를 최소화하는 것으로 공식화됩니다:
$$\min_{P} \frac{w_r}{r} \|PX_r\|_F^2 + \frac{w_f}{s} \|PX_f - D\|_F^2 + \mu \|P\|_F^2$$
여기서 $w_r, w_f$는 유지 보존과 망각 유도를 위한 가중치이며, $\mu$는 릿지 규제 항입니다.

폐쇄형 해 (Closed-Form Solution)

이 문제의 옵티마이저는 고유하며, 반복적인 근사를 완전히 피하여 폐쇄형으로 유도됩니다:
$$P^* = \frac{w_f}{s} D X_f^\top A^{-1}$$
여기서 $A = \frac{w_r}{r} X_r X_r^\top + \frac{w_f}{s} X_f X_f^\top + \mu I_n$ 입니다.

주요 구성 요소

• 경사 미사용 (Gradient-Free): 업데이트는 망각 및 유지 데이터를 통한 순전파(forward pass)만을 사용하여 "키(keys)"(W의 입력값)를 수집함으로써 계산됩니다. 역전파나 수렴을 위한 반복 작업이 필요하지 않습니다.
• 타겟 설계 ($D$):
  • 토큰 억제 (Token Suppression): 생성 측정 벤치마크(TOFU, MUSE)의 경우, $D$는 특정 골드 토큰으로부터 출력을 멀어지게 유도합니다. 공유 어휘에 대한 효용을 보존하기 위해 특정성 가중치 $\alpha_j$가 적용되어 망각 세트의 특징적인 토큰만을 억제합니다.
  • 표현 왜곡 (Representation Corruption): 다지선다 정확도를 측정하는 벤치마크(WMDP)의 경우, $D$는 토큰 로짓이 덜 중요하므로 고정된 무작위 방향으로 망각 출력을 유도하여 표현을 왜곡합니다.
• 레이어 선택: GROM은 로짓 렌즈 속성 점수(logit-lens attribution score, $S_\ell = F_\ell - R_\ell$)를 사용하여 망각 특이적 토큰 로짓에 직접 기여하는 레이어를 식별합니다. 이를 통해 평균 점수가 가장 높은 후기 레이어의 연속적인 밴드를 선택합니다.
• 정확한 감사 가능성 (Exact Auditability): $P^*$는 데이터의 명시적인 함수이므로, 저자들은 셔먼-모리슨-우드버리 항등식(Sherman-Morrison-Woodbury identity)을 사용하여 최종 편집에 대한 개별 망각 예시의 정확한 영향력을 계산하는 폐쇄형 방법을 도출하였으며, 이를 통해 삭제 요청에 대한 정밀한 감사가 가능합니다.

주요 기여

1. 폐쇄형 언러닝 정식화: 본 논문은 머신 언러닝을 반복적인 미세 조정을 통한 오버헤드와 불안정성을 우회하는 정확한 분석적 해를 가진 최적화 문제로 수학적으로 프레임화했습니다.
2. 경사 미사용 효율성: GROM은 경사 기반의 순전파만을 사용하여 최적의 가산 업데이트를 계산하며, 이는 경사 기반 방식(예: 수 분)보다 최대 두 자릿수 더 빠릅니다(초 단위).
3. 최첨단 트레이드오프: GROM은 다섯 가지 벤치마크(TOFU-5%, TOFU-10%, MUSE-Books, MUSE-News, WMDP)에서 최상의 파레토-최적(Pareto-best) 망각-효용 트레이드오프를 달성합니다.
4. 양자화 강건성: GROM의 폐쇄형 편집은 대상 콘텐츠를 단순히 숨기는 것이 아니라 가중치에서 직접 제거합니다. 따라서 다른 방법들이 "잊혀진" 콘텐츠를 복구해내는 양자화 공격에 대해 강한 내성을 보입니다.

실험 결과

저자들은 GA, GradDiff, NPO, SimNPO와 같은 경사 기반 방법과 IDKDPO, AltPO와 같은 선호도 기반 방법, 그리고 ROME, MEMIT, AlphaEdit와 같은 locate-then-edit 에디터를 포함한 광범위한 베이스라인과 GROM을 비교 평가했습니다.

• 속도: GROM은 업데이트를 초 단위(예: NVIDIA H100에서 0.2~1.8분)로 적용하는 반면, 경사 기반 베이스라인은 2.4분에서 62.5분이 소요됩니다. 더 큰 코퍼스(MUSE Books)의 경우, GROM은 SimNPO보다 약 180배 더 빠릅니다.
• 성능:
  • TOFU: GROM은 5% 및 10% 분할 모두에서 가장 높은 최종 점수(Final Score)와 모델 효용(Model Utility, MU)을 달성하며, 다른 방법들의 실패 모드인 "과잉 망각" 또는 "미흡한 망각"을 피합니다.
  • MUSE: GROM은 News 및 Books 데이터셋 모두에서 최고의 최종 점수를 기록했습니다. 결정적으로, MUSE Books에서 베리테임(verbatim) 암기를 거의 제거하면서도 가장 높은 유지 효용을 보존했습니다.
  • WMDP: GROM은 위험한 지식 억제와 일반 능력(MMLU) 보존 사이의 균형을 맞춤으로써 베스트 최종 점수를 달성하였으며, 효용을 희생하며 억제를 추구하는 베이스라인들을 능가했습니다.
  • ZsRE: ZeroUnlearn의 팩트 편집 하네스에서 평가했을 때, GROM은 일반화 성능과 특이성을 유지하면서 튜닝된 locate-then-edit 에디터들보다 뛰어난 효능을 보였습니다.
• 양자화 강건성: 4비트 양자화 테스트에서 GROM은 골드 재학습 모델과 유사하게 낮은 망각 암기 수준을 유지합니다. 반면, SimNPO와 같은 강력한 경사 기반 베이스라인은 암기된 콘텐츠(예: 베리테임 재생)가 거의 제로에서 원래 수준으로 급격히 회복되는 모습을 보였습니다.

의의 및 주장

본 논문은 GROM이 반복적인 최적화 기반의 방법론을 직접적인 분석적 해로 대체함으로써 머신 언러닝의 근본적인 변화를 나타낸다고 주장합니다. 저자들은 이 접근 방식이 다음과 같은 이점을 제공한다고 강조합니다:

• 효율성 병목 해결: 제한된 하드웨어에서 학습 기반 접근 방식이 불가능한 대규모 모델(7~8B 파라미터)에 대한 언러닝을 가능하게 합니다.
• 진정한 삭제 보장: 콘텐츠를 마스킹하는 대신 가중치에서 제거함으로써, GROM은 양자화를 통한 복구에 대해 더 강력한 보증을 제공합니다.
• 감사 가능성 제공: 폐쇄형 특성 덕분에 개별 데이터 포인트의 영향력을 정확하게 계산할 수 있어, 데이터 삭제 요청에 대한 책임성을 확보할 수 있습니다.

저자들은 GROM이 반복적인 최적화 기반 방법의 성능을 달야하고 능가하는 최초의 원샷 방법론이라고 위치시키며, 이는 전통적인 미세 조정이 실질적으로 불가능한 시나리오에서 효율적인 언러닝을 위한 길을 열어줄 것임을 시사합니다.