Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 방대한 인터넷 코퍼스로 학습되어 민감한 개인정보나 유해한 지식 (생물무기, 사이버 공격 등) 을 포함할 수 있습니다. 이를 제거하기 위해 '기계적 망각 (Machine Unlearning, MU)'이 제안되었으나, 기존 방법들은 망각 과정에서 모델의 일반적 성능이 급격히 저하되는 망각 - 유지 (Unlearning-Retention) 트레이드오프 문제를 겪고 있습니다.
• 기존 방법의 한계:
  • 단순한 경사 상승 (Gradient Ascent, GA) 은 망각을 강제하지만 과망각 (Over-forgetting) 을 유발하여 모델 성능을 붕괴시킵니다.
  • NPO, SimNPO 등의 방법은 GA 를 정규화하여 붕괴를 막으려 하지만, 망각과 유지 (Retain) 간의 경쟁적 경사 (Gradient Conflict) 를 완전히 해결하지 못합니다.
  • 기존 다중 태스크 학습 (MTL) 기법들은 태스크 간 균형을 추구하지만, LLM 망각에서는 유지 (Retention) 가 최우선이고 망각은 '해가 되지 않는 범위 내에서' 수행되어야 하는 비대칭적 (Asymmetric) 관계라는 점을 간과했습니다.

2. 제안 방법론 (Methodology)

저자들은 LLM 망각을 비대칭적 2 태스크 학습 문제로 재정의했습니다. 여기서 유지 (Retention) 가 주된 목표 (Primary Objective) 이고, 망각 (Forgetting) 은 보조 목표 (Auxiliary Objective) 입니다. 이 관점에서 경사 (Gradient) 합성 기법을 제안했습니다.

2.1 프레임워크 개요

알고리즘 1 에서와 같이, 망각 세트 ($D_f$) 와 유지 세트 ($D_r$) 에서 각각 경사를 추출한 후, 충돌 인식 (Conflict-aware) 합성 모듈을 통해 최종 업데이트 방향을 결정합니다.

2.2 제안된 경사 합성 방법

두 가지 방법을 제안하여 경사 충돌을 해결합니다.

1. PCGrad (Project Conflicting Gradients) 의 적용:

   • 기존 PCGrad 기법을 망각 시나리오에 적용합니다.
   • 모듈 단위 (Module-wise) 투영: 전체 파라미터 벡터가 아닌, 각 모듈 (레이어) 단위에서 망각 경사 ($g_f$) 와 유지 경사 ($g_r$) 가 충돌 ($g_f \cdot g_r < 0$) 할 때, $g_f$를 $g_r$의 정규 평면에 투영하여 제거합니다.
   • 이를 통해 망각이 유지 성능을 해치지 않도록 보호합니다.

2. SAGO (Sign-Align Gradient Optimization, 제안된 핵심 방법):

   • 핵심 아이디어: 경사의 부호 (Sign) 정렬을 기반으로 요소별 (Element-wise) 합성을 수행합니다.
   • 작동 원리:
     • 부호가 일치하는 경우 ($g_f \cdot g_r \ge 0$): 망각과 유지가 방향이 같으므로 망각 경사를 유지합니다.
     • 부호가 반대인 경우 ($g_f \cdot g_r < 0$): 이는 일반 지식과 관련된 충돌 영역으로 간주하여, 망각 경사를 차단하고 유지 경사만 적용합니다.
   • 이점: PCGrad 는 직교 투영을 통해 충돌을 제거하지만, 여전히 유지 경사와 반대되는 성분이 발생할 수 있습니다. 반면 SAGO 는 최종 업데이트 방향이 유지 경사와 절대 반대되지 않도록 (Non-negative cosine similarity) 엄격하게 보장하며, 더 정밀한 방향성 정렬을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 비대칭적 공식화 (Asymmetric Formulation): LLM 망각을 '유지 우선'의 비대칭적 문제로 재정의하여, 기존 MTL 기법들의 한계를 극복하는 범용 프레임워크를 제시했습니다.
2. 새로운 경사 합성 기법 (SAGO): 요소별 부호 제약을 통해 망각 신호를 주입하되 유지 성능을 해치지 않는 SAGO 를 개발했습니다. 이론적으로 PCGrad 보다 유지 경사와의 정렬도 (Alignment) 가 더 엄격함을 증명했습니다.
3. 실증적 성과: WMDP(Bio/Cyber) 와 RWKU 벤치마크에서 SAGO 가 기존 방법들보다 파레토 프론티어 (Pareto Frontier) 를 크게 확장시켰음을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: WMDP (생물/사이버 보안), RWKU (실제 유명인 망각)
• 주요 성과:
  • WMDP Bio (SimNPO+GD 기준):
    • 기존 Naive 방법: MMLU 성능 회복률 44.6%
    • PCGrad 적용: 94.0%
    • SAGO 적용: 96.0% (목표 모델 성능의 96% 회복)
    • 망각 능력 (Forget Accuracy) 은 기존 방법과 유사하거나 더 우수한 수준을 유지했습니다.
  • RWKU: SAGO 는 PCGrad 대비 Neighbor Set(유지 성능) 에서 13.3 포인트 이상 향상되는 등 압도적인 성능 개선을 보였습니다.
• 시각화: 경사 기하학 (Gradient Geometry) 분석 결과, SAGO 는 유지 경사와의 코사인 유사도가 가장 높고, 망각과 유지 간의 충돌을 가장 효과적으로 줄였습니다.

5. 의의 및 결론 (Significance)

• 핵심 통찰: LLM 망각의 성능 향상을 위해서는 단순히 손실 함수 (Loss) 를 재조정하는 것이 아니라, 경사 기하학 (Gradient Geometry) 을 재형성하여 유지 성능을 최우선으로 보호하는 것이 핵심임을 입증했습니다.
• 실용성: 제안된 SAGO 는 기존 망각 목적 함수 (GA, NPO, SimNPO 등) 와 쉽게 결합하여 적용할 수 있으며, 모델의 유해한 지식을 제거하면서도 일반적 능력을 최대한 보존하는 강력한 솔루션을 제공합니다.
• 한계: 현재는 텍스트 기반 LLM 에 국한되어 있으며, 멀티모달이나 코드 모델 등으로의 확장, 그리고 계산 비용 최적화는 향후 과제로 남았습니다.

요약하자면, 이 논문은 "망각을 위해 유지 성능을 희생하지 말아야 한다" 는 철학 하에, 부호 정렬 (Sign Alignment) 을 통한 정교한 경사 제어 기법 (SAGO) 을 제안함으로써 LLM 망각의 난제인 트레이드오프 문제를 획기적으로 개선한 연구입니다.