Representation-Guided Parameter-Efficient LLM Unlearning

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 방대하고 비선별된 데이터로 학습되어 민감한 개인정보, 저작권 침해 콘텐츠, 유해한 편향 등을 암기할 수 있습니다. 이를 제거하기 위해 머신 언러닝 (Machine Unlearning, MU) 기술이 필요하며, 처음부터 모델을 재학습시키는 것은 비용이 너무 많이 들어 비현실적입니다.
• 기존 방법의 한계:
  • 기존 언러닝 방법들은 주로 파라미터 중요도 (Parameter Importance) 지표 (예: Fisher 정보량) 를 사용하여 '잊어야 할 데이터 (Forget Set)'와 관련된 파라미터를 식별하고 수정합니다.
  • 초위상 현상 (Superposition Phenomenon): LLM 의 파라미터는 여러 개념을 중첩하여 표현하는 '다의성 (Polysemanticity)'을 가집니다. 이로 인해 특정 파라미터가 '잊어야 할 데이터'에만 전적으로 관여한다고 판단하기 어렵습니다.
  • 결과: 파라미터 중요도 기반 접근법은 '잊기 (Forget)'와 '유지 (Retain)' 사이의 트레이드오프를 해결하는 데 한계가 있으며, 잊어야 할 정보를 제거하는 과정에서 모델의 일반 성능 (Utility) 이 크게 저하되는 문제가 발생합니다.

2. 제안 방법: ReGLU (Methodology)

저자들은 파라미터 수준의 중요도 추정이 아닌, 표현 공간 (Representation Space) 의 기하학적 속성을 활용하여 더 정밀하고 강력한 언러닝을 달성하는 ReGLU (Representation-Guided Low-rank Unlearning) 를 제안합니다. 이는 LoRA (Low-Rank Adaptation) 기반의 파라미터 효율적 방법입니다.

핵심 구성 요소

1. RILA (Representation-guided Initialization of Low-rank Adaption):

   • 목적: LoRA 업데이트가 '잊어야 할 데이터'의 표현에는 큰 영향을 미치면서, '유지해야 할 데이터'의 표현에는 최소한의 영향을 미치도록 초기화하는 것입니다.
   • 원리:
     • 잊어야 할 데이터 ($D_f$) 와 유지해야 할 데이터 ($D_r$) 의 레이어 출력 (표현) 에 대한 공분산 행렬 ($Cov_F, Cov_R$) 을 계산합니다.
     • 두 공분산의 차이를 기반으로 한 균형 잡힌 공분산 행렬 $Cov_\Delta = (1-\beta)Cov_F - \beta Cov_R$을 정의합니다.
     • 이 $Cov_\Delta$의 상위 $r$개 고유벡터 (Eigenvectors) 를 추출하여 LoRA 행렬 ($A, B$) 을 초기화합니다.
   • 효과: 이 초기화는 LoRA 업데이트가 잊어야 할 데이터의 분산이 크고 유지 데이터의 분산이 작은 부분 공간 (Subspace) 에 정렬되도록 유도합니다.

2. ROL (Representation Orthogonal Loss):

   • 목적: 학습 과정에서 유지해야 할 데이터의 성능이 저하되지 않도록 LoRA 업데이트를 제어하는 정규화 항입니다.
   • 원리:
     • 유지 데이터 ($D_r$) 의 주요 표현 방향을 나타내는 부분 공간의 기저 (Principal Subspace, $P_B$) 를 식별합니다.
     • LoRA 의 업-프로젝션 행렬 ($B$) 이 이 $P_B$와 직교 (Orthogonal) 하도록 손실 함수를 설계합니다 ($L_{ROL} = \|B^\top P_B\|_F^2$).
   • 효과: LoRA 업데이트가 유지 데이터의 핵심 표현 방향과 수직인 방향으로만 발생하도록 강제하여, 기존 모델의 지식을 보존하면서 특정 지식만 제거합니다.

3. 최종 최적화 목적 함수:

   • $L_{total} = L_{forget}(D_f) + \gamma L_{retain}(D_r) + \lambda L_{ROL}$
   • 잊기 손실, 유지 손실, 그리고 직교 정규화 손실을 균형 있게 결합합니다.

3. 주요 기여 (Key Contributions)

1. 방법론적 전환: 파라미터 중요도 기반의 기존 패러다임에서 표현 공간의 기하학 (Representation Geometry) 기반 패러다임으로 전환하여, 초위상 현상과 파라미터 다의성 문제를 해결했습니다.
2. 새로운 프레임워크 제안: RILA(지능형 초기화) 와 ROL(부분 공간 제어 정규화) 을 결합한 ReGLU 프레임워크를 개발했습니다.
3. 이론적 보장 및 분석: 초기화 전략에 대한 이론적 증명 (Theorem 1) 을 제공하며, 기하학적 진단을 통해 잊기/유지 표현의 성공적인 분리를 입증했습니다.
4. 성능 입증: TOFU 및 WMDP 벤치마크에서 여러 모델 (Llama-2, Phi-1.5, Zephyr) 을 대상으로 한 실험을 통해 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크: TOFU (작가 프로필 기반) 와 WMDP (생물/사이버 보안 지식 기반) 에서 평가 수행.
• 성능 비교:
  • TOFU: ReGLU 는 기존 LoRA 기반 방법 (FILA, VILA) 과 다양한 손실 함수 (GD, IHL) 를 결합한 베이스라인보다 일관되게 우수한 Forget Quality (FQ) 를 기록했습니다. 특히 IHL 손실과 결합 시 가장 높은 성능을 보였습니다.
  • WMDP: ReGLU 는 생물/사이버 보안 지식의 정확도를 가장 크게 낮추면서도 (즉, 잊기 성공), MMLU 를 통한 일반 모델 유틸리티는 95% 이상 유지했습니다.
• Ablation Study:
  • RILA 만 사용하거나 ROL 만 사용했을 때보다 두 구성 요소를 모두 사용한 ReGLU가 가장 우수한 성능을 보였습니다. 이는 초기화가 좋은 시작점을 제공하고, 정규화가 학습 중 안전한 영역을 유지하게 한다는 시너지 효과를 입증했습니다.
• 효율성:
  • FILA/VILA 는 파라미터 중요도를 추정하기 위해 기울기 (Gradient) 계산이 필요하지만, ReGLU 의 RILA 는 순전파 (Forward pass) 와 공분산 계산만으로도 초기화가 가능합니다.
  • 특히 랜덤화 SVD를 적용하면 70B 규모의 모델에서도 매우 빠른 초기화 (0.29 GPU 시간) 가 가능하여 확장성이 뛰어납니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: LLM 의 '기억'과 '이해'가 파라미터 수준이 아닌 표현 공간의 기하학적 구조에 의해 더 명확하게 분리될 수 있음을 보여주었습니다. 이는 파라미터 다의성으로 인한 언러닝의 근본적인 한계를 우회하는 새로운 접근법입니다.
• 실용적 가치: ReGLU 는 재학습 없이도 민감하거나 유해한 정보를 정밀하게 제거하면서도 모델의 전반적인 유용성을 최대한 보존할 수 있는 파라미터 효율적 (Parameter-Efficient) 솔루션을 제공합니다.
• 한계점: 초기화 단계에서 공분산 행렬 계산 및 고유값 분해가 필요하며 (일회성 오버헤드), 사용된 데이터 서브셋의 대표성에 의존한다는 점 등이 한계로 지적되었습니다.

요약하자면, ReGLU 는 LLM 의 특정 지식을 제거할 때 모델의 전체 성능을 해치지 않는 '정밀한 수술'을 가능하게 하는, 표현 공간의 기하학적 특성을 활용한 혁신적인 언러닝 프레임워크입니다.