기술 요약: 표준형 대 모듈형 샘플링: 신뢰할 수 있는 LLM 언러닝을 위한 최적의 실무 지침

문제 정의

방대한 웹 스크레이핑 데이터로 학습된 대규모 언어 모델(LLM)은 개인 정보 및 저작권 콘텐츠를 포함한 민감한 정보를 기억할 수 있습니다. **LLM 언별닝(Unlearning)**은 일반적인 모델 효용성을 유지하면서 특정 지식을 제거하는 기술로 부상했으나, 현재 이 분야는 데이터셋 구축 및 샘플링 전략에 대한 표준화된 증거 기반의 최적 실무 지침이 부족한 상태입니다.

기존의 벤치마크와 방법론은 두 가지 주요 결함을 가지고 있습니다:

1. 유지 세트(Retain Set) 구성: 기존 연구 대부분은 단일 유형의 "이웃 세트"(삭제 대상과 직접적 또는 간접적으로 연결된 관계)와 일반 지식 풀을 결합하여 사용합니다. 이는 실제 데이터의 복잡하고 다면적인 관계를 반영하지 못합니다.
2. 샘플링 전략: 이 분야는 1:1 샘플링(에포크당 하나의 삭제 샘플과 하나의 유지 샘플을 매칭) 또는 순환(Cyclic) 샘플링(모든 유지 샘플을 반복하면서 삭제 대상을 순환)과 같은 관습적인 표준에 크게 의존하고 있습니다. 이러한 휴리스틱의 효능과 안정성은 비판적으로 검토되지 않았으며, 이는 성능 트레이드오프를 가리거나 치명적 망각(catastrophic forgetting) 또는 불안정성과 같은 숨겨진 위험을 초래할 가능성이 있습니다.

방법론

저자들은 LLM 언러닝을 위한 최적의 실무 지침을 수립하기 위해 엔티티 수준 언러닝(Entity-Level Unlearning)(예: 특정 인물에 대한 모든 지식 제거)에 초점을 맞춘 체계적인 평가를 수행했습니다.

1. 데이터셋 구축 (확장된 WPU)

본 연구는 현실적인 언러닝 시나리오를 시뮬레이션하기 위해 덜 유명한 인물들을 특징으로 하는 Wikipedia Person Unlearning (WPU) 데이터셋을 활용했습니다. 저자들은 이 데이터셋을 다음과 같이 확장했습니다:

• 직접 이웃 세트 ($N_d$): 삭제 대상과 직접 연결된 엔티티 (예: 출생지, 가족).
• 간접 이웃 세트 ($N_{ind}$): 의미적 또는 맥락적 관계를 공유하는 엔티티 (예: 동일 직업, 역사적 시기). 이는 타겟 엔티티와 유사한 직업을 찾기 위해 LLaMA 3.3 70B 모델을 사용하여 생성되었습니다.
• 구문적 유사성 ($N_s$): 구문적 영향을 통제하기 위해 유지 세트의 Q&A 쌍이 삭제 대상과 동일한 의문문 구문 구조를 공유하도록 보장했습니다.
• 테스트 세트 ($D_t$): 모델 효용성을 평가하기 위해 남은 간접 이웃과 일반 지식 샘플을 균형 있게 혼합했습니다.

2. 실험 설정

저자들은 LLaMA 3.1 8B Instruct를 미세 조정하였으며, 세 가지 언러닝 알고리즘을 평가했습니다:

• 비타겟 언러닝(un-targeted unlearning)을 위한 그래디언트 차이(Gradient Difference, GD) 및 부정 선호 최적화(Negative Preference Optimization, NPO).
• 타겟 언러닝(targeted unlearning)을 위한 직접 선호 최적화(Direct Preference Optimization, DPO).

저자들은 데이터 관행과 샘플링 전략을 결합한 7가지 별개의 설정을 비교했습니다:

• 데이터 관행: 유지 세트를 직접 이웃으로만 제한하거나, 간접 이웃으로만 제한하거나, 또는 두 가지를 균형 있게(Balanced) 혼합했습니다.
• 샘플링 관행:
  • 1:1 순차적(1:1 Sequential): 상위 유지 샘플을 삭제 샘플과 매칭.
  • 1:1 무작위(1:1 Random): 에포크당 동일한 수의 유지 샘플을 무작위로 선택.
  • 순환(Cyclic): 삭제 대상을 반복하는 동안 전체 유지 풀을 순환.
  • 모듈형 엔티티 수준 언러닝 (MELU): 각 삭제 대상이 오직 해당 특정 엔티티에 속하는 유지 샘플과만 쌍을 이루도록 하여, 관련 없는 쌍을 피하는 제안된 전략.

3. 평가 지표

성능은 다음을 사용하여 측정되었습니다:

• 삭제 효능 (Forget Efficacy, FE): 삭제 세트에 대한 ROUGE-L, 조건부 확률, 코사인 유사도의 산술 평균을 사용하여 $1 - \text{평균}$으로 계산.
• 모델 효용성 (Model Utility, MU-T): 테스트 세트에 대한 동일한 지표들의 조화 평균.
• 토큰 다양성 (Token Diversity): 모델 붕괴 또는 퇴화를 감지하기 위해 Distinct-N을 통해 측정.
• 일반 지식 (General Knowledge): 모델의 전반적인 무결성을 평가하기 위한 MMLU 점수.

주요 기여

1. 데이터 관행에 대한 비판적 분석: 본 연구는 단일 이웃 세트에 의존하는 것이 최선이 아님을 입증합니다. 다양한 유지 세트(직접 및 간접 이웃의 결합)는 삭제 효능과 모델 효용성 사이의 균형을 잡는 데 필수적입니다.
2. 1:1 샘플링의 비효율성: 저자들은 표준 1:1 샘플링(순차적 및 무작위 모두)이 에포크 수와 관계없이 낮은 삭제 결과를 낳고 유지 세트의 잠재력을 제대로 활용하지 못하는 비효효율적인 방식임을 발견했습니다.
3. MELU 제안: 논문은 삭제 대상이 각각의 엔티티별 유지 샘플과 독점적으로 쌍을 이루는 구조화된 샘플링 전략인 **모듈형 엔티티 수준 언러닝 (MELU)**을 도입합니다. 이 접근 방식은 기존의 순환 샘플링보다 더 안정적이고 효과적인 것으로 나타났습니다.

결과

• 데이터 구성:

  • 직접 vs. 간접: 그래디언트 기반 방법(GD)은 직접 이웃에 대해 높은 삭제 효능을 보였으나 상당한 모델 효용성 저하를 겪었습니다. 반대로, 간잡 이웃은 모델 효용성을 더 잘 보존했지만 그래디언트 기반 방법에서 때때로 낮은 삭제 효능을 보였습니다.
  • 균형 잡힌 세트: 균형 잡힌 세트가 항상 두 지표를 동시에 극대화하지는 못했지만, 직접 이웃 세트에서 보이는 극단적인 효용 손실을 방지하는 필수적인 트레이드오프를 제공했습니다.
  • 토큰 다양성: 간접 및 균형 잡힌 세트는 일반적으로 직접 세트보다 높은 토큰 다양성을 유지했습니다. 직접 세트는 종종 모델 퇴화(특히 GD의 경우)를 초래했습니다.

• 샘플링 전략:

  • 1:1 샘플링: 모든 알고리즘에서 에포크 수와 상관없이 유의미한 삭제를 생성하는 데 지속적으로 실패했습니다.
  • 순환 vs. MELU: 순환 방식과 MELU 모두 1:1 샘플링보다 크게 우수했습니다.
  • MELU의 우월성: MELU는 뛰어난 안정성을 보여주었습니다. DPO 환경에서 MELU는 순환 샘플링에 비해 모델 효용성을 높게 유지하면서도 삭제 효능을 12% 향상시켰습니다. 어려운 타겟(예: "Ted Kooser")의 경우, MELU는 0.50 이상의 삭제 효능을 달却한 반면, 1:1 샘플링은 실패(< 0.10)했습니다.
  • 안정성: MELU는 관련 없는 삭제-유지 쌍으로 인한 분산을 줄임으로써 더 일관된 학습 신호를 제공하여, 안정적인 MMLU 점수와 토큰 다양성을 이끌어냈습니다.

의의 및 주장

본 논문은 유지 세트의 구성과 샘플링 전략의 선택이 중요함에도 불구하고 흔히 간과되는 요소라고 주장합니다. 저자들은 다음과 같이 단언합니다:

• 단일 이웃 세트나 표준 1:1 샘플링에 의존하는 것은 숨겨진 위험과 성능 한계를 초래합니다.
• 제안된 MELU 전략은 강력한 알고리즘과 결합하여 효과적인 언러닝을 위한 명확하고 안정적인 경로를 제공합니다.
• 본 연구는 향-후 언러닝 연구를 위해 단순한 휴리스틱보다는 더 다양하고 현실적인 벤치마크 데이터셋과 구조화된 샘플링 기법으로 나아가야 한다는 근거 기반의 최적 실무 지침을 제공합니다.

저자들은 "자매 모델(sister model)"을 사용하여 데이터셋을 생성했다는 점(이는 모델 제품군 전반의 일반화 가능성을 제한할 수 있음)과 MELU의 안정성에 대한 이론적 배경에 대한 심층적인 분석이 부족하다는 점 등 한계를 인정하며 자신의 주장에 대해 겸손한 태도를 유지합니다. 그들은 이 연구를 미래의 언러닝 연구를 위한 엄격한 프로토콜을 수립하기 위한 첫 단계로 규정합니다.