기술 요약: LLM 언러닝을 위한 데이터 속성 제거(De-attribute to Forget, DareU)

1. 문제 정의

대규모 언어 모델(LLM)의 급격한 배포는 지적 재산권 침해, 개인 정보, 유해한 콘텐츠를 포함한 부적절한 학습 데이터 사용에 대한 우려를 심화시켰습니다. GDPR 및 CCPA와 같은 규정은 "잊혀질 권리"를 강제하며, 이는 학습된 모델에서 특정 데이터의 영향력을 제거할 것을 요구합니다. 모델을 처음부터 다시 학습시키는 것이 이상적인 해결책이지만, 현대적 규모의 LLM과 데이터셋을 고려할 때 이는 계산적으로 매우 불가능한 일입니다.

기존의 머신 언러닝(Machine Unlearning) 접근 방식은 주로 **예측 손실 기반 최적화(prediction loss-based optimization)**에 의존하며, 일반적으로 삭제 대상인 "망각 세트(forget set)"에 대한 손실을 최대화하는 경사 상승법(Gradient Ascent, GA)을 사용합니다. 본 논문은 이러한 방법들의 두 가지 결정적인 한계를 지적합니다:

1. 과잉 망각 및 모델 붕괴(Over-forgetting and Model Collapse): 단순히 손실을 최대화하거나 로그 가능도(log-likelihood)를 최소화하면, 모델이 단순히 망각 세트를 무시하는 기능적인 상태를 유지하는 대신, 일관성 없는 횡설수설(gibberish)을 생성하게 됩니다.
2. 일관되지 않은 최적화 목표(Inconsistent Optimization Targets): 완벽하게 언러닝된 모델의 타겟 손실 값은 개별 데이터 샘플마다 다릅니다(재학습된 모델들의 로그 가능도가 서로 다른 점이 이를 보여줍니다). 결과적으로 손실을 최대화하는 것은 일관되고 정밀한 목적을 제공하지 못하며, 보존되어야 할 "유지 세트(retain set)"에 대한 성능을 저하시키는 경우가 많습니다.

본 연구가 제기하는 핵심 질문은 과잉 망각을 피하면서도 데이터의 영향을 효과적으로 제거할 수 있는 더 정밀한 최적화 목적 함수가 존재하는가 하는 점입니다.

2. 방법론: DareU 프레임워크

저자들은 DareU(Data Attribution-based REinforcement Learning for Unlearning)를 제안하며, 이는 LLM 언러닝을 예측 손실 최소화 문제가 아닌 데이터 속성 제거(data de-attribution) 문제로 정의하는 최초의 프레임워크입니다.

핵심 개념: 데이터 속성 제거 (Data De-attribution)

DareU는 예측 손실을 최대화하는 대신, LLM이 생성한 응답이 망각 데이터의 소유자에게 귀속되는 **속성 점수(attribution score)**를 줄이는 것을 목표로 합니다.

• 속성 함수(Attribution Function): 함수 $DA(i, y_d)$는 데이터 소유자 $i$의 데이터셋이 생성물 $y_d$에 영향을 미쳤을 가능성을 나타내는 정규화된 점수 $\in [0, 1]$를 할당합니다.
• 목표: 소유자 $F$에 속하는 망각 세트 $D_F$에 대하여, 기대 속성 점수를 최소화하는 것이 목표입니다:
  $$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$$
  이상적으로, 언러닝 후에는 망각 데이터에 대한 속성 점수가 0에 가까워져야 하며, 모델은 유지 세트 소유자들에게는 여전히 귀속될 수 있어야 합니다. 이는 모든 샘플에 대해 일관된 타겟 값(0)을 제공하며, 붕괴된 횡설수설 출력을 선호하는 문제를 방지합니다.

강화 학습(PPO)을 통한 구현

속성 함수는 스칼라 피드백을 제공하므로, 강화 학습(RL)을 위한 자연스러운 보상 모델 역할을 수행할 수 있습니다. 저자들은 LLM을 정렬하기 위해 **근사 정책 최적화(Proximal Policy Optimization, PPO)**를 사용합니다:

1. 보상 신호: 보상은 속성 점수로부터 도출됩니다. 안정성을 높이기 위해, 확률을 $[-1, 0]$ 범위로 매핑하는 로그 기반 함수 $\chi$를 통해 점수를 변환하며, 낮은 속성 점수일수록 높은 보상을 얻도록 합니다.
2. 효율적인 보상 계산: 모든 토큰마다 속성 함수를 호출하는 높은 계산 비용을 피하기 위해, $\kappa$ 토큰마다 속성 점수를 계산하고 이를 사이의 토큰들에 브로드캐스트합니다. 분산을 줄이기 위해 접두사 평균 기반의 기본 보상(prefix-averaged base reward)을 계산합니다.
3. 증류 정규화(Distillation Regularization): 유지 세트($D_R$)에 대한 모델 효용성을 보존하기 위해 증류 정규화 항을 추가합니다. 이 항은 현재 언러닝된 정책과 원래 정책 사이의 KL 발산(KL divergence)을 최소화하여, 망각 데이터가 아닌 데이터에 대한 파괴적 망각을 방지합니다.
4. 속성 분류기($D_{Ac}$): 이상적인 속성 함수(예: Leave-One-Out, Shapley values)는 계산 비용이 많이 들기 때문에, 저자들은 생성된 응답의 데이터 소유자를 예측하는 가벼운 LLM 분류기(LoRA 사용)를 훈련합니다. 이 분류기는 언러닝 전에 오프라인으로 훈련되며, PPO 과정 중에는 고정(frozen)됩니다.

3. 주요 기여

1. 새로운 최적화 목적 함수: 본 논문은 LLM 언러닝을 위한 정밀한 목적 함수로서 데이터 속성 제거를 도입하여, 기존의 예측 손실 기반 방식이 가진 불일치성과 불안정성 문제를 해결했습니다.
2. DareU 프레임워크: 저자들은 데이터 속성 보상을 PPO 환경 내에서 활용하는 최초의 언러닝 프레임워크를 제안했습니다. 이는 망각 품질(영향력 제거)과 모델 효용성(유지 데이터 성능 보존) 사이의 균형을 효과적으로 맞춥니다.
3. 실증적 검증: 광범 l한 실험을 통해 DareU가 모델의 효용성을 크게 저하시키거나 일관성 없는 텍스트를 생성하지 않으면서도, 효과적인 언러닝을 달utation 달성하는 데 있어 기존 베이스라인(GA, GDiff, SCRUB 및 IDK, NPO와 같은 선호도 최적화 방법 포함)보다 우수함을 입증했습니다.

4. 실험 결과

프레임워크는 Llama2-7B 및 Qwen3-8B 모델을 사용하여 TOFU(질의응답) 및 ArXiv(텍스트 완성)라는 두 가지 벤치마크에서 평가되었습니다.

• 언러닝 효과: DareU는 두 데이터셋 모두에서 "재학습(Retraining)" 골드 표준에 가장 근접한 DF(망각 세트) ROUGE 점수를 달성하여 우수한 망각 품질을 보여주었습니다.
• 모델 효용성: GA 및 GDiff가 종종 과잉 망각(낮은 DR ROUKE)을 겪는 것과 달리, DareU는 유지 세트($D_R$) 및 테스트 세트($D_{test}$)에서 높은 ROUGE 점수를 유지했습니다.
• 균형 (ToW 점수): DareU는 망각, 유지, 테스트 세트에 걸쳐 언러닝된 모델과 재학습된 모델 간의 격차를 종합하는 지표인 Tug-of-War (ToW) 점수에서 가장 높은 점수를 기록했습니다. 이는 DareU가 다른 베이스라인보다 망각 품질과 효용성 사이의 균형을 더 잘 맞춘다는 것을 확인시켜 줍니다.
• 강건성:
  • 횡설수설 감소: DareU는 GA 및 SCRUB에 비해 일관성 없는/횡설수설하는 응답을 현저히 적게 생성했습니다.
  • 적대적 강건성: 이 방법은 패러프레이징된 망각 쿼리와 망각/유지 세트 간의 의미적 중첩에 대해서도 효과적이었습니다.
  • 분류기 정확도: 프레임워크는 속성 분류기의 정확도를 인위적으로 낮추더라도 강건함을 유지했습니다.
• 효율성: DareU는 단순한 예측 손실 방법보다 높은 계산 비용(RL 생성 때문)이 발생하지만, 전체 재학습보다는 훨씬 효율적이며 SCuReNewton과 같은 2차 최적화 방법과 유사한 수준입니다.

5. 의의 및 주장

본 논문은 DareU가 LLM 언러닝을 위한 더 정밀하고 안정적인 최적화 관점을 제공한다고 주장합니다. "오차를 최대화"하는 것에서 "속성을 제로로 만드는 것"으로 초점을 전환함으로써, 이 방법은 경사 상승 접근 방식에 내재된 모델 붕괴와 일관되지 않은 타겟의 함정을 피합니다.

저자들은 효율적인 근사치를 위해 가벼운 분류기를 사용했지만, 핵심 기여는 데이터 속성 제거 목적 함수 자체에 있다고 강조합니다. 이 접근 방식은 모든 망각 샘플에 대해 일관된 타겟(점수 0)을 제공하며, 이는 손실 기반 방식의 가변적인 타겟보다 이론적으로 우월하다고 주장합니다.

인정된 한계점:

• 계산 비용: DareU는 단순한 파인튜닝이나 GA보다 계산 비용이 높지만, 더 나은 성능을 위한 정당한 트레이드오프를 제공합니다.
• 속성에 대한 의존성: 이 방법은 속성 분류기를 훈련하기 위해 훈련 데이터(또는 그 일부)에 대한 접근 권한이 필요하며, 이는 해당 데이터에 접근할 수 없는 사전 학습 데이터 제거 적용 시 제한 요소가 될 수 있습니다.
• 근사화: 분류기의 사용은 근사치입니다. 향-후 연구에서는 성능을 더욱 향상시키기 위해 더 정확하고 효율적인 속성 함수를 통합할 수 있습니다.

결론적으로, 본 논문은 DareU를 LLM의 효용성을 유지하면서도 데이터의 영향을 효과적으로 제거하여, 막대한 재학 학습 비용 없이도 "잊혀질 권리"를 준수할 수 있는 최첨단 솔루션으로 포지셔닝합니다.