기술 요약: PREUNLEARN: 대규모 언어 모델의 언러닝 전 부수적 지식 손상에 대한 감사

1. 문제 정의

대규모 언어 모델(LLM)을 위한 머신 언러닝(Machine unlearning)은 모델의 일반적인 유용성은 보존하면서 특정하거나 민감하거나 해로운 지식(이하 "망각 세트", forget set)을 제거하는 것을 목표로 한다. 그러나 망각해야 할 지식과 유지해야 할 지식 사이의 경계는 모델 파라미터 내에 얽혀 있는 관련 및 원거리 정보로 인해 종종 모호해진다.

현재의 평가 관행은 종종 집계된 유틸리티 메트릭이나 제한적인 사후 프로브(post-hoc probes)에 의존하며, 이는 지식의 세밀한 전파를 포착하지 못한다. 구체적으로, 기존 벤치마크는 고정된 망각 세트를 가정하는 경우가 많으며, 언러닝 효과가 타겟 세트에서 동일 도메인 지식으로, 그리고 더 나아가 원거리 도메인 지식으로 어떻게 파급되는지를 충분히 규명하지 못한다. 결과적으로 다음과 같은 두 가지 핵심 질문이 탐구되지 않은 채 남아 있다:

1. RQ.1: 언러닝이 망각 세트 $X$로부터 동일 도메인 및 원거리 도메인 지식 $Y$로 어떻게 영향을 미치는가?
2. RQ.2: 언러닝을 실행하기 전에, $X$를 언러닝함으로써 발생하는 $Y$에 대한 잠재적 부수적 피해를 예측할 수 있는가?

2. 방법론

2.1 3계층 언러닝 영향 프레임워크

저자들은 망각 세트 $D_f$를 기준으로 사후 언러닝 지식 저하를 조직화하는 데이터 중심 평가 프레임워크를 제안한다:

• L1 (의도된 저하): 망각 세트 $D_f$ 자체에 대한 성능.
• L2 (동일 도민 손상): 망각 도메인과 의미론적으로 가까운 홀드아웃(held-out) 패시지에 대한 성능.
• L3 (원거리 도메인 손상): 다른, 관련 없는 의미론적 도메인의 패시지에 대한 성능.

영향은 퍼플렉시티(Perplexity, PPL) 비율을 사용하여 정량화된다: $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$, 여기서 $M^*_\theta$는 언러닝된 모델이고 $M_\theta$는 원래 모델이다. 비율이 $1.0$보다 크면 성능 저하를 나타낸다.

2.2 실험 설정

• 데이터셋: 10개의 잘 분리된 의미론적 클러스터로 처리된 WikiText-103. 100개의 언러닝 데이터셋이 구축되었으며, 각 데이터셋은 서로 겹치지 않는 망각 및 유지 분할을 포함한다.
• 모델: Llama-3.1-8B-Instruct 및 Qwen2.5-7B-Instruct.
• 알고리즘: 세 가지 뚜렷한 언러닝 방법이 평가되었다:
  • 그래디언트 어센트 (Gradient Ascent, GA)
  • 네거티브 선호 최적화 (Negative Preference Optimization, NPO)
  • 조정된 로짓 상의 자기 증류를 통한 언러닝 (Unlearning via Self-Distillation on Adjusted Logits, UNDIAL)

2.3 언러닝 전 감사(Auditing) 공식화

본 논문은 "망각 세트 감사"를 지도 학습 기반 회귀 문제로 공식화한다. 목표는 실제 모델 업데이트가 일어나기 전에, 후보 망각 세트($D_f$)와 평가 세트($D_e$) 쌍에 대한 부수적 피해 비율($\rho_{f,e}$)을 예측하는 것이다.

• 타겟 변수: $\rho_{f,e} = \frac{\log(\text{PPL}_{after, e} / \text{PPL}_{before, e})}{\log(\text{PPL}_{after, f} / \text{PPL}_{before, f})}$. 이는 달성된 망각 강도에 의해 평가 세트의 저하를 정규화한 것이다.
• 입력 특징(Features): 감사는 업데이트 전의 특징($\phi(D_f, D_e, M_\theta)$)만을 사용하며, 그래디언트, 체크포인트 또는 사후 언러닝 측정값에 접근하지 않는다. 특징은 다음과 같이 분류된다:
  1. 내재적 특징 (Intrinsic Features): $D_f$와 $D_e$ 각각의 독립적인 속성 (예: 길이, 다양성, 차원성).
  2. 상호작용 특징 (Interaction Features): 두 세트 간의 기하학적 관계 (예: 중심점 유클리드 거리, 코사인 유사도, 어휘 비율).
• 모델: Ridge Regression, Random Forests, XGBoost가 $\rho_{f,e}$를 예측하도록 훈련되었다.
• 평가: 감사는 특정 도메인 정체성을 넘어 일반화될 수 있도록 Leave-One-Domain-Out (LODO) 교차 검증과 완전히 분리된 의미론적 도메인 테스트를 사용하여 테스트되었다.

3. 주요 결과

3.1 3계층 영향 패턴 (RQ.1)

• 감쇠 패턴: 모든 모델 및 알고리즘 조합에서 일관된 감쇠 패턴이 관찰되었다: $L1 > L2 > L3$. 언러닝 영향은 망각 세트에서 가장 강력하고, 동일 도메인 지식에서는 약하며, 원거리 도메인 지식에서는 가장 약하다.
• 알고리즘 의존성: 피해의 크기는 알고리즘에 따라 크게 달라진다. Gradient Ascent (GA)는 가장 공격적인 영향(최대 $12.85\times$ PPL 비율 증가)을 생성한 반면, NPO와 UNDIAL은 $1.05\text{--}1.65\times$ 범위 내에 머물렀다.
• 망각 세트 가변성: 고정된 하이퍼파라미터와 알고리즘을 사용하더라도, 서로 다른 망각 세트는 실질적으로 다른 영향 프로파일을 유도한다. 이러한 변동성은 망각 세트의 선택 자체가 중요한 설계 결정임을 시사한다.
• 분포적 분리: L1, L2, L3의 저하 분포는 명확히 구분되지만, L3는 "오른쪽 꼬리(right tail)"를 보여주어 심각한 부수적 피해가 원거리 도메인에서도 발생할 수 있음을 나타낸다.

3.2 언러닝 전 감사 성능 (RQ.2)

• 예측 가능성: 감사 작업은 실행 가능하다. 최적의 회귀 모델은 LODO 교차 검증 하에서 GA의 경우 최대 0.93, UNDIAL의 경우 0.90의 스피어만 상관계수($\rho$)를 달성했다. NPO 목적 함수와 같이 더 어려운 경우에도 성능은 여전히 유의미했다 ($\rho \geq 0.51$).
• 특징 중요도: 가장 강력한 예측 신호는 망각 세트와 평가 세트 사이의 상호작용 특징이며, 구체적으로는 다음과 같다:
  • 중심점 유클리드 거리 (피해와 음의 상관관계).
  • 중심점 코사인 유사도 (피해와 양의 상관관계).
  • 교차 세트 어휘 및 길이 비율.
  • 두 세트 단독의 내재적 속성은 이들의 기하학적 관계보다 예측력이 낮았다.
• 안정성: 감사의 순위 지정 품질은 서로 다른 언러닝 알고리즘 전반에 걸쳐 안정적으로 유지되었으며, 이는 부수적 피해가 데이터 간의 사전 존재하는 기하학적 결합에 의해 부분적으로 결정됨을 시사한다.
• 민감도: 감사는 평가 세트의 위험 구성 변화에 올바르게 반응하여, 무작위 노이즈에 반응하는 대신 고위험 및 저위험 블록을 구분해 냈다.

4. 의의 및 주장

본 논문은 망각 세트 감사를 전체 평가의 대체재가 아닌 조기 경보 도구로 포지셔닝한다. 주요 기여와 의의는 다음과 같다:

1. 세밀한 특성화: 언러닝 피해가 타겟에 국한되지 않고 의미론적 거리에 따라 감쇠하며, 도메인 경계를 넘어 지속된다는 것을 보여주는 3계층 프레임워크를 확립한다.
2. 선제적 리스크 스크리닝: 값비싼 언러닝 최적화를 실행하기 전에 오직 데이터 기하학(상호작용 특징)만을 사용하여 부수적 피해를 예측할 수 있음을 입증한다.
3. 실무적 우선순위 결정: 감사는 실무자가 위험한 언러닝 실행을 우선순위화하거나, 취약한 도메인에 유지 데이터 예산을 할당하거나, 파이프라인 초기 단계에서 고위험 망각 세트 후보를 거부할 수 있도록 돕는다.
4. 데이터 중심 통찰: 이러한 결과는 부수적 피해가 단순히 언러닝 알고리즘의 메커니즘뿐만 아니라, 망각할 데이터와 유지할 데이터 사이의 기하학적 관계에 의해 크게 영향을 받는다는 점을 시사한다.

저자들은 연구가 일부 언러닝 알고리즘과 모델을 다루고 있으며, 퍼플렉시티가 행동 저하의 대리 지표(proxy)로 사용되었다는 점을 포함한 한계를 겸허히 언급한다. 결론적으로, 감사가 최종 평가를 대체할 수는 없지만, 과정을 단순한 사후 측정에서 더 저렴하고 리스크 가이드가 가능한 순위 지정 문제로 전환시킨다고 주장한다.