기술 요약: 다이버전스 디코딩 (Divergence Decoding)

문제 정의

대규모 언어 모델(LLM)은 민감한 학습 데이터를 빈번하게 암기하며, 이는 심각한 개인정보 보호 및 저작권 리스크를 초래한다. 기존 모델 체크포인트에서 특정 지식을 제거하여 이러한 리스크를 해결하는 것은 매우 까다로운 작업이다. 정제된 데이터셋으로 모델을 처음부터 다시 학습시키는 전통적인 방식은 계산 비용이 너무 커서(수백만 GPU 시간 소요) 프런티어 규모의 모델에는 실행 불가능하다. 그래디언트 어센트(gradient ascent)나 네거티브 선호도 최적화(negative preference optimization)와 같은 기법을 통해 모델 가중치를 수정하는 기존의 머신 언러닝(machine unlearning) 방법들은 종lig적으로 파괴적인 유틸리티 손실(catastrophic utility loss)을 겪거나, 취약하며, 여전히 비용이 많이 든다. 더욱이, 이러한 방법들은 유지하고자 하는 데이터에 대한 모델의 전반적인 성능을 저하시키는 경우가 많다.

방법론: 다이버전스 디코딩 (Divergence Decoding, DD)

저자들은 모델의 가중치를 직접 수정하지 않고도 특정 데이터로부터 타겟 모델의 로짓(logits)을 멀어지게 유도하는 추론 시점의 언러닝 메커니즘인 **다이버전스 디코딩(DD)**을 제안한다. 이 방법은 Product of Experts 프레임워크와 중요도 샘플링(Importance Sampling)에서 영감을 받았다.

핵심 메커니м

DD는 현재의 타겟 모델 $P$(보존 세트와 망각 세트 모두로 학습됨)와 이상적인 재학습 모델 $Q$(보존 세트로만 학습됨) 사이의 차이를 대리하는 역할을 수행하도록 표준 파인튜닝 파이프라인을 통해 학습된 두 개의 작은 보조 모델 $p$와 $q$를 활용한다.

• 보조 모델 $p$: "망각(forget)" 세트(또는 벤치마크 설정에 따라 망각 및 보존 세트의 조합)로 학습된다.
• 보조 모델 $q$: "보존(retain)" 세트로 학습된다.

이 방법은 보조 모델 간의 차이를 기반으로 타겟 모델 $P$의 로짓을 조정함으로써, 이상적인 재학습 모델 $Q$로부터 샘PLING하는 것을 근사한다. 두 가지 구체적인 조정 방식이 제안된다:

1. 선형 다이버전스 디코딩 (Linear Divergence Decoding): 보조 모델 간의 차이가 타겟을 유도하는 로짓의 선형 결합 방식이다:
   $$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$$
   여기서 $\alpha$는 하이퍼파라미터이다. 비율 $q/p$는 보존 세트에 있을 가능성이 높은 토큰의 가중치를 높이고, 망각 세트에 있을 가능성이 높은 토큰의 가중치를 낮추는 "도메인 전문가(Domain Expert)" 역할을 한다.

2. 순위 기반 다이버전스 디코딩 (Rank-Based Divergence Decoding): 가장 이질적인 상위 $k$개의 로짓을 억제하는 순위 기반 조정 방식이다:
   $$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$$
   (실제 구현 시, 퇴보적인 프라이버시 점수를 피하기 위해 상위 $k$개의 로짓은 수정되지 않은 분포의 $k$번째로 큰 로짓으로 대체된다.)

모델 증류 (Model Distillation)

추론 중에 세 개의 모델(타겟 + 2개의 보조 모델)을 동시에 실행할 때 발생하는 레이턴시와 연산 비용 문제를 해결하기 위해, 저자들은 DD가 증강된 시스템의 동작을 단일 모델로 다시 증류하는 것을 제안한다. 고정된 선형 DD 시스템이 교사(teacher) 역할을 하고, 타겟 모델은 망각 세트에 대한 KL-다이버전스 목적 함수를 사용하여 학생(student)으로서 파인튜닝된다. 이를 통해 추론 시점의 컨트롤러를 보조 모델 없이 서빙 가능한 파라메트릭 네트워크로 변환한다.

주요 기여

본 논문은 머신 언러닝 분야에 다음과 같은 기여를 한다:

• 새로운 로짓 스티어링 (Novel Logit Steering): 표준 언러닝 벤치마크(TOFU 및 MUSE)에서 기존 SOTA 방식들을 능가하는 메커니즘을 제시한다.
• 패러다임 간의 가교: 추론 시점의 언러닝과 가중치 기반 언러닝을 증류를 통해 연결하여 유연한 배포를 가능하게 한다.
• 교차 도메인 효능: 텍스트 생성을 넘어 트랜스포머 기반 이미지 생성에서의 적용 가능성을 입증하는 초기 탐색을 수행한다.
• 광범위한 절제 실험 (Extensive Ablations): 하이퍼파라미터 선택, 연산/레이턴시 영향, 크로스 토크나이저/크로스 패밀리 일반화, 그리고 적대적 강건성에 대한 포괄적인 분석을 포함한다.

실험 결과

저자들은 TOFU(지시어 튜닝된 복잡한 쿼리)와 MUSE(사전 학습된 퓨샷 Q&A) 벤치마크를 사용하여 Open Unlearning 프레임워크를 통해 DD를 평가하였다.

• 성능: DD는 TOFU 벤치마크에서 SOTA 베이스라인들(Gradient Ascent, NPO, RMU, UNDIAL 포함)을 결정적으로 능가한다. MUSE에서는 지식 암기(Knowledge Memorization) 및 Q&A 작업에서 강력한 베이스라인보다 약간 개선된 성능을 보였으나, 단순 필터링 방식이 뛰어난 성능을 보이는 문구 암기(Verbatim Memorization) 작업에서는 효과가 덜했다.
• 유틸리티 보존: 많은 언러닝 방법들이 파괴적인 망각을 유발하는 것과 달리, DD는 일반적인 지식과 모델 유틸리티를 보존한다.
• 증류: 증류된 모델은 추론 시점의 선형 DD의 성능 이득을 대부분 회복하며, 기존의 그래디언트 기반 언러닝 방법들보다 우수한 성능을 보인다.
• 확장성 및 지속 가능성: DD는 증가하는 망각 세트 크기에 따라 잘 확장되며, 성능 저하 없이 순차적인 언러닝 요청을 처리할 수 있다.
• 적대적 강건성: 반복적인 적대적 프롬프팅을 통해 잊혀진 정보를 복구할 수 있는지 테스트하는 Leak@K 벤치마크에서, Distill DD는 전체 재학습(full retrain)의 성능과 일치하여, 언러닝이 단순히 표면적인 수정이 아닌 강건한 것임을 보여준다.
• 이미지 생성: ImageNet 기반 이미지 생성에 대한 예비 결과에 따르면, DD는 인지적 품질을 유지하면서 특정 시각적 의미(예: 망각 세트 내의 개 클래스)의 생성을 줄일 수 있으나, 텍스트에 비해 선형 설정에서 더 높은 $\alpha$ 값이 요구된다.

의의 및 주장

본 논문은 안전하고 준수 가능한 AI로 가는 길이 베이스 모델을 직접적인 가중치 수정을 통해 "불구로 만드는(crippling)" 것이 아니라, 모델을 **가이드(guiding)**하는 데 있다고 주장한다. 저자들은 "잊힐 권리" 요청, 저작권 준수, 그리고 미래 참조 편향(look-ahead bias)을 방지하기 위한 금융 백테스팅과 같은 많은 실무적 사례에서 모델 가중치를 수정하는 것이 불필요하며 잠재적으로 유용성에 해로울 수 있다고 주장한다.

대신, DD는 작고 저렴한 보조 모델이 거대 모델의 생성을 유도하는 "망각을 위한 학습(learning over forgetting)" 접근 방식을 제공한다. 이는 빈번하고 즉각적인 언러닝이 필요한 고위험 배포 환경에서 실용적인 솔루션을 제공하며, 모델의 역량을 보존하면서 효과적인 언러닝 사이의 균고를 맞춤으로써 SOTA 성능을 재정의한다. 이 방법은 임의의 확률 모델에 일반적으로 적용 가능하며, 텍스트를 넘어 이미지 생성과 같은 도메인으로 그 유용성을 확장한다.