논문 요약: LLM UNLEARNING WITH LLM BELIEFS (LLM 신념을 활용한 LLM 포getting)

이 논문은 대규모 언어 모델 (LLM) 의 민감하거나 해로운 정보를 제거하는 '언러닝 (Unlearning)' 기술의 한계를 지적하고, 이를 해결하기 위한 새로운 프레임워크를 제안합니다. 저자들은 기존 방법론들이 표면적인 성공을 보이지만 실제로는 의미 있는 지식이 여전히 잔존하는 '가짜 포getting (Spurious Unlearning)' 현상을 발견하고, 이를 '압착 효과 (Squeezing Effect)'로 명명하여 분석했습니다.

1. 문제 정의 (Problem)

• 배경: LLM 은 방대한 코퍼스로 학습되면서 민감하거나 해로운 정보를 암기할 위험이 있으며, 이를 제거하기 위해 '언러닝'이 필요합니다.
• 기존 방법의 한계: 현재 주류인 경사 상승 (Gradient Ascent, GA) 및 그 변형들 (NPO, WGA 등) 은 특정 타겟 응답의 확률을 낮추기 위해 손실 함수를 역전시켜 학습합니다.
• 핵심 문제 (가짜 포getting): 이러한 방법은 타겟 응답의 확률만 낮출 뿐, softmax 정규화 제약으로 인해 사라진 확률 질량 (Probability Mass) 이 의미적으로 유사한 다른 표현들 (Paraphrasings) 로 이동하게 됩니다.
  • 예: "A 라는 동물은 '야옹' 소리를 낸다"를 잊게 하려 할 때, 모델은 "고양이는 '야옹' 소리를 낸다"와 같은 동의어 표현을 더 높은 확률로 생성하게 됩니다.
  • 이는 기존 자동 평가 지표 (ROUGE, Truth Ratio 등) 에서는 성공적으로 잊은 것으로 오인되지만, 실제로는 해로운 지식이 여전히 모델에 남아있는 '가짜 포getting'을 초래합니다.
• 원인: 저자들은 이를 '압착 효과 (Squeezing Effect)' 라고 명명하며, 확률 분포가 타겟을 제외하고 모델이 가장 선호하는 고확률 영역 (High-likelihood regions) 으로 압착되어 재분배되는 현상으로 설명합니다.

2. 제안 방법 (Methodology)

저자들은 모델이 스스로 가장 확신하는 생성물, 즉 '모델 신념 (Model Beliefs)' 을 명시적으로 포getting 대상에 포함시키는 부트스트래핑 (Bootstrapping, BS) 프레임워크를 제안합니다. 이는 모델이 타겟을 잊으려 할 때 자연스럽게 생성할 가능성이 높은 '대안적 표현들'까지 함께 억제함으로써 압착 효과를 차단합니다.

제안된 방법은 두 가지 수준으로 구현됩니다:

2.1 부트스트래핑 - 토큰 (BS-T, Bootstrapping-Token)

• 개념: 특정 토큰 위치에서 모델이 예측한 Top-k 고확률 토큰 집합을 '소프트 타겟 (Soft Target)'으로 활용합니다.
• 동작:
  1. 원래의 원-핫 (One-hot) 타겟 레이블과 모델이 현재 예측하는 Top-k 토큰 분포를 혼합합니다.
  2. 혼합된 타겟 $t_i = \lambda \cdot \text{sg}[\pi_\theta(\cdot)|_{H_k}] + (1-\lambda) \cdot e_{y_i}$ 를 사용하여 손실 함수를 계산합니다.
  3. 이를 통해 타겟 토큰뿐만 아니라 그 주변에 있는 의미적으로 유사한 토큰들의 확률도 함께 낮춥니다.
• 효과: 토큰 수준에서 확률 질량이 의미 유사 영역으로 이동하는 것을 방지합니다.

2.2 부트스트래핑 - 시퀀스 (BS-S, Bootstrapping-Sequence)

• 개념: 개별 토큰이 아닌 전체 시퀀스 (문장/응답) 수준에서 모델의 고신뢰도 생성물을 포getting 데이터로 추가합니다.
• 동작:
  1. 잊어야 할 프롬프트에 대해 모델이 생성할 가능성이 높은 $N$ 개의 고확률 응답 시퀀스를 샘플링합니다.
  2. 이 샘플링된 시퀀스들을 '보조 포getting 데이터셋'으로 구성하여 원래 데이터와 함께 학습합니다.
  3. 전체적인 해로운 흐름 (Continuations) 이 재발생하지 않도록 방지합니다.
• 효과: BS-T 보다 더 포괄적이고 철저한 포getting 을 달성하며, 긴 문맥에서의 지식 잔존을 제거합니다.

3. 주요 기여 (Key Contributions)

1. 가짜 포getting 과 압착 효과의 규명: NPO 기반 방법론들이 의미적으로 관련된 변형 응답을 생성하며 지식을 완전히 제거하지 못한다는 사실을 발견하고, 이를 '압착 효과'로 이론화했습니다. 기존 자동 평가 지표가 이러한 실패를 놓치고 있음을 LLM 기반 평가 (LLM-as-a-Judge) 를 통해 입증했습니다.
2. 모델 신념 기반 부트스트래핑 프레임워크: 모델이 스스로 예측하는 고확률 영역 (신념) 을 포getting 신호로 활용하는 새로운 접근법을 제안했습니다. 토큰 수준 (BS-T) 과 시퀀스 수준 (BS-S) 의 두 가지 변형을 구현했습니다.
3. 이론적 분석: AKG (Approximate Kernel Gradient) 학습 역학 프레임워크를 활용하여, BS-T 가 어떻게 잔차 (Residual) 항을 재구성하여 압착 효과를 완화하는지 수학적으로 증명했습니다.
4. 성능 입증: TOFU, MUSE, WMDP 등 다양한 벤치마크와 Llama 3, Zephyr 등 여러 모델에서 기존 SOTA 방법 (NPO, GradDiff, RMU 등) 보다 우수한 포getting 성능과 유지 (Retention) 성능의 균형을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크: TOFU (가상 작가 정보), MUSE (저작권 및 뉴스), WMDP (생물/사이버 보안 위험 지식) 에서 실험 수행.
• 성능:
  • BS-S는 모든 모델 크기 (1B, 3B, 8B) 에서 가장 높은 종합 점수 (Agg.) 와 포getting 점수 (Memorization) 를 기록했습니다.
  • BS-T는 BS-S 보다 계산 효율이 높으면서도 대부분의 경우 2 위를 차지하며 강력한 성능을 보였습니다.
  • 기존 방법들은 ROUGE 점수는 낮았지만, LLM-as-a-Judge 평가에서 의미적 유사도 (Semantic Similarity) 가 여전히 높게 나타나 '가짜 포getting'을 보인 반면, 제안된 방법은 의미적 유사도도 크게 감소시켰습니다.
• 유지 (Retention): 포getting 을 수행하면서도 모델의 일반적 유용성 (Utility) 과 유창성 (Fluency) 을 잘 유지했습니다. 특히 BS-S 는 해로운 지식을 완전히 제거하면서도 일반 지식 (MMLU 등) 을 보존하는 데 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 언러닝 분야에서 단순한 타겟 응답 제거를 넘어, 모델 내부의 '신념 (Beliefs)'까지 고려해야 진정한 포getting 이 가능하다는 중요한 통찰을 제공합니다.

• 안전성 강화: 기존 방법론이 놓치기 쉬운 '의미적 재표현 (Semantic Rephrasing)' 형태의 정보 유출을 차단하여, 프라이버시 침해나 해로운 콘텐츠 생성 위험을 실질적으로 줄입니다.
• 평가 기준의 변화: 단순한 텍스트 유사도 지표 (ROUGE) 가 아닌, 의미적 완전성을 평가하는 LLM 기반 평가의 중요성을 강조합니다.
• 실용성: 제안된 방법은 기존 언러닝 알고리즘 (NPO, WGA 등) 과 호환되며, OpenUnlearning 프레임워크에 통합되어 재현 가능한 코드를 제공합니다.

결론적으로, 이 연구는 LLM 이 특정 지식을 '완전히' 잊기 위해서는 모델이 그 지식을 어떻게 재구성할지 (신념) 까지 예측하고 억제해야 함을 보여주며, 더 안전하고 신뢰할 수 있는 AI 시스템 구축을 위한 새로운 방향성을 제시합니다.