From Anchors to Supervision: Memory-Graph Guided Corpus-Free Unlearning for Large Language Models

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 방대한 학습 데이터를 통해 민감하거나 저작권이 있는 내용을 암기할 수 있어, 개인정보 보호 (GDPR 의 '잊힐 권리') 와 법적 리스크를 초래합니다. 이를 해결하기 위해 기존 머신 언러닝 (Machine Unlearning) 기술이 발전했으나, 현재의 주류 방식은 다음과 같은 심각한 한계와 위험을 내포하고 있습니다.

• 기존 방식의 한계: 사용자가 삭제하려는 정보를 명시적으로 포함하는 '포기 세트 (Forget Set, $S_f$)' 를 제공해야 합니다.
• 주요 위험 요소 (Risk Surface):
  1. 보안 및 프라이버시 리스크: 사용자가 민감한 데이터를 직접 업로드해야 하므로, 데이터가 유출되거나 오용될 위험이 있습니다.
  2. 감사 불가능성 (Auditability): 서비스 제공자가 사용자가 제출한 '포기 세트'가 정당한 권한 범위 내에서 작성되었는지, 혹은 악의적인 목적 (예: 타인의 데이터 포함, 백도어 주입) 으로 조작되었는지 검증하기 어렵습니다.
  3. 무결성 위협: 악성 '포기 세트'는 모델의 성능을 저하시키거나 언러닝을 되돌릴 수 있는 백도어를 심을 수 있습니다.

이러한 문제를 해결하기 위해, 사용자의 개입을 최소화하고 외부 데이터 (Original Corpus) 에 접근하지 않는 새로운 언러닝 패러다임이 필요합니다.

---

2. 제안 방법: MAGE (Memory-Graph Guided Erasure)

저자들은 MAGE라는 새로운 프레임워크를 제안합니다. 이는 사용자가 제공한 가벼운 '앵커 (Anchor)'(예: 대상자의 이름 "Taylor Swift" 또는 간단한 설명) 만을 입력받아, 모델 내부에서 관련 기억을 스스로 발굴하고 구조화하여 언러닝을 수행하는 Corpus-Free(코퍼스 프리) 방식입니다.

MAGE 는 크게 두 단계로 구성됩니다:

1 단계: 내부 기억 채굴 (Internal Memory Mining)

모델이 특정 대상 (Target Entity, $E_t$) 에 대해 어떻게 기억하고 있는지를 재구성합니다.

• 반복적 확장 (Iterative Expansion): 초기 앵커 ($E_t$) 를 바탕으로 모델을 반복적으로 쿼리하여 관련 정보를 추출합니다.
• 가중치 지역 기억 그래프 (Weighted Local Memory Graph, $G_t$) 구축:
  • 추출된 엔티티들을 노드 ($V_t$) 로, 그들 간의 연관성을 엣지 ($E_t$) 로 표현합니다.
  • 기억 강도 (Memorization Strength): 동일한 정보가 여러 번 반복적으로 생성될수록 그 기억이 강력하다고 판단하여 가중치를 부여합니다. 이를 통해 노이즈를 필터링하고 안정적인 기억만 선별합니다.
  • $K$-hop 까지 확장하여 대상과 관련된 맥락적 단서들을 체계적으로 연결합니다.

2 단계: 범위 지정된 감독 신호 생성 (Scoped Supervision Construction)

구축된 기억 그래프를 기반으로 언러닝에 필요한 학습 데이터를 자동 생성합니다.

• 가중치 경로 샘플링 (Weighted Path Sampling): 기억 강도가 높은 경로 (Path) 를 우선적으로 샘플링하여, 모델이 가장 잘 기억하는 내용을 중심으로 언러닝 신호를 집중시킵니다.
• 엣지 - 이벤트 합성 (Edge-to-Event Synthesis):
  • 포기 세트 ($S_f$) 생성: 샘플링된 경로 (노드 쌍) 를 바탕으로 구체적인 사실적 진술 (Event Statement) 을 생성하고, 이를 QA(질문 - 답변) 형식으로 변환합니다. 답변 부분에만 그래디언트 업데이트를 적용하여 불필요한 손상을 줄입니다.
  • 이웃 세트 (Neighbor Set, $S_n$) 생성: 대상 ($E_t$) 은 포함하지 않지만 관련 있는 다른 엔티티들을 포함하는 데이터를 생성합니다. 이는 모델이 대상에 대한 지식만 잊고, 주변 지식은 유지하도록 하는 제약 조건 (Boundary Constraint) 역할을 합니다.

이렇게 생성된 $S_f$와 $S_n$은 기존 언러닝 알고리즘 (GA, NPO 등) 에 바로 적용 가능한 표준 파인튜닝 데이터로 사용됩니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 언러닝 패러다임 제시: 외부에서 제공된 '포기 세트' 대신, 최소한의 검증 가능한 앵커만으로 언러닝을 수행하는 사용자 최소화 (User-minimized), 코퍼스 프리 (Corpus-free) 패러다임을 제안했습니다. 이는 보안 리스크를 획기적으로 줄이고 감사 가능성을 높입니다.
2. MAGE 프레임워크 개발: 모델 내부의 암기된 지식을 그래프 구조로 재구성하고, 이를 기반으로 범위 지정된 감독 신호 (Scoped Supervision) 를 자체 생성하는 메커니즘을 고안했습니다.
3. 성능 검증: 외부 참조 데이터 없이 생성된 데이터만으로도, 외부 데이터를 사용하는 기존 방법들과 비교해 동등하거나 더 나은 언러닝 성능을 달성함을 실험을 통해 입증했습니다.

---

4. 실험 결과 (Experimental Results)

저자들은 TOFU (가상의 저자) 와 RWKU (실제 유명인) 라는 두 가지 벤치마크에서 다양한 언러닝 전략 (GA, NPO, GA+GD, GA+KL) 을 적용하여 MAGE 를 평가했습니다.

• 언러닝 성능 (Forgetting Performance):
  • MAGE 는 외부 데이터를 사용하는 최상위 기법 (ELUDe, RWKU 등) 과 비교해 Forget Set 점수에서 경쟁력 있는 성능을 보였습니다. 특히 NPO 및 GA+GD 전략에서 가장 낮은 Forget Set 점수 (더 좋은 언러닝) 를 기록했습니다.
  • DirectQA(모델에게 직접 질문하여 생성) 방식보다 훨씬 효과적으로 대상 관련 지식을 제거했습니다.
• 유용성 보존 (Utility Preservation):
  • 대상 지식만 제거하고 모델의 전반적인 성능 (MMLU, BBH, TruthfulQA 등) 을 유지하는 데 성공했습니다.
  • 특히 이웃 세트 (Neighbor Set) 를 함께 사용하는 것이 모델의 성능 저하를 막는 데 결정적인 역할을 함을 확인했습니다.
• 기억 채굴 분석:
  • RWKU: MAGE 가 추출한 엔티티의 빈도 분포가 외부 참조 (ELUDe) 와 높은 유사성을 보였습니다.
  • TOFU: 실제 주입된 속성 (Ground Truth) 을 DirectQA 보다 더 넓은 범위로 성공적으로 복구해냈습니다.
  • 할루시네이션 영향: 생성된 데이터에 사실 오류가 일부 포함되어 있더라도, 언러닝 성능에는 큰 영향을 미치지 않음을 확인했습니다 (모델의 기억 패턴 자체가 더 중요함).

---

5. 의의 및 결론 (Significance)

이 논문은 LLM 언러닝 분야에서 보안과 실용성을 동시에 고려한 중요한 전환점을 제시합니다.

• 실무 적용 가능성: 사용자가 민감한 데이터를 직접 제출할 필요 없이, 이름이나 간단한 설명만으로 '잊힘'을 요청할 수 있어, 실제 서비스 환경에서의 개인정보 보호와 법적 준수를 용이하게 합니다.
• 보안 강화: 악성 '포기 세트'를 통한 백도어 공격이나 권한 남용의 위험을 근본적으로 차단합니다.
• 기술적 확장성: MAGE 는 모델에 독립적 (Model-agnostic) 이며, 기존 언러닝 파이프라인에 쉽게 통합될 수 있어 향후 LLM 윤리 및 규제 대응을 위한 핵심 기술로 기대됩니다.

결론적으로, MAGE 는 "외부 데이터에 의존하지 않고, 모델 내부의 기억 구조를 활용하여 안전하고 감시 가능한 방식으로 지식을 삭제하는" 새로운 표준을 제시합니다.