기술 요약: 좁게는 잊고, 넓게는 유지하라 (Forget Narrowly, Retain Broadly)

문제 정의

대규모 언어 모델(LLM)의 머신 언러닝(Machine unlearning)은 특정 지식(예: 개인정보 보호 또는 안전을 위해)을 제거하면서도 다른 모든 능력은 보존하는 것을 목표로 한다. 그러나 기존의 평가 벤치마크는 **비대칭적 일반화 문제(asymmetric generalization problem)**로 인해 성공 여부를 신뢰성 있게 측정하는 데 실패하고 있다.

현재의 벤치마크는 두 가지 주요 실패 모드를 겪는다:

1. 미흡한 망각 (Under-forgetting): 모델이 직접적인 질의에는 대상 사실을 잊은 것처럼 보이지만, 패러프레이징된 질문, 간접적인 질문, 또는 다단계 추론(multi-hop reasoning) 질의를 통해 정보가 다시 나타난다. 기존의 평가는 '망각' 세트에 대한 집약적 일반화(intensive generalization)를 테스트하기 위해 필요한 다양한 질의 형식이 부족하다.
2. 과도한 망각 (Over-forgetting): 언러닝 방법이 대상 지식과 무관한 지식, 즉 의미적으로 유사한 개념, 구문적으로 유사한 질의, 어휘적으로 중첩되는 용어 등의 성능을 의도치 않게 저하시킨다. 기존 벤치마크는 미세한 수준에서 '망각-유지(forget-retain)' 경계를 정의하지 못하며, 의미적 근접성, 구문 구조 및 어휘적 민감성을 조사하는 프로브(probe)가 부족하다.

핵심 과제는 '유지' 세트가 암묵적으로 '그 외 나머지 전부'로 정의되어 있어, 진정한 망각과 억제(suppression)를 구분하거나, 진정한 유지와 부수적 피해(collateral damage)를 구분하기 어렵다는 점이다.

방법론

SUITE: 고립된 주제 및 사건의 선택적 언러닝 (Selective Unlearning of Isolated Topics and Events)

이러한 격차를 해결하기 위해, 저자들은 언러닝의 비대칭적 특성을 포착하도록 설계된 미세 조정 평가 프로토콜이자 학습 코퍼스인 SUITE를 도입한다. SUITE는 네 가지 실제 사실적 주제(예: 챌린저호 참사, 세일럼 마녀 재판)를 중심으로 구축되었으며, 세 가지 축을 통해 망각-유지 경계를 정의한다:

• 망각 세트 구성 ($D_F$):

  • 직접, 역방향 및 간접 질의: 표준적인 직접 질문 외에도, 주제를 식별하기 위해 정답을 제공하는 역방향 질문과, 대상 엔티티 이름을 완전히 생략하고 다단계 추론을 요구하는 간접 질문을 포함한다.
  • 언어적 변형: 스타일 과적합을 방기하기 위해, 모든 질문은 서로 다른 LLM으로 생성된 패러프레이즈 및 빈칸 채우기 변형을 통해 증강된다.
  • 학습/평가 분리: 학습과 평가 분리에 서로 다른 재구문(rephrasing)을 사용하여, 일반화 능력이 보지 못한 질의 형태에 대해 테스트되도록 한다.

• 유지 세트 구성 ($D_R$):

  • 의미적 근접성: 유지 세트는 감소하는 의미적 근접성에 따라 16개의 티어(Tier 0 ~ Tier 15)로 조직된다. Tier 0은 망각 주제의 일반적 개념(예: 챌린저 참사를 제외한 우주 왕복 프로그램)을 다루며, 높은 티어로 갈수록 점점 더 먼 주제를 다룬다.
  • 구문 및 어휘 제어: 망각 질의와 구문 구조를 공유하지만 관련 없는 엔티티를 사용하는 질문, 그리고 관련 없는 문맥에서 망각 세트의 용어를 사용하는 질문(예: "Challenger Deep" vs. "Challenger disaster")을 포함한다.
  • 일반 지식: 모델의 전반적인 유용성을 테스트하기 위해 관련 없는 도메인의 광범위한 사실적 질의를 포함한다.

JensUn++: 언러닝 알고리즘

SUITE의 통찰을 바탕으로, 저자들은 지식을 억제(이는 종-종 횡설수설을 초래함)하는 대신 유효한 거절(refusal)을 생성하는 데 집중하여 기존의 최첨단 방식(JensUn)을 개선한 언러닝 알고리즘인 **JensUn++**를 제안한다. 주요 구성 요소는 다음과 같다:

1. 분포 매칭 목적 함수 (Distribution Matching Objective): 모델이 유지 세트에 대해 원래의 사전 학습된 분포를 따르도록 학습(Jensen-Shannon 발산 사용)하는 동시에, 망각 세트에 대해 특정 거절 문자열을 생성하도록 학습한다.
2. 확률적 접두사 혼합 (Stochastic Prefix-Mixing): 모델이 부분적인 정답에 조건화되어 있더라도 거절하도록 보장하기 위해, 원래 답변에서 임의의 접두사 길이를 샘플링하고 그 뒤에 거절 문자열을 붙여 학습 데이터를 증강한다. 이는 모델이 생성 시퀀스의 어느 지점에서든 거절 상태로 전환하도록 강제한다.
3. 적응형 손실 균형 (Adaptive Loss Balancing): 망각 손실과 유지 손실을 그래디언트 노름(gradient norms)에 따라 동적으로 스케일링하는 계수를 도입하여, 학습 단계마다 한 쪽 목적 함수가 다른 쪽을 압도하는 것을 방지한다.
4. 질의 쌍 구성 (Query Pairing): 모델이 표면적인 상관관계가 아닌 의미적 내용에 의존하도록 장려하기 위해, 증강 유형별로 망각 및 유지 샘플을 쌍으로 구성한다.

주요 기여

1. 언러닝 평가의 재정의: 본 논문은 언러링을 비대칭적 일반화 문제로 재정의하며, 집약적 일반화(망각 측면)와 광범위한 일반화(유지 측면)를 모두 테스트하는 벤치마크의 필요성을 역설한다.
2. SUITE 데이터셋 및 프로토콜: 간접 질의를 통한 미흡한 망각 테스트와, 단계별 의미/구문/어휘 프로브를 통한 과도한 망각 테스트를 포함하여, 망각-유지 경계에 대한 최초의 미세한 주석을 제공하는 SUITE를 도입한다.
3. 학습 데이터의 경험적 분석: 학습 데이터의 선택이 알고리즘 설계만큼 중요하다는 것을 보여주는 포괄적인 연구를 수행한다. SUITE에서 학습된 방법들은 이전 벤치마크(LKF* 등)에서 학습된 방법들보다 상당한 개선을 보였으며, 이는 이전의 평가들이 언러닝 성능을 크게 과대평가했음을 드러낸다.
4. JensUn++ 알고로리즘: 세 가지 서로 다른 LLM(Llama-3.2-3B, Ministral-3-3B, Qwen3.5-9B)에 대해 순차적 및 공동 언러닝 설정 모두에서 최적의 망각-유지 트레이드오프를 달고하는 새로운 언러닝 방법을 제 제안한다. 이 방법은 억제 기반 방식에서 흔히 발생하는 횡설수설이나 환각을 피하고, 자연스럽고 일관된 거절 문자열을 생성한다.

결과

• 평가 불일치: LKF* 하에서 성공적으로 보였던 방법들(PDU, RMU, NPO 등)이 SUITE 평가에서는 심각한 미흡한 망각(망각률 >90%)과 과도한 망각(의미적으로 가까운 티어에서의 유지 정확도 급락)을 보였다.
• 학습 영향: RMU를 제외한 모든 방법이 SUITE 학습을 통해 성능이 크게 향상되었다. RMU는 미세한 데이터로부터 혜택을 받지 못했는데, 이는 간접 및 역방향 질의를 처리하는 능력의 한계를 드러낸 것이다.
• JensUn++ 성능:
  • 망각 성능: 모든 모델과 설정에서 거의 완전한 망각(최악의 경우 지식 망각률 0~3%)을 달ato했으며, 0%의 횡설수설 출력을 기록했다.
  • 유지 성능: 의미적으로 가까운 티어(Tier 0)에서도 사전 학습된 모델 대비 최소한의 저하(1~3% 하락)만을 보이며 높은 유지 정확도를 유지했다.
  • 강건성: 적대적 질의(예: 역할극, 언어 전환) 및 관련 없는 데이터에 대한 후속 학습 시 발생할 수 있는 "양의 재학습(benign relearning)" 공격에 대한 탄력성을 입증했다.
  • 유용성: 경쟁 방법들보다 일반적인 다운스트림 능력(MMLU 점수, 생성 다양성, 응답 품질)을 더 잘 보존했다.

의의

본 논문은 미세한 망각-유지 경계 없이는 언러닝이 제대로 정의될 수 없다고 주장한다. SUITE는 미흡한 망각과 과도한 망각을 모두 진단할 수 있는 구조를 제공하여, 보다 신뢰할 수 있는 언러닝의 토대를 마련한다. 결과에 따르면 학습 데이터의 품질은 알고리즘 설계만큼 중요하다. 무엇을 잊고 무엇을 유지할지에 대한 경계를 명시적으로 인코딩하는 데이터 없이는, 아무리 정교한 알고리즘이라도 올바르게 일반화하는 데 실패한다. JensUn++는 적절한 데이터와 거절 기반 접근 방식을 결使用하면, 효과적인 언러닝이 가능하며, 이는 강건하고 안전하며(유효한 거절 생성) 모델의 유용성을 보존할 수 있음을 보여준다.