CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 웹에서 수집된 방대한 텍스트로 학습되기 때문에, 저작권 침해, 민감 정보, 위험한 정보, 허위 사실 등 잠재적으로 문제가 되는 데이터를 사전에 완전히 필터링하는 것은 불가능합니다. 이로 인해 학습 후 특정 지식을 '삭제 (Unlearning)'해야 할 필요성이 대두되었습니다.

기존의 주요 문제점은 다음과 같습니다:

• 파라미터 수정에 따른 성능 저하: 기존 방법들은 LLM 의 가중치를 직접 수정하여 지식을 삭제하려 합니다. 이는 **재앙적 망각 (Catastrophic Forgetting)**을 유발하여, 삭제하려는 지식뿐만 아니라 유지해야 할 일반 지식 (Utility) 의 성능도 급격히 떨어뜨립니다.
• 연속적 (Continual) 및 실시간 처리 부재: 현실 세계에서는 삭제 요청이 지속적으로 들어옵니다. 기존 방법들은 새로운 삭제 요청이 들어올 때마다 모델을 재학습하거나 복잡한 최적화를 수행해야 하므로, 처리 시간이 길어 민감 정보가 삭제 완료 전까지 노출될 위험이 있습니다.
• 유지 데이터 (Retain Set) 의존성: 많은 기존 방법들이 유지해야 할 지식을 보존하기 위해 '유지 데이터셋'이 필요하며, 이를 수집하고 학습하는 비용이 큽니다.

2. 제안 방법: CURaTE (Methodology)

저자들은 **CURaTE(Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge)**를 제안합니다. 이 방법의 핵심은 LLM 의 가중치를 전혀 수정하지 않고, 별도의 **문장 임베딩 모델 (Sentence Embedder)**을 활용하여 삭제 요청과 사용자 입력을 실시간으로 분류하는 것입니다.

2.1. 핵심 구성 요소

1. 사전 학습 단계 (Pre-deployment Training):

   • LLM 배포 전에 **삭제 임베딩 모델 (Unlearning Sentence Embedder, $U$)**을 학습합니다.
   • 데이터 생성: 삭제 세트 (Forget Set) 나 유지 세트 (Retain Set) 를 사용하지 않고, 시드 데이터셋 (예: Natural Questions) 에서 3 가지 유형의 합성 데이터를 생성합니다.
     • Type 1 (Positive): 원본 질문과 의미는 같지만 문장이 다른 재구성된 질문 (Paraphrase).
     • Type 2 (Hard Negative): 어휘/구문적 겹침은 높지만 의미는 다른 대조적 질문.
     • Type 3 (Hard Negative): Type 1 의 재구성된 질문에 대해 다시 대조적 질문 생성.
   • 학습 목표: Contrastive Loss 를 사용하여, 삭제 요청과 유사한 입력은 임베딩 공간에서 가깝게, 의미는 다르지만 유사해 보이는 입력 (Hard Negative) 은 멀게 만드는 **정교한 결정 경계 (Sharp Decision Boundary)**를 형성합니다.

2. 배포 후 추론 단계 (Post-deployment Inference):

   • 실시간 업데이트: 새로운 삭제 요청 ($f$) 이 들어오면, 이를 임베딩 모델 $U$로 변환하여 **삭제 임베딩 데이터베이스 ($F$)**에 즉시 저장합니다. (가중치 수정 없음)
   • 검색 및 임계값 판단: 사용자 입력 ($p$) 이 들어오면 $U$로 임베딩한 후, 데이터베이스 $F$ 내의 모든 삭제 요청과 코사인 유사도를 계산합니다.
   • 결정:
     • 최대 유사도 점수 ($s_{max}$) 가 임계값 ($\delta$) 보다 낮으면: LLM 이 정상 응답을 생성합니다.
     • $s_{max} \ge \delta$이면: LLM 응답을 차단하고 미리 정의된 거절 응답 (예: "알 수 없습니다") 을 반환합니다.

3. 주요 기여 (Key Contributions)

1. 실시간 연속 삭제 (Real-time Continual Unlearning): LLM 가중치 수정이 필요 없어, 삭제 요청이 들어오는 즉시 처리 가능합니다. 기존 방법들보다 훨씬 빠른 속도를 자랑합니다.
2. 완벽한 지식 보존 (Near Perfect Knowledge Preservation): LLM 의 파라미터를 변경하지 않으므로, 삭제 작업이 누적되더라도 유지 데이터셋과 일반 지식에 대한 성능 저하가 거의 없습니다.
3. 범용성 및 일반화: 단일 데이터셋으로 학습된 임베딩 모델이 다양한 도메인과 삭제 작업에 적용 가능하며, 유지 데이터셋 (Retain Set) 이 필요 없습니다.
4. 강건한 성능: 삭제 세트의 문장 변형 (Paraphrasing) 에도 효과적으로 대응하며, 기존 SOTA 방법들보다 우수한 성능을 보입니다.

4. 실험 결과 (Results)

저자들은 RETURN(개인정보), TOFU(가짜 저자), TruthfulQA(허위 정보), ScienceQA(과학 지식) 등 4 가지 벤치마크에서 연속 삭제 설정으로 실험을 수행했습니다.

• 지식 보존 (Utility Preservation): CURaTE 는 10 단계에 걸친 연속 삭제 후에도 Base 모델 (학습 전) 과 거의 동일한 성능을 유지했습니다. 반면, 기존 방법들 (GA, GradDiff, PO 등) 은 재앙적 망각으로 인해 유지 데이터셋 성능이 급격히 하락하거나 0 에 수렴했습니다.
• 삭제 효과 (Forgetting Effectiveness): CURaTE 는 삭제 대상 지식에 대해 높은 거절률 (Refusal Rate) 을 보이며 효과적으로 삭제했습니다. 특히 O3 나 UniErase 와 같은 다른 비가중치 수정 방법들도 일부 성능을 보였으나, CURaTE 는 재구성된 질문 (Paraphrase) 에 대한 일반화 능력이 훨씬 뛰어났습니다.
• 효율성 (Efficiency):
  • 삭제 시간: CURaTE 는 삭제 요청 처리에 0.04 초가 소요되었으며, 이는 기존 방법들 (수백 초) 에 비해 압도적으로 빠릅니다.
  • 추론 오버헤드: 검색 및 임계값 판단으로 인한 오버헤드는 0.01 초로 무시할 수준입니다.
• Ablation Study: 제안된 3 가지 데이터 유형과 Hard Negative 샘플이 없으면 분류 성능 (F1 Score) 이 크게 저하됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 '지식 삭제' 문제를 **모델 가중치 수정의 패러다임에서 벗어나 행동적 삭제 (Behavioral Unlearning)**로 전환시켰다는 점에서 의의가 큽니다.

• 실용성: GDPR 의 '잊힐 권리 (Right to be Forgotten)'와 같이 실시간으로 삭제 요청이 들어오는 실제 환경에서, 모델 재학습 없이 즉시 대응할 수 있는 유일한 방법론을 제시했습니다.
• 안전성: 민감 정보나 위험한 정보가 모델 내부에 남아있더라도, 외부 필터링을 통해 유출을 차단함으로써 안전성을 확보합니다.
• 확장성: 삭제 요청이 수천, 수백만 개로 늘어나도 LLM 의 가중치 변경 부담이 없으며, 압축 기법 등을 통해 데이터베이스 크기를 최적화할 수 있어 확장성이 뛰어납니다.

결론적으로, CURaTE 는 실시간 처리, 지식 보존, 삭제 효율성이라는 세 가지 핵심 요구사항을 모두 충족하는 최초의 연속 삭제 프레임워크로, 실제 LLM 배포 환경에서의 필수 기술로 평가됩니다.