💬 NLP

ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models

ZeroUnlearn은 모델 편집을 통해 작업을 정밀한 지식 재 매핑 문제로 재구성하고, 민감한 정보를 효율적으로 제거하면서 전체 모델의 유용성을 유지하기 위해 곱셈적 파라미터 업데이트를 활용하는 퓨샷 지식 망각 프레임워크입니다.

원저자: Yujie Lin, Chengyi Yang, Zhishang Xiang, Yiping Song, Jinsong Su

게시일 2026-05-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yujie Lin, Chengyi Yang, Zhishang Xiang, Yiping Song, Jinsong Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 인터넷의 거의 모든 책을 읽은 거대하고 초지능적인 사서로 상상해 보세요. 이 사서는 매우 도움이 되지만, 너무 많은 책을 읽었기 때문에 때로는 기억해서는 안 되는 것들—예를 들어 사적인 비밀, 구식 사실, 또는 해로운 지시사항—을 기억하기도 합니다.

문제는 사서에게 특정 정보를 "잊게" 하라고 요청하면, 그것이 매우 어렵다는 점입니다.

옛 방법 (재학습): 사서에게 잊게 하려면, 나쁜 페이지를 제외한 모든 책을 다시 읽게 할 수 있습니다. 이는 한 권의 책을 제거하기 위해 도서관을 불태우고 처음부터 다시 짓는 것과 같습니다. 이는 영원히 걸리고 천문학적인 비용이 듭니다.
"공격적인" 방법 (파인튜닝): 또는 사서가 나쁜 사실을 언급할 때마다 그들을 꾸짖을 수도 있습니다. 이는 효과가 있지만, 종종 사서를 짜증나게 만들고 시를 쓰거나 수학 문제를 푸는 것과 같은 그들이 알고 있던 다른 좋은 것들을 잊게 만듭니다.

ZeroUnlearn 등장: "외과적 지우개"

이 논문의 저자들은 ZeroUnlearn이라는 새로운 방법을 제안합니다. 소리를 지르거나 도서관을 다시 짓는 대신, 그들은 사서의 기억을 외과적으로 편집할 수 있는 지도처럼 다룹니다.

간단한 비유를 사용하여 이것이 어떻게 작동하는지 살펴보겠습니다:

1. "널 공간 (Null Space)" 트릭 (보이지 않는 방)

사서의 뇌를 다양한 아이디어를 나타내는 가구로 가득 찬 거대한 방이라고 상상해 보세요. "민감한" 정보 (잊고자 하는 것) 는 구석에 있는 특정 의자입니다.

대부분의 방법은 의자를 부수거나 다른 방으로 옮기려 시도하는데, 이는 종종 옆의 테이블을 넘어뜨려 (다른 지식을 손상시킴) 문제를 일으킵니다.

ZeroUnlearn은 교묘한 일을 합니다: 의자가 실제로 차지하지 않는 특별한 보이지 않는 "널 공간 (차원)"을 찾습니다. 그런 다음 의자를 가져와 이 보이지 않는 방으로 투영하여 사서의 시야에서 사실상 존재하지 않게 만듭니다.

비유: 그림에서 특정 색상을 가져와 "투명 잉크"로 바꾸는 것과 같습니다. 그림은 여전히 아름답고 완전하게 보입니다 (사서는 여전히 시를 쓰고 수학을 할 수 있음), 하지만 그 특정 색상은 사라졌습니다.

2. "한 걸음" 마법 (폐형 해법)

보통 실수를 고치려면 많은 시도 (시행착오) 가 필요합니다. ZeroUnlearn 은 다릅니다. 저자들은 단 한 걸음으로 필요한 정확한 움직임을 계산하는 수학적 "마법 공식" (폐형 해법) 을 발견했습니다.

비유: 무거운 바위를 산을 따라 인치 단위로 밀어 올리는 대신, 바위를 완벽하게 제자리에 즉시 들어 올리는 지렛대를 찾은 것입니다. 이는 잊어야 할 몇 가지 예시만 있더라도 ("Few-Shot"이라고 함) 과정을 놀라울 정도로 빠르게 만듭니다.

3. "중립적 목표" ( 버튼)

사서가 민감한 정보를 마주칠 때, ZeroUnlearn 은 그들을 단순히 혼란스럽게 만드는 것이 아니라 "정지" 버튼을 누르도록 가르칩니다.

비유: 누군가 "비밀 비밀번호가 무엇입니까?"라고 물으면, 사서는 과거에 비밀번호를 말했습니다. 이제 ZeroUnlearn 은 사서를 재프로그래밍하여 그 질문을 들으면 즉시 "모릅니다"라고 말하거나 단순히 말을 멈추게 (와 같은 토큰으로 표현됨) 합니다. 이는 위험한 답변을 안전하고 중립적인 침묵으로 덮어씌웁니다.

4. 왜 이것이 사서를 망치지 않는가

이러한 방법들에 대한 가장 큰 두려움은 실수로 사서가 영어를 말하는 법 전체를 잊게 만들 수 있다는 점입니다.

논문의 주장: ZeroUnlearn 은 "직교 (orthogonal)"하도록 설계되었습니다. 다른 방송국의 볼륨 노브를 건드리지 않고 라디오 방송국의 볼륨만 조절하는 것과 같습니다. 논문은 이 특정 수학적 투영을 사용하여 좋은 기억들의 "이웃"을 방해하지 않고 나쁜 기억을 지울 수 있다고 주장합니다.
결과: 그들의 테스트에서 ZeroUnlearn 이 나쁜 사실을 성공적으로 제거했음을 (종종 모델이 이를 회상하는 능력을 0% 로 감소시킴) 보여주었으며, 모델의 일반 지능과 언어 능력은 이전과 거의 정확히 동일하게 유지되었습니다.

요약

ZeroUnlearn은 처음부터 다시 재학습하거나 실수로 다른 능력을 망치지 않고 AI 모델에서 특정, 민감하거나 해로운 기억들을 외과적으로 제거할 수 있게 해주는 새로운 도구입니다. 이는 나쁜 기억들을 보이지 않는 공허 속으로 수학적으로 "투영"하고, 이를 안전하고 중립적인 응답으로 대체함으로써, 모든 것을 단일하고 효율적인 단계에서 수행합니다.

기술 요약: ZeroUnlearn

문제 정의

거대 웹 말뭉치로 훈련된 대규모 언어 모델 (LLM) 은 필연적으로 민감한 정보, 편향된 정보, 개인 정보, 또는 구식 정보를 보유하게 됩니다. 이러한 지식을 선택적으로 제거하는 능력, 즉 머신 언러닝 (machine unlearning) 은 개인정보 보호 규정 준수와 안전성을 위해 필수적입니다. 그러나 기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

재훈련 (Retraining): 특정 데이터를 제거한 후 모델을 처음부터 다시 훈련시키는 것은 현대 LLM 의 규모로 인해 계산 비용이 너무 많이 들어 실행 불가능합니다.
과격한 파인튜닝 (Aggressive Fine-tuning): 경사 상승 (Gradient Ascent, GA) 이나 표준 파인튜닝 (Fine-Tuning, FT) 과 같은 방법은 종종 파괴적 망각 (catastrophic forgetting) 을 초래하여, 모델의 일반적인 언어 능력과 관련된 "이웃" 지식이 의도치 않게 손상됩니다.
지식 편집의 한계 (Knowledge Editing Limitations): 지식 편집은 특정 매개변수를 수정함으로써 더 정밀한 대안을 제공하지만, 기존 기법들은 특히 퓨샷 (few-shot) 시나리오에서 효과적인 언러닝과 일반 모델 유용성 유지 사이의 균형을 맞추는 데 어려움을 겪습니다.

방법론

본 논문은 모델 편집을 통해 머신 언러닝을 정밀한 지식 재매핑 문제로 재정의하는 ZeroUnlearn 프레임워크를 제안합니다. ZeroUnlearn 은 가중치를 파괴적으로 교란시키는 대신, 민감한 입력을 중립적인 목표 상태 (예: <EOS> 토큰) 로 매핑하고 원래 표현을 명시적으로 제거함으로써 민감한 입력을 덮어씁니다.

핵심 메커니즘: 곱셈 파라미터 업데이트

전통적인 가산적 편집과 달리, ZeroUnlearn 은 곱셈 파라미터 업데이트를 사용합니다. 업데이트된 가중치 행렬 $\tilde{W}$ 는 $\tilde{W} = D W$ 로 정의되며, 여기서 $W$ 는 원래 가중치 행렬이고 $D$ 는 변환 행렬입니다.

이 방법은 널-공간 (null-space) 제약 조건을 통해 표현 직교성 (representational orthogonality) 을 강제합니다. 최적화 목적 함수는 세 가지 항으로 구성됩니다:

Zero 항: 업데이트된 출력이 원래 민감한 지식 ( $M_f$ ) 에 직교하도록 보장하여 유사성을 효과적으로 0 으로 만듭니다.
Forget 항: 잊힘 집합 (forget set) 의 입력 키 ( $K_f$ ) 를 중립적인 목표 상태 ( $M_n$ ) 로 재지시합니다.
Utility 항: 파괴적 망각을 방지하기 위해 일반 지식 ( $K_0, M_0$ ) 에 대한 모델의 성능을 유지합니다.

폐형 해 (Few-Shot)

퓨샷 시나리오의 경우, 저자들은 최적 변환 행렬 $D^*$ 에 대한 폐형 해 (closed-form solution) 를 유도합니다. 민감한 출력 행렬 $M_f$ 에 특이값 분해 (SVD) 를 수행하여 $M_f$ 의 널-공간으로 업데이트를 투영하는 직교 투영 행렬 $P$ 를 구성합니다. 이는 수정이 민감한 지식의 특정 방향에만 국한되도록 하여 모델 용량의 대부분을 untouched(손대지 않음) 상태로 둡니다. 해는 다음과 같이 주어집니다:
$\tilde{D}^* = P(A + W)W^\top(W(B + I)W^\top)^{-1}$
여기서 $A$ 와 $B$ 는 입력 키와 목표의 교차 상관관계 및 2 차 모멘트를 집계한 행렬입니다.

다중 샘플 확장 (ZeroUnlearn-GD)

다중 샘플 언러닝의 경우, 실베스터 방정식 (Sylvester equation) 에 관련된 크로네커 곱의 고차원성으로 인해 폐형 해는 계산적으로 비실용적이 됩니다. 이를 해결하기 위해 저자들은 ZeroUnlearn-GD를 도입합니다. 이는 명시적인 행렬 역을 피하면서 유용성을 보존하기 위해 널-공간 제약을 유지하는 경사 하강법 (Gradient Descent) 을 사용하여 최적의 가산적 교란을 근사화합니다.

주요 기여

ZeroUnlearn 프레임워크: 곱셈 업데이트와 널-공간 투영을 사용하여 언러닝을 지식 재매핑 작업으로 재구성하여 민감한 정보를 철저히 소거하는 새로운 방법론.
이론적 유도: 퓨샷 시나리오에서 효율적인 1 단계 최적화를 위한 폐형 해와, 배치 처리를 위한 경사 기반 확장 (ZeroUnlearn-GD).
경험적 우위: 광범위한 실험을 통해 ZeroUnlearn 이 기존 베이스라인 (GA, FT, ROME, MEMIT, AlphaEdit) 보다 언러닝 효율성에서 우수하면서도 일반 모델 유용성과 이웃 지식을 훨씬 더 잘 보존함을 입증.

실험 결과

저자들은 MCF, ZsRE, MQUAKE 데이터셋을 사용하여 Llama-3.2-3B, Llama-3.1-8B, Qwen-3-4B 모델에서 ZeroUnlearn 을 평가했습니다.

언러닝 효율성: ZeroUnlearn 은 최첨단 성능을 달성하여 원래 민감한 응답을 생성할 확률을 거의 0 으로 줄였습니다 (예: Llama-3.1 의 MCF 에 대해 0% 효율). 반면 ROME 와 MEMIT 와 같은 방법들은 상당한 잔여 지식을 유지했습니다 (예: 약 24% 효율).
유용성 보존: 파괴적 망각을 초래하여 PPL 이 1000 을 초과하고 특이도가 거의 0 으로 떨어지게 만든 GA 와 FT 와 달리, ZeroUnlearn 은 기본 모델과 비교 가능한 퍼플렉시티 (PPL) 와 특이도 점수를 유지했습니다.
일반화: 이 방법은 입력이 재문장화 (paraphrased) 되었을 때도 민감한 정보를 성공적으로 억제했으며, SST, MMLU, NLI 와 같은 하류 작업의 성능을 저하시키지 않았습니다.
시각화: MLP 표현의 PCA 시각화는 ZeroUnlearn 이 언러닝된 샘플을 원래 분포에서 효과적으로 분리하는 반면, AlphaEdit 와 MEMIT 와 같은 베이스라인은 원본 데이터와 중첩이 심함을 확인시켜 주었습니다.

중요성과 주장

본 논문은 ZeroUnlearn 이 머신 언러닝에 대한 외과적 접근법 (surgical approach) 을 제공한다고 주장합니다. 민감한 표현을 직교 널-공간으로 투영함으로써 망각의 정밀도와 일반 유용성 보존 사이의 우수한 균형을 달성합니다.

저자들은 이 작업이 독성 콘텐츠, 환각, 개인 데이터를 재훈련 없이 제거할 수 있게 함으로써 더 신뢰할 수 있고 법적으로 준수하는 AI 시스템 개발에 기여한다고 강조합니다. 그들은 이 방법이 특정 지식의 망각과 모델의 근본적인 언어 능력 유지 사이의 트레이드오프를 해결하여 LLM 의 책임 있는 배포에서 중요한 과제를 해결한다고 명시합니다. 본 논문은 이 기술로 인한 즉각적인 부정적인 사회적 결과를 예상하지 않습니다.