💬 NLP

Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

이 논문은 망각(forget)과 유지(retain) 목적 함수 간의 충돌을 통해 토큰 수준의 중요성을 공동으로 학습함으로써 외부 감독이나 보조 모델 없이도 최첨단 성능을 달리는 경량화된 프레임워크인 교대 토큰 가중치 언러닝(Alternating Token-Weighted Unlearning, ATWU)을 소개한다.

원저자: Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제의 핵심: 페이지 전체를 번지게 만드는 "지우개"

당신에게 아주 거대하고 똑똑한 도서관(거대 언어 모델, LLM)이 있다고 상상해 보세요. 이 도서관은 인터넷에 있는 거의 모든 것을 읽었습니다. 그런데 어느 날, 누군가의 비밀 일기 내용이 도서관에 저장되어 있다는 사실을 알게 되었고, 이를 즉시 삭제해야 합니다.

문제는 도서관이 너무 방대해서 그 일기가 적힌 특정 페이지를 그냥 찢어낼 수 없다는 점입니다. 만약 그 일기를 제외하고 도서 전체를 다시 학습시켜서 그 내용을 "망각(unlearn)"하게 하려 한다면, 예의 바른 이메일을 쓰는 법이나 수학 문제를 푸는 법 같은 다른 유용한 지식들까지 실수로 함께 지워버릴 수도 있습니다.

현재의 "망각" 방식은 거대하고 뭉툭한 지우개를 사용하는 것과 같습니다. 그들은 비밀이 담긴 문장이나 단락 전체를 지우려고 시도합니다. 하지만 그 과정에서 비밀뿐만 아니라 문법, 구두점, 그리고 일반적인 단어들(예: "그", "그리고" 등)까지 함께 지워버리곤 합니다. 이는 결국 도서관의 글쓰기 스타일을 망가뜨리고 서툴게 만듭니다.

핵심 아이디어: 스마트한 정밀 외과용 메스

이 논문의 저자들은 '망각'에 대해 새로운 방식으로 접근할 것을 제안합니다. 그들은 비밀 문장의 모든 단어가 비밀을 유지하는 데 똑같이 중요한 것은 아니라는 사실을 깨달았습니다.

비밀 부분: 제거하고자 하는 특정 이름, 날짜 또는 사실 (예: "Hina Ameen").
구조적 부분: 문장을 유지하는 데 필요한 지루하지만 필수적인 단어들 (예: "저자는...").

만약 모델에게 "그(The)"라는 단어를 잊게 만들려고 한다면, 당신은 비밀을 제거하는 것이 아니라 문법을 파괴하는 것입니다. 모델은 "그"라는 단어를 사용하는 법을 계속 알고 있어야 합니다.

해결책: ATWU (교차 토큰 가중치 망각)

이 논문은 ATWU라고 불리는 방법을 소개합니다. 이것은 도서관에 뭉툭한 지우개 대신 스마트한 정밀 외과용 메스를 쥐여주는 것과 같습니다.

작동 방식은 다음과 같습니다:

충돌 테스트 (The Conflict Test): 저자들은 어떤 단어를 지울지 결정하는 가장 좋은 방법은, 그 단어를 잊었을 때 도서관에 얼마나 많은 "고통"을 주는지 확인하는 것이라는 점을 발견했습니다.
- 만약 도서관가 "Hina"(비밀)라는 단어를 잊으려 한다면, 그것은 좋은 문장을 쓰는 능력에 타격을 주지 않습니다.
- 하지만 "그(The)"라는 단어를 잊으려 한다면, 모델은 횡설수설하기 시작합니다.
- 통찰: 만약 어떤 단어를 잊는 것이 도서관의 일반적인 기술에 해를 끼치지 않는다면, 그 단어는 삭제하기에 적합한 후보입니다. 만약 기술에 해를 끼친다면, 그 단어는 남겨두어야 합니다.
"점수 기록원" (선형 스코러, Linear Scorer):
- 모든 문장을 읽고 삭제할 단어에 동그라미를 치기 위해 사람을 고용하는 대신(이는 느리고 비용이 많이 듭니다), 저자들은 모델 내부에 작고 단순한 "점수 기록원"을 구축했습니다.
- 이 점수 기록원은 모델의 "뇌"(은닉 상태, hidden states)를 관찰하여 모든 단어에 점수를 부여합니다.
- 높은 점수: "이 단어는 비밀입니다. 반드시 지워야 합니다."
- 낮은 점 점수: "이 단어는 그저 문법일 뿐입니다. 그대로 두십시오."
춤추는 단계 (교차 최적화, Alternating Optimization):
- 모델과 점수 기록원은 번갈아 가며 학습합니다.
- 먼저, 점수 기록원이 어떤 단어를 잊어야 할지 결정합니다.
- 그다음, 모델은 나머지 기술들을 온전히 유지하면서도 그 특정 단어들만을 잊으려고 노력합니다.
- 그 후, 점수 기록원은 모델이 어떻게 변했는지 관찰하고, 더 정확해지도록 점수를 업데이트합니다.
- 그들은 모델이 다른 것을 망가뜨리지 않고 정확히 무엇을 잊어야 하는지 배울 때까지 이 과정을 반복하며 번갈아 춤을 춥니다.

왜 더 나은가 (결과)

이 논문은 이 방법을 두 가지 서로 다른 "도서관"(데이터셋)에서 테스트했으며, ATWU가 기존 방식보다 훨씬 뛰어나다는 것을 발견했습니다.

정밀도 (Precision): 특정 비밀(예: "Hina Ameen"이라는 이름)을 성공적으로 제거하면서도, 모델이 정상적이고 고품질의 텍스트를 쓰는 능력은 그대로 유지했습니다.
추가 도움 불필요: 삭제할 단어를 파악하기 위해 별도의 외부 AI의 도움을 받아야 하는 다른 방식들과 달리, ATWU는 모델 자체의 내부 신호를 사용하여 스스로 문제를 해결합니다.
더 나은 균형: ATWU는 다른 어떤 테스트된 방법보다 나쁜 정보는 더 효과적으로 잊으면서, 좋은 정보는 더 잘 유지하는 더 나은 트레이드오프(trade-off)를 달성했습니다.

비유의 "마법"

당신이 흰 셔츠에서 특정 얼룩을 제거하려고 한다고 상상해 보세요.

기존 방식: 셔츠 전체에 표백제를 뿌려 문지릅니다. 얼룩은 사라졌지만, 셔츠는 노랗게 변하고 망가져 버립니다.
ATWU: 얼룩의 색상만을 정밀하게 타격하는 레이저를 사용합니다. 레이저는 얼룩만 완벽하게 태워 없애고, 흰색 천 부분은 전혀 손상시키지 않습니다.

요약된 주장

이 논문은 "망각"을 모델이 무엇을 잊어야 하는지와 어떻게 잊어야 하는지를 동시에 배우는 공동의 문제로 다룸으로써, 다음과 같은 "머신 언러닝(machine unlearning)"을 달성할 수 있다고 주장합니다:

비지도 학습 (Unsupervised): 어떤 단어를 지울지 라벨링하기 위해 인간의 도움이 필요하지 않습니다.
효율성 (Efficient): 매우 단순하고 가벼운 메커니즘(선형 스코러)을 사용하여 작업을 수행합니다.
효과성 (Effective): 모델이 가진 "비밀을 기억하려는 것"과 "기술을 유지하려는 것" 사이의 내부적 충돌이 모델에게 무엇을 잊어야 하는지에 대한 모든 단서를 제공함으로써, 훨씬 더 깨끗한 분리를 만들어냅니다.

저자들은 이 접근 방식이 모델에게 무엇을 잊게 가르치기 위해 외부 도구나 값비싼 주석(annotation)이 필요하지 않다는 것을 증명한다고 결론짓습니다. 모델 자신의 내부적 충돌 자체가 필요한 모든 실마리를 제공하기 때문입니다.

기술 요약: 무엇을 잊을 것인가: 학습된 토큰 수준 중요도를 통한 LLM 언러닝 개선

문제 정의
기계 언러닝(Machine unlearning)은 학습된 대규모 언어 모델(LLM)로부터 처음부터 다시 학습시키지 않고도 특정 지식(예: 개인 데이터, 저작권이 있는 텍스트, 유해한 콘텐츠)을 제거하는 것을 목표로 한다. 자기회귀적(autoregressive) LLM에서 핵심적인 과제는 "망각 샘플"(제거 대상 데이터) 내의 모든 토큰이 타겟 정보와 동일하게 관련되어 있지는 않다는 점이다. 많은 토큰은 구조적(예: 기능어, 구두점, 구문 패턴)이며 일반적인 언어 능력을 유지하는 데 필요하다. 기존의 토큰 가중치 기반 언러닝 방식은 특정 토큰에 선택적으로 망각 손실(forget loss)을 적용하려고 시도하지만, 토큰의 관련성을 추정하기 위해 외부 주석, 보조 모델, 확률 기반 휴리스틱 또는 작업별 규칙에 의존한다. 이러한 방법들은 망각 전용 콘텐츠와 구조적 토큰을 효과적으로 구분하지 못하는 경우가 많으며, 이로 인해 불충분한 망각이 발생하거나 불필요한 유틸리티 저하가 일어난다.

방법론: 교대 토큰 가중치 언러닝 (Alternating Token-Weighted Unlearning, ATWU)
저자들은 토큰 수준의 망각 특이성(forget-specificity)이 외부 신호가 아니라 망각 및 유지(retain) 목적 함수 자체의 상호작용에 의해 특징지어져야 한다고 제안한다. 이를 모델 파라미터( $\theta$ )와 토큰 가중치( $z$ )에 대한 결합 최적화 문제로 정형화한다.

이론적 정식화: 논문은 망각 집합 $A$ 를 억제하면서 유지 집합에 대한 최적성을 유지하는 비용을 측정하는 "유지 충돌(retain conflict)" 메트릭 $\kappa(A)$ 를 정의한다. 저자들은 "유지-충돌 분리(retain-conflict separation)" 가설 하에, 결합된 목적 함수(유지 손실과 가중치 적용 망각 손실의 균형)의 최소화 값을 통해 오라클(oracle) 망각 특정 토큰 집합을 복구할 수 있음을 증명한다. 이 이론적 결과는 토큰 가중치를 외부 감독 없이 직접 학습할 수 있음을 시사한다.
알고리즘 (ATWU): 이를 실행 가능하게 만들기 위해, 저자들은 교대 토큰 가중치 언러닝(ATWU)을 도입한다.
- 스코어러(Scorer): 모든 토큰에 대해 독립적인 가중치를 학습하는 대신, ATWU는 모델의 은닉 상태 공간 내 벡터 $w$ 로 매개변수화된 경량 선형 스코어러 $g_w$ 를 사용한다. 토큰의 점수는 $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$ 이며, 여기서 $h_\theta$ 는 은닉 표현이다.
- 결합 최적화: 프레임워크는 유지 손실, 포화된 음의 교차 엔트로피 망각 손실(SATGA+), 점수를 이진 값으로 밀어내는 엔트로피 정규화, 그리고 선택된 토큰 수를 제어하기 위한 예산 제약을 포함하는 완화된 연속 목적 함수를 최적화한다.
- 교대 업데이트: 모델 파라미터 $\theta$ 와 스코어러 파라미터 $w$ 는 교대로 업데이트된다. $\theta$ 를 업데이트할 때는 점수가 분리(detached)되며, $w$ 를 업데이트할 때는 $\theta$ 가 고정된다. 이는 변화하는 모델 기하 구조와 토큰 선택 사이의 피드백 루프를 분리함으로써 학습을 안정화한다.

주요 기여

유지-충돌 특성화: 본 논문은 망각 및 유지 목적 함수 간의 긴장 관계를 바탕으로 토큰 수준의 망각 특이성을 규명하는 이론적 성격을 제공하며, 결합 최적화를 통해 자연스러운 분리 조건 하에서 오라클 망각 특정 서포트를 복구할 수 있음을 증명한다.
비감독 토큰 가중치 학습: ATWU는 모델의 내부 표현만을 사용하여 모델 파라미터와 함께 토큰 망각 특이성을 공동으로 학습하는 경량 프레임워크이다. 이는 외부의 토큰 수준 감독, 보조 모델, 또는 값비싼 주석을 필요로 하지 않는다.
적응형 손실 통합: 저자들은 점수가 포화 지수(saturation exponent)에 주입되는 스코어 변조 방식의 포화된 음의 교차 엔트로피 변형인 SATGA+를 도입한다. 이를 통해 최적화 초기 단계에서 더 부드럽고 불확실성을 고려한 업데이트가 가능하다.

결과
저자들은 두 가지 벤치마크인 TOFU(합성된 허구적 저자 전기)와 RWKU(실제 공인 지식)에서 ATWU를 평가하였다.

성능: ATWU는 망각 품질(FQ)과 유지 저하(RD)의 균형을 맞추는 지표인 언러닝 품질(UQ)에서 최고 수준(SOTA)을 달기 위해 달성했다. TOFU에서 UQ 91.7을 기록하여 차점자를 5.8%p 앞섰으며, RWKU에서는 58.7을 기록하여 차점자를 6.8%p 앞섰다.
유틸리티 보존: 생성 품질을 무너뜨리는 공격적인 언러닝 방식과 달리, ATWU는 원본 체크포인트에 근접하게 일반 유틸리티(MMLU, 반복성, 쌍별 승률로 측정)를 보존한다.
토큰 점수 품질: 학습된 토큰 점수는 확률 기반 휴리스틱, 보조 모델 접근법 및 기타 토큰 가중치 베이스라인에 비해 실제 망각 특정 구간과 훨씬 더 잘 일치한다(AUROC로 측정).
다재다능함: 이 프레임워크는 손실 함수에 구애받지 않는다(loss-agnostic). DPO, NPO, SIMNPO와 같은 다른 망각 손실과 결 조합했을 때, ATWU는 가중치가 없는 대응 모델들보다 일관되게 향상된 망각-유지 트레이드오프를 보여준다.

의의 및 주장
본 논문은 "유지 충돌(retain conflict)"이 언어 모델이 무엇을 잊어야 하는지를 식별하는 효과적이고 내재적인 기준을 제공한다고 주장한다. 토큰 가중치 언러닝을 외부 휴리스틱의 파이프라인에서 엔드 투 엔드 결합 최적화 문제로 전환함으로써, ATWU는 다음을 입증한다:

언러닝 목적 함수 자체에 외부 감독 없이도 망각 특정 토큰을 복구할 수 있는 충분한 잠재 신호가 포함되어 있다.
선택적 언러닝의 병목 현상은 단순히 적절한 토큰을 찾는 것이 아니라, 스코어링 메커즘과 망각 목적 함수의 원칙적인 공동 설계(co-design)에 있다.
외부 주석에 의존하지 않고도 확장 가능하고 프라이버시를 보호하며 매우 정밀한 타겟팅이 가능한 언러닝이 가능하다.

저자들은 토큰 선택 예산에 대한 하이퍼파라미터 의존성, 그리고 자연어에서 대략적으로만 성립할 수 있는 망각 특정 토큰과 구조적 토큰 간의 엄격한 분리 가정 등의 한계를 언급하였다. 또한, 계산 비용으로 인해 현재 평가는 특정 벤치마크와 단일 실행에 국한되어 있다.