🤖 machine learning

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED 은 자기 증류를 통해 고정보 토큰을 식별하고 그 중요도를 낮춤으로써 암기된 콘텐츠를 선택적으로 제거하는 대규모 언어 모델을 위한 새로운 유지 세트가 없는 기계 망각 방법으로, 이는 유지 세트를 준비할 필요 없이 망각 효과와 모델 유용성 간의 우수한 균형을 달성합니다.

원저자: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

SHRED 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어보겠습니다.

큰 문제: "망각"의 딜레마

거대 언어 모델 (LLM) 을 인터넷 전체를 읽은 초고성능 사진 기억력을 가진 학생이라고 상상해 보세요. 때때로 이 학생은 celebrity 의 사적인 주소, 저작권이 있는 책, 폭탄 제조법과 같은 위험한 지시사항처럼 기억해서는 안 될 것들을 외워버립니다.

이를 해결하기 위해 우리는 보통 그 특정 정보를 "망각"시켜야 합니다. 하지만 함정이 하나 있습니다.

옛날 방식: 학생이 나쁜 정보를 기억하지 못하게 하되, 영어를 말하거나 수학 문제를 푸는 것처럼 다른 모든 것을 잊게 하지 않으려면, 나쁜 것을 잊는 동안 안전하고 좋은 예제들의 "학습 가이드"를 주어 연습하게 해야 합니다.
문제점: 현실 세계에서는 종종 그 완벽한 학습 가이드를 가지고 있지 않습니다. 이를 만드는 것은 어렵고 비싸며, 실수로 학생에게 편향을 심어줄 수도 있습니다. 가이드가 없으면 학생에게 망각을 시키려다 오히려 뇌를 망가뜨려, 제대로 말하지 못하거나 해롭지 않은 질문에 답하는 것을 거부하게 만듭니다.

해결책: SHRED

저자들은 SHRED(Self-distillation via High-surprisal-only Retain-free Entropy Demotion) 라는 새로운 방법을 제안합니다. 이름이 길어 입이 아플 수 있으니, 비유를 통해 풀어보겠습니다.

핵심 통찰: 모든 단어가 평등하게 만들어진 것은 아님

학생이 외운 특정 사건에 대한 이야기를 낭독한다고 상상해 보세요:

*"7 월 4 일, 존 스미스가 빨간 페라리를 타고 그랜드 캐년으로 갔다."*

이 논문은 모델이 이 문장을 "생각"하는 방식에 대해 흥미로운 사실을 발견했습니다.

"지루한" 단어들: "On", "the", "to", "a"와 같은 단어들은 매우 흔합니다. 모델은 이러한 단어들에 대해 매우 확신합니다. 이들은 건물의 **비계 (scaffolding)**와 같습니다.
"외워진" 단어들: "July 4th", "John Smith", "red Ferrari", "Grand Canyon"과 같은 단어들은 구체적인 사실들입니다. 모델은 사실은 이러한 구체적인 세부 사항들에 대해 지루한 단어들보다 덜 확신합니다. 왜냐하면 그것들은 그 특정 이야기에만 고유하기 때문입니다.

SHRED 의 큰 아이디어: 문장 전체를 지울 필요는 없습니다. 그저 특정하고 고가치인 사실들(비계) 만을 대상으로 하고, 일반적인 언어 구조는 그대로 두면 됩니다.

SHRED 의 작동 원리 (2 단계 프로세스)

SHRED 는 외부 학습 가이드가 필요 없는 "retain-set-free(보유 집합 불필요)" 방법입니다. 이는 모델 자신의 뇌를 교사로 활용합니다.

1 단계: 탐정 작업 (선택)
모델이 잊어야 할 문장을 읽습니다. 그리고 모든 단어를 살펴보며 이렇게 묻습니다: "이 단어에 대해 얼마나 놀랐는가?"

모델이 놀라지 않았다면(높은 확률), 그것은 흔한 단어 (예: "the") 입니다. SHRED 는 이를 무시합니다.
모델이 놀랐다면(낮은 확률), 그것은 구체적인 사실 (예: "John Smith") 입니다. SHRED 는 이를 잊어야 할 대상으로 표시합니다.

2 단계: 수술 (강등)
그런 다음 모델은 두 가지 작업을 동시에 수행하도록 훈련됩니다.

목표 잊기: 구체적인 사실들 (예: "John Smith") 에 대한 확신을 낮추도록 강요받습니다.
비계 유지: 흔한 단어들 (예: "On", "the") 에 대한 확신은 높게 유지하도록 지시받습니다.

이렇게 함으로써 모델은 영어를 말하는 능력을 잃지 않고 특정 비밀을 "잊는" 법을 배웁니다. 마치 방의 특정 가구를 제거하되 벽을 무너지게 하지 않는 것과 같습니다.

왜 이것이 나머지만큼 좋은가

이 논문은 SHRED 를 네 가지 다른 벤치마크 (망각을 위한 "최종 시험"과 같은) 에서 다른 많은 방법들과 비교 테스트했습니다. 그들이 발견한 바는 다음과 같습니다.

파레토 프론티어: 완전한 망각과 완전한 유용성이 모두 달성되는 "완벽한 점수"가 좌상단에 있는 그래프를 상상해 보세요. 대부분의 방법은 중간이나 우하단에 갇혀 있습니다. SHRED 는 학습 가이드 (보유 집합) 없이 좌상단에 도달하는 유일한 방법입니다.
"뇌 손상" 없음: 다른 방법들은 종종 모델이 질문에 답하는 것을 거부하거나 말도 안 되는 말을 하도록 만듭니다. SHRED 는 모델의 일반 지능을 온전하게 유지합니다.
환각 수정: 놀라운 반전으로, SHRED 는 실제로 모델이 현실 세계에 대해 가짜 사실을 만들어낼 가능성을 줄였습니다. "가짜"로 외워진 이야기들을 제거함으로써 모델의 자연스러운 지식이 더 선명하게 드러났습니다.
견고성:
- 재학습: 몇 가지 예시를 보여줌으로써 모델을 다시 비밀을 기억하도록 속이려 한다면, SHRED 로 훈련된 모델은 다른 모델들보다 속이기 훨씬 어렵습니다.
- 개인정보 보호: 해커들이 모델이 여전히 비밀 데이터를 "기억"하고 있는지 파악하는 것은 매우 어렵습니다.
- 안정성: 모델이 망가지지 않고 오랫동안 훈련할 수 있습니다.

"노브"와 설정

저자들은 SHRED 를 조정하는 두 가지 주요 방법을 발견했습니다.

"얼마나 많이" 노브 (P): 가장 구체적인 단어들의 상위 50% 만 잊거나, 100% 를 잊도록 선택할 수 있습니다. 50% 가 망각과 모델의 지능 유지 사이의 균형에 있어 가장 이상적인 지점으로 보입니다.
"배치 크기"의 놀라움: 일반적으로 AI 훈련에서는 한 번에 큰 데이터 그룹을 사용하는 것이 더 좋습니다. 하지만 SHRED 는 아주 작은 배치(심지어 한 번에 하나의 예시만) 로 가장 잘 작동합니다. 전체 운동을 하는 대신 특정 동작 하나를 반복해서 연습하여 새로운 기술을 배우는 것과 같습니다. 이는 모델이 더 정밀하게 "망각"하도록 돕습니다.

요약

SHRED는 모델을 안내할 "좋은 예제" 매뉴얼 없이도 AI 가 특정 비밀을 잊게 하는 교묘한 방법입니다. 이는 비밀을 담고 있는 특정하고 고유한 단어들을 식별하여 그 중요성을 부드럽게 낮추는 방식으로 작동하며, 일반적인 언어 구조는 손상되지 않게 둡니다. 그 결과, 나쁜 데이터를 성공적으로 잊었지만 여전히 똑똑하고 도움이 되며 안전하게 사용할 수 있는 모델이 탄생합니다.

기술 요약: SHRED – 자기 증류와 로그이트 강하를 통한 유지 세트 없는 망각

1. 문제 제기

기존의 표준 망각 패러다임은 모델의 일반적 유용성을 급격히 저하시키지 않도록 방지하기 위해 망각 세트와 동일한 도메인에서 선별된 예시인 **유지 세트 (retain set)**를 필요로 합니다. 그러나 실제로는 데이터 부족이나 원치 않는 도메인 편향의 도입으로 인해 이상적인 유지 세트를 구축하는 것이 종종 불가능합니다. 유지 세트 의존성을 우회하려는 기존 방법들은 종종 심각한 유용성 붕괴를 겪으며, 이로 인해 언어 구조가 손상되거나 과도한 거부율이 발생합니다. 핵심적인 과제는 외부 유지 데이터에 접근하지 않고도 특정 암기된 내용을 효과적으로 망각하면서도 모델의 일반적 능력을 유지하는 것입니다.

2. 방법론: SHRED

저자들은 SHRED(고-surprisal-전용 유지 세트 없는 엔트로피 강하를 통한 자기 증류) 를 제안합니다. 이 방법은 모델의 자체 출력 분포를 교사 (teacher) 로 활용하여 유지 세트의 필요성을 제거합니다. 이 접근법은 "망각 세트" 인스턴스 내의 모든 토큰이 동등하게 암기된 정보를 담고 있지 않다는 통찰에 기반합니다.

핵심 통찰: 토큰 수준 정보 밀도

특정 문서를 암기한 모델에서, 고정보량 콘텐츠 (예: 특정 이름, 날짜, 고유한 관계) 를 나타내는 토큰은 일반적인 언어 발판 (예: 구두점, 일반적인 문구, 불용어) 을 나타내는 토큰에 비해 더 낮은 자기회귀 확률을 부여받습니다. 후자는 광범위한 사전 학습 통계에 의해 지원되는 반면, 전자는 암기된 인스턴스에 특화되어 있습니다.

SHRED 절차

SHRED 는 단일 망각 세트 ( $D_f$ ) 를 사용하여 네 단계로 작동합니다:

교사 순전파 (Teacher Forward Pass): 망각될 모델 (매개변수 $\theta$ ) 은 고정된 오프-정책 교사로 작용합니다. 이 모델은 $D_f$ 의 시퀀스를 처리하여 토큰별 자기회귀 확률 $p_\theta(x_t | x_{<t})$ 를 생성합니다.
망각 위치 선정:
- 기본 언어 모델링을 손상시키지 않기 위해 초기 컨텍스트 창 (예: QA 의 질문 또는 문서 접두사) 을 제외합니다.
- 나머지 토큰을 확률 오름차순으로 정렬합니다.
- 하위- $P$ 비율 (가장 낮은 확률, 가장 높은 섀넌 정보) 을 **망각 세트 ( $F$ )**로 선택합니다. 이러한 위치는 문서 특이적이고 고정보량인 토큰을 포함합니다.
- 나머지 위치 ( $R = T \setminus F$ ) 는 모델의 일반 언어 능력을 유지하는 암시적 유지 세트 역할을 합니다.
KL 목표 구성:
- 망각 위치 ( $t \in F$ ): 목표 분포는 암기된 토큰을 "강하 (demote)"하도록 수정됩니다.
  - 변형 A (검색 망각): 특정 암기된 토큰 $x_t$ 만 강하됩니다 (로그이트를 $-\infty$ 로 설정).
  - 변형 B (지식 망각): 재표현을 방지하기 위해 암기된 토큰과 확률 분포의 상위- $\pi$ 핵 (nucleus) 이 강하됩니다.
- 유지 위치 ( $t \in R$ ): 목표 분포는 교사의 원래 분포와 동일하게 유지되어 유용성을 보존하는 앵커 역할을 합니다.
Top-K KL 자기 증류: 학생 모델 ( $\theta'$ ) 은 상위- $K$ 어휘 하위 집합에 걸쳐 구성된 목표 분포 $q_t$ 와 예측 간의 KL-발산을 최소화하도록 학습됩니다. 이 단일 목표는 모델이 고정보량 암기 콘텐츠에서 벗어나게 하면서 동시에 일반 언어 패턴에 앵커링하는 것을 동시에 수행합니다.

3. 주요 기여

유지 세트 없는 망각: SHRED 는 외부 유지 데이터 없이도 효과적인 망각이 가능함을 입증한 최초의 방법이며, 대신 망각 세트 자체의 내부 구조에 의존합니다.
선택적 로그이트 강하: SHRED 는 고-surprisal(고정보량) 토큰만 식별하고 강하하면서 저-surprisal 토큰은 보존함으로써, 균일한 망각 접근법과 관련된 유용성 붕괴를 방지합니다.
통합 목표: 이 방법은 망각과 유용성 보존을 자연스럽게 균형 있게 조정하는 단일 자기 증류 목표를 활용하여 망각 및 유지 손실 항 간의 복잡한 하이퍼파라미터 균형 조정을 제거합니다.
강건성: 이 방법은 멤버십 추론 공격 (MIA), 재학습 공격, 그리고 순차적 지속적 망각 시나리오에 대해 강건한 것으로 입증되었습니다.

4. 실험 결과

저자들은 SHRED 를 네 가지 표준 벤치마크인 TOFU(가상 저자 QA), MUSE(뉴스/도서), RWKU(실제 세계 개체), Hubble(YAGO/구텐베르크) 에서 평가했습니다.

파레토 최적성: SHRED 는 망각 효과성과 모델 유용성 간의 트레이드오프에서 유지 세트 의존성 베이스라인 (GradDiff, NPO, DPO 등) 을 능가하며 네 가지 벤치마크 모두에서 새로운 파레토 프론티어를 확립했습니다.
망각 효과성: SHRED 는 망각 데이터 없이 학습된 오라클인 재학습된 "Target" 모델의 망각 지표 성능과 일치하면서도, Gradient Ascent 와 같은 방법에서 관찰되는 "과도한 망각 (over-forgetting)"을 보이지 않습니다.
유용성 보존: 유용성 붕괴를 초래하거나 성능 유지를 위해 유지 세트가 필요한 베이스라인과 달리, SHRED 는 일반 유용성을 유지하거나 심지어 향상시킵니다. 특히 TOFU 벤치마크에서 SHRED 는 초기 파인튜닝 과정에서 환각되거나 억제되었던 세계 지식을 능동적으로 회복하는 것이 관찰되었으며, "Target" 모델이 여전히 실패한 실제 세계 질문에서의 환각을 감소시켰습니다.
강건성:
- MIA: 소형 배치 SHRED 학습은 재학습된 오라클에 가까운 개인정보 유출 점수를 달성하여 베이스라인을 크게 능가합니다.
- 재학습: SHRED 모델은 망각 세트에 대해 다시 briefly 파인튜닝되는 "재학습" 공격에 저항력이 있으며, 베이스라인보다 훨씬 느리게 지식을 회복합니다.
- 지속적 망각: SHRED 는 여러 라운드의 망각 과정에서 유용성이 천천히 저하되는 반면, NPO 및 RMU 와 같은 베이스라인은 유용성이 크게 떨어집니다.
하이퍼파라미터: 이 방법은 강하 비율 ( $P$ ) 이 50–75% 이고 소형 배치 크기 (BS=1 또는 2) 일 때 가장 효과적이며, 이는 모델이 손실 지형의 국소 최소값을 탈출하는 데 도움이 됩니다.

5. 중요성 및 주장

이 논문은 SHRED 가 기계적 망각의 실용적 배포에서 중요한 진전을 나타낸다고 주장합니다. 선별된 유지 세트에 대한 의존성을 제거함으로써 SHRED 는 그러한 데이터가 없거나 선별하기 어려운 실제 응용 분야에서 주요 병목 현상을 해결합니다.

저자들은 SHRED 가 모델의 자체 "유해하지 않은 (benign)" 토큰을 앵커로 사용하여 일반 능력을 자연스럽게 보존할 수 있으며, 망각 작업에서 종종 관찰되는 일반 유용성의 "파국적 망각"을 피할 수 있음을 강조합니다. furthermore, 파인튜닝으로 인해 도입된 환각을 SHRED 가 역전시킬 수 있다는 관찰은 이 방법이 단순히 지식을 억제하는 것이 아니라 모델의 분포를 일반 세계 지식과 더 잘 정렬되도록 정제할 수 있음을 시사합니다.

이 논문은 SHRED 가 망각과 유용성 간의 파레토 최적 트레이드오프를 제공하며, 다양한 공격 벡터에 강건하고 과학습 및 지속적 망각 시나리오 하에서도 안정적임을 결론지으며, 데이터 선별의 오버헤드 없이 LLM 의 개인정보 보호 및 안전 준수를 위한 실현 가능한 솔루션임을 주장합니다.