🤖 machine learning

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

본 논문은 잠재 공간에서 특정 토큰을 억제하는 대신 응답 분포를 조작하여 원치 않는 지식을 효과적으로 소거하고 안전한 거부를 보장하는 에너지 기반 망각 정렬 (EUA) 을 통해 구현된 통합 패러다임인 구별 가능한 삭제 ( $\mathrm{D^2}$ ) 를 제안함으로써 기존 지식 삭제 및 구별 가능한 거부 방법의 한계를 극복한다.

원저자: Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 초강박적인 사서로 상상해 보세요. 이 사서는 전 세계의 모든 책을 읽었으며 거의 모든 질문에 답할 수 있습니다. 하지만 때로는 이 사서가 공유해서는 안 되는 민감하거나 사적이거나 해로운 정보 (예: 유명인의 비밀 생일이나 위험한 장치를 만드는 방법) 를 암기해 두고 있을 수 있습니다.

이 논문의 목표는 이 사서가 나머지 모든 질문에 대한 답변 능력을 해치지 않으면서, 단순히 "가장"하는 것이 아니라 그 특정 정보를 진정으로 잊는 법을 가르치는 것입니다.

저자 양푸닝 (Puning Yang) 과 동료들은 AI 에게 무언가를 "잊게" 만드는 현재의 방법들이 두 가지 특정 방식으로 결함이 있다고 주장합니다. 그들은 **Energy-based Unlearning Alignment (EUA)**라는 방법에 기반한 **Distinguishable Deletion (D2)**이라는 새로운 해결책을 제안합니다.

간단한 비유를 사용한 상세 설명은 다음과 같습니다:

"잊는" 두 가지 결함 있는 방식

현재 연구자들은 AI 가 잊게 하려고 두 가지 방식을 시도하며, 둘 다 치명적인 결함이 있습니다:

"빨간 펜" 방식 (지식 삭제):
- 작동 원리: 사서에게 "누군가 '바실 마후즈 알쿠웨이트이 (Basil Mahfouz Al-Kuwaiti)'의 생일을 물어보면, 절대로 날짜를 말해서는 안 된다"고 명령한다고 상상해 보세요. 사서는 뇌에서 "09/05/1997"이라는 특정 단어를 지우려고 노력합니다.
- 문제점: 사서의 뇌는 얽힌 연결망입니다. 만약 그 단어만 외과적으로 제거하려 한다면, 실수로 전체 페이지나 책 전체를 찢어버릴 수 있습니다. 사서는 혼란스러워하며 말을 더듬거나, nonsensical 한 말을 하거나, 환각 (가짜 날짜를 지어냄) 을 일으킬 수 있습니다. 그들은 개념을 진정으로 잊은 것이 아니라, 그것에 대해 말하는 능력을 망쳐 놓은 것입니다.
- 논문의 주장: 이는 "편향된 삭제"와 불안정하며 말도 안 되는 (gibberish) 출력으로 이어집니다.
"경비원" 방식 (구별 가능한 거절):
- 작동 원리: 사서는 다른 질문에 완벽하게 답할 수 있도록 모든 책을 그대로 둡니다. 대신 입구에 경비원을 고용합니다. 경비원이 "바실"이라는 이름을 듣는다면 사서가 답변하는 것을 막고 "그것에 대해 말할 수 없습니다"라고 말합니다.
- 문제점: 사서는 여전히 그 비밀을 알고 있습니다. 만약 교활한 사기꾼 ("적대적 공격") 이 암호를 속삭이거나 이상한 방식으로 질문하면 경비원이 혼란스러워지고, 사서는 결국 비밀을 누설합니다.
- 논문의 주장: 이는 취약합니다. 지식은 여전히 그곳에 남아 있어 속임수에 의해 드러날 기회를 기다리고 있습니다.

새로운 해결책: Distinguishable Deletion (D2)

저자들은 특정 단어를 지우거나 경비원을 고용하는 대신, 그 특정 주제에 대한 사서의 **내부적인 "분위기"**나 확신을 바꾸는 세 번째 방식을 제안합니다.

그들은 **"에너지 지수 (Energy Index)"**라는 개념을 도입합니다.

비유: "에너지"를 **확신계 (confidence meter)**로 생각하세요.
- 사서가 사실 (예: "파리는 프랑스에 있다") 을 알고 있을 때, 확신계는 낮습니다 (물리학적으로 낮은 에너지는 안정적이고 편안한 상태를 의미함). 그들은 매우 확신합니다.
- 사서가 무언가를 모를 때, 확신계는 높습니다 (높은 에너지는 혼란스럽고 불안정한 상태를 의미함). 그들은 불확실하고 무작위하게 느낍니다.

목표: 저자들은 사서가 비밀 생일에 대해 질문받을 때 내부 "확신계"가 높은 에너지 (혼란/불확실성) 로 치솟도록 훈련시키고자 합니다. 이는 시스템에 다음과 같은 신호를 보냅니다: "이 질문에 대해 구조화되고 확신 있는 답변을 가지고 있지 않습니다."

어떻게 수행하는가: Energy-based Unlearning Alignment (EUA)

이를 달성하기 위해 그들은 두 단계의 과정을 사용합니다:

"분위기" 훈련 (학습 단계):
그들은 모델에게 단순히 "날짜를 말하지 마라"고 말하는 것이 아니라, 비밀 주제에 대한 질문이 내부적으로 "불편하거나" "불확실하게" 느껴져야 한다는 것을 인식하도록 가르칩니다.
- 그들은 Self-Preference Margin을 생성합니다. 사서에게는 자신이 아는 것에 대한 자연스러운 "편안한 영역"이 있다고 상상해 보세요. 시스템은 모델의 자연스러운 경향에 기반하여 "편안한 지식"과 "불편한 미지" 사이의 경계선을 자동으로 계산합니다.
- 그들은 모델이 "비밀" 질문을 "불편한" 영역으로 밀어내도록 강요합니다.
거절 메커니즘 (행동 단계):
일단 모델이 훈련되면 명확한 경계를 갖게 됩니다.
- 일반 질문: "프랑스의 수도는 무엇입니까?" -> 모델은 낮은 에너지 (편안함) 를 느낌 -> 자신 있게 답변합니다.
- 비밀 질문: "바실의 생일은 무엇입니까?" -> 모델은 높은 에너지 (불편함/혼란) 를 느낌 -> 시스템이 이 치솟음을 감지하고 정중한 거절을 트리거합니다: "개인정보 보호 규정으로 인해 이에 답변할 수 없습니다."

왜 이것이 더 나은가 (결과)

이 논문은 이 새로운 방법이 다음과 같은 이유로 우수하다고 주장합니다:

진정한 잊음: "경비원" 방식과 달리, 지식은 실제로 교란됩니다. 모델은 단순히 답변을 숨기는 것이 아니라, 답변을 생성할 수 있게 해주는 확신 있는 내부 구조를 상실합니다.
안정성: "빨간 펜" 방식과 달리, 모델이 말도 안 되는 말을 하기 시작하지 않습니다. 모델은 "모르겠다"는 말을 정중하고 일관되게 말하는 법을 압니다.
견고성: 누군가 지옥 탈출 프롬프트 (이상한 질문 방식) 로 모델을 속이려 하더라도, 모델의 내부 "높은 에너지" 경보가 여전히 울리며 답변을 거부합니다.

요약

이 논문은 단어를 삭제하거나 경비원을 추가하는 것이 아니라 내부적 확신을 변경함으로써 AI 가 민감한 정보를 잊게 하는 방법을 소개합니다.

구식 방식 1: "'생일'이라는 단어를 말하지 마라!" (AI 가 말을 더듬고 망가짐)
구식 방식 2: "'생일'을 듣거든 말을 멈춰라!" (AI 는 여전히 비밀을 알고 있으며 속임수에 걸릴 수 있음)
새로운 방식 (D2): "'생일'에 대해 생각할 때 불확실하고 혼란스럽게 느껴져라." (AI 는 자신이 모르는 것처럼 느껴 자연스럽게 답변을 거부하며, 이는 안전하고 일관되게 수행됨)

저자들은 LLaMA 와 Qwen 과 같은 다양한 모델에서 이를 테스트하여, AI 를 똑똑하고 도움이 되도록 유지하면서 유해한 지식을 제거하는 데 훨씬 더 효과적임을 발견했습니다.

기술 요약: 구별 가능한 삭제 (D2)

1. 문제 제기

대규모 언어 모델 (LLM) 은 민감하거나 사적이거나 해로운 정보를 암기하고 재생산하는 경향을 가지고 있어, 개인정보 보호, 공정성, 보안과 관련하여 중대한 우려를 제기합니다. LLM 망각 (unlearning) 은 전체 재학습 없이 이러한 원치 않는 지식을 선택적으로 제거하는 것을 목표로 하지만, 기존 접근법들은 두 가지 지배적인 패러다임에서 근본적인 한계를 겪고 있습니다.

지식 삭제 (KD): 경사 상승 (Gradient Ascent, GA) 및 그 변형 (예: DPO, NPO, WGA) 과 같은 방법들은 특정 목표 토큰 시퀀스를 억제하기 위해 모델 파라미터를 직접 수정함으로써 지식을 지우려 시도합니다. 그러나 LLM 의 지식 표현은 본질적으로 얽혀 있기 때문에, 특정 토큰을 억제하는 것은 종종 편향된 삭제로 이어집니다. 이로 인해 유지된 지식의 재앙적 망각, 허구의 망각 (모델이 잊어버렸지만 잘못된 사실을 환각하는 현상), 그리고 의미 없는 글 생성과 같은 불안정한 행동이 발생합니다.
구별 가능한 거부 (DR): 파라미터를 고정하고 프롬프트 엔지니어링 또는 보조 탐지기에 의존하여 민감한 입력을 거부하는 방법들입니다. 이러한 방법들은 높은 유지 성능과 일관된 응답을 유지하지만, 취약합니다. 근본적인 지식이 모델 내에서 intact(완전) 하게 남아 있기 때문에, 적대적 공격이나 탈옥 (jailbreaking) 프롬프트를 통해 다시 나타날 수 있습니다.

핵심적인 과제는 (KD 와 같이) 근본적인 지식의 완전한 제거를 보장하면서도 (DR 과 같이) 일관되고 안전한 거부 행동을 유지하여 적대적 취약점에 굴복하지 않는 패러다임을 달성하는 것입니다.

2. 방법론: 구별 가능한 삭제 (D2) 및 EUA

저자들은 토큰 수준의 특정 레이블 억제가 아닌 지식 존재에 대한 분포 수준의 특성화로 망각 목표를 전환하는 새로운 패러다임인 **구별 가능한 삭제 (D2)**를 제안합니다. 이를 구현하기 위해 에너지 기반 망각 정렬 (EUA) 프레임워크를 도입합니다.

2.1. 에너지 지수

D2 의 기반은 에너지 기반 모델 (EBM) 에서 파생된 에너지 지수입니다. 특정 토큰의 확률에 초점을 맞추는 대신, 이 방법은 모델의 출력 분포의 자유 에너지를 통해 지식의 "존재"를 정량화합니다.

이론적 기반: 주어진 입력에 대해 낮은 자유 에너지를 가진 응답은 모델이 구조화되고 자신감 있는 답변을 가지고 있음을 (지식이 존재함) 나타냅니다. 반면, 높은 자유 에너지는 모델이 답변을 가지고 있지 않고 무작위로 단어를 생성하고 있음을 시사합니다.
효율성: 샘플링 기반 추정기와 달리, 에너지 지수는 단일 순전파 (forward pass) 와 모델의 로짓 (logits) 을 사용하여 효율적으로 계산되며, $E_\theta(v | x, y_{<i}) = -z_\theta(v | x, y_{<i})$ 로 정의됩니다.
관찰: 실증 분석에 따르면 기존 KD 기반 방법들은 종종 망각된 콘텐츠와 유지된 콘텐츠 간의 에너지 공간에서 명확한 분리를 생성하지 못해 일관되지 않은 내부 지식 상태를 초래합니다.

2.2. 에너지 기반 망각 정렬 (EUA)

EUA 는 망각된 콘텐츠와 유지된 콘텐츠 간의 에너지 공간에서 명확한 분리를 강제하도록 설계된 통합 프레임워크입니다.

학습 목표: 학습 목표는 유지를 위한 표준 교차 엔트로피 손실과 에너지 경계를 강제하는 정규화 항 ( $L_{energy}$ $L_{e n er g y}$ ) 을 결합합니다.
- 망각된 샘플의 경우, 에너지가 특정 마진 ( $m_u$ ) 보다 낮으면 모델에 페널티를 부과하여 에너지를 높입니다 (지식 부재 표시).
- 유지된 샘플의 경우, 에너지가 마진 ( $m_r$ ) 보다 높으면 모델에 페널티를 부과하여 에너지를 낮게 유지합니다 (지식 존재 표시).
자기 선호 에너지 마진: 수동으로 조정된 하이퍼파라미터의 불안정성을 피하기 위해, EUA 는 자기 선호 마진을 도입합니다. 이는 사전 학습된 모델 자체의 로짓 분포에서 파생됩니다. 로짓을 정렬하여 상위 50%(선호) 와 하위 50%(비선호) 영역으로 나누면, 모델의 내부 특징 기하학과 본질적으로 정렬된 에너지 경계 ( $m_u, m_r$ ) 를 구성할 수 있습니다. 이는 더 매끄러운 최적화를 보장하고 급격한 에너지 이동을 방지합니다.
추론 시 거부 메커니즘: 학습 후 모델은 에너지 분포에서 뚜렷한 분리를 보입니다. 추론 중 시스템은 토큰 수준 에너지의 Top-k 집계 (길이 불변성 보장) 를 사용하여 샘플별 자유 에너지를 계산합니다. 에너지가 학습된 임계값 ( $\tau_{energy}$ ) 을 초과하면, 시스템은 의미 없는 글이나 환각된 사실을 생성하는 대신 거부 메커니즘을 발동하여 일관되고 안전한 대안 (예: "개인정보/저작권 제한으로 인해 이에 대해 논의할 수 없습니다") 으로 출력을 대체합니다.

3. 주요 기여

구별 가능한 삭제 (D2) 패러다임: 이 논문은 망각을 토큰 수준 억제가 아닌 지식 존재에 대한 분포 수준의 제약으로 재정의합니다. 이 접근법은 망각된 콘텐츠를 유지된 지식과 자연스럽게 구분하여 신뢰할 수 있는 거부 메커니즘을 가능하게 합니다.
에너지 지수: 저자들은 잠재 표현에 기반한 지식 존재를 위한 이론적으로 근거 있고 실증적으로 검증된 측정치를 제안합니다. 에너지가 모델의 구조화된 응답 제공 능력과 무작위 생성을 정확하게 반영함을 입증합니다.
에너지 기반 망각 정렬 (EUA): 학습 중 에너지 기반 분리를 강제하고 추론 시 거부를 위해 에너지 기반 임계값을 활용하는 통합 프레임워크입니다. 이 방법은 KD 의 불안정성과 DR 의 취약성을 해결합니다.

4. 실험 결과

저자들은 TOFU(가상 작가), WMDP(생물/사이버 안전), MUSE(verbatim 및 사실적 지식) 의 세 가지 벤치마크에서 EUA 를 평가합니다. 그들은 다양한 모델 계열 (LLaMA-2/3, Qwen-2.5, Zephyr) 에서 최첨단 KD 방법 (GradDiff, DPO, NPO, SatImp 등) 과 DR 방법 (ICUL, Guardnail 등) 과 비교합니다.

KD 방법 대비 성능: EUA 는 기존 KD 기반 방법보다 일관되게 우수한 성과를 거둡니다. TOFU 에서 삭제 품질 (EQ), 유지 품질 (RQ), **언어 품질 (LQ)**에서 상당한 향상을 달성합니다. 예를 들어, LLaMA-3.2-3B(Forget 10%) 에서 EUA 는 8.665 의 집계 점수를 달성하여 다음으로 가장 좋은 방법 (SatImp, 6.484) 보다 훨씬 높습니다. 특히, EUA 는 KD 방법에서 흔히 발생하는 의미 없는 글과 환각 문제를 제거합니다.
DR 방법 대비 성능: DR 방법은 좋은 유지를 유지하지만 적대적 공격 하에서는 실패합니다. EUA 는 100% 탐지 정확도를 보여주며 탈옥 공격 후에도 높은 언어 품질을 유지하는 반면, DR 기반 방법은 탐지 및 응답 품질 모두에서 상당한 저하를 겪습니다.
강건성: EUA 는 교차 언어, 재학습, 탈옥 공격 시나리오 전반에 걸쳐 강력한 강건성을 보여주며, 다른 방법들이 저하되는 상황에서도 안정적인 성능을 유지합니다.
Ablation 연구: 연구는 자기 선호 에너지 마진이 결정적임을 확인합니다. 수동으로 설정된 마진은 불안정한 성능을 초래합니다. 또한 에너지 계산을 위해 사용되는 Top-k 매개변수의 변화에도 이 방법은 강건합니다.

5. 의의 및 주장

이 논문은 D2 와 EUA 가 지식 삭제와 안전한 거부의 목표를 통합함으로써 더 우월한 망각 패러다임을 대표한다고 주장합니다.

트레이드오프 해결: 이 방법은 망각 대상 지식과 일반 모델 유용성 보존 간의 더 유리한 파레토 최적 균형을 달성하여, KD 에서 볼 수 있는 "재앙적 망각"이나 "허구의 망각"을 피합니다.
강건성: 단순히 가리는 것이 아니라 (에너지 분리를 통해) 지식 상태를 근본적으로 변경함으로써, EUA 는 재추출될 수 있는 정적 지식에 의존하는 DR 방법과 달리 진화하는 적대적 전략에 대해 강건한 방어를 제공합니다.
일관성: 이 접근법은 모델이 답변을 거부할 때 의미 없는 글이 아닌 일관되고 문맥을 인식한 응답으로 거부하도록 보장하여 모델의 사용성을 유지합니다.

저자들은 그들의 접근 방식이 특정 토큰 제약의 한계를 넘어 대규모 모델에서 지식의 얽힌 본질에 대응하는 LLM 망각을 위한 원칙적이고 안정적이며 일반화 가능한 솔루션을 제공한다고 결론지었습니다.