Explainable LLM Unlearning Through Reasoning

이 논문은 기존 LLM 언러닝 기법의 한계를 극복하고 일반 성능 저하 없이 정확하고 설명 가능한 지식 제거를 실현하기 위해 추론 기반 목표를 활용한 '타겟 추론 언러닝 (TRU)'을 제안하고 그 유효성을 입증합니다.

핵심

이 논문은 **"거대한 AI(대형 언어 모델) 가 기억하고 싶어 하지 않는 나쁜 정보나 저작권이 있는 내용을 잊게 만드는 방법"**에 대한 연구입니다.

기존의 방법들은 마치 **"머리 속의 특정 기억을 지우려고 뇌를 두드리는 것"**처럼, 지우려는 기억뿐만 아니라 다른 좋은 기억까지 다 망가뜨리거나, AI 가 "모르겠다"라고 말하느라 엉뚱한 소리를 지껄이는 문제가 있었습니다.

이 논문은 이를 해결하기 위해 **"이유 (Reasoning) 를 가르치는 새로운 방법 (TRU)"**을 제안합니다.

---

🧠 비유로 이해하는 이 연구

1. 문제: "망치로 기억 지우기" (기존 방법의 한계)

기존의 '기억 지우기' 기술은 AI 가 나쁜 정보를 기억하지 못하게 하려고 **강제로 확률을 낮추는 방식 (기울기 상승)**을 썼습니다.

• 비유: 아이가 "불난 집에 들어가는 법"을 기억하고 있어서, 부모님이 "그거 절대 하면 안 돼!"라고 소리치며 망치로 아이의 머리를 두드리는 상황입니다.
• 결과: 아이는 불난 집에 들어가는 법은 잊어버렸을지 몰라도, "불"이라는 개념 자체를 잊어버려서 "불꽃놀이"나 "난로"도 위험하다고 생각하거나, 아예 말을 못 하거나 (무의미한 글자 반복), "모르겠어"라고만 반복하게 됩니다. 이것이 기존 방법들이 겪는 '통제 불능 (Loss-of-control)' 상태입니다.

2. 해결책: "논리 선생님" (새로운 방법 TRU)

이 논문은 AI 에게 단순히 "잊어라"라고 강요하는 대신, "왜 잊어야 하는지, 그리고 잊었을 때 어떻게 대답해야 하는지 논리 (Reasoning) 를 가르치는" 방법을 썼습니다.

• 비유: 아이에게 "불난 집에 들어가는 법"을 가르치지 말고, "왜 위험한지 설명하고, 대신 안전한 놀이터로 가자고 제안하는" 논리 선생님 역할을 시킨 것입니다.
  • 단계 1 (범위 설정): "이 질문은 위험한 영역이야 (범위 인식)."
  • 단계 2 (대응): "그래서 나는 그 정보를 알려줄 수 없어. 대신 이렇게 도와줄게 (논리적 거절)."

이렇게 **이유 (Reasoning) 를 포함시킨 목표 (Target)**를 통해 AI 는 단순히 정보를 지우는 게 아니라, "어떤 질문은 위험해서 거절해야 하고, 어떤 질문은 안전하게 답할 수 있는지" 스스로 판단하는 능력을 배우게 됩니다.

3. 핵심 기술: "이유가 있는 거절"

이 방법은 AI 에게 두 가지를 동시에 학습시킵니다.

1. 지우기 (Unlearning): 나쁜 정보는 확실히 지우기.
2. 이유 설명 (Reasoning): "왜 지웠는지"와 "대신 뭐라고 말해줘야 하는지"를 논리적으로 설명하는 훈련.

결과:

• 기존 방법: "지우기"만 해서 AI 가 멍청해지거나 엉뚱한 소리를 함.
• 새로운 방법 (TRU): AI 는 나쁜 정보는 확실히 거절하되, **"왜 거절하는지 설명하고, 다른 좋은 주제를 제안"**하는 똑똑한 태도를 보입니다. 또한, 영어로 물어봤을 때만 거절하고 스페인어로 물으면 알려주는 일도 없게 됩니다. (범위 인식 능력 향상)

---

🌟 요약: 이 연구가 왜 중요한가요?

1. 정확한 삭제: 필요한 정보 (저작권, 개인정보, 위험한 지식) 만 정확히 지우고, 다른 능력 (수학, 일반 상식) 은 그대로 유지합니다.
2. 예측 가능한 행동: AI 가 망가져서 이상한 말을 하는 대신, **"죄송하지만 이 정보는 알려드릴 수 없습니다. 대신 ~에 대해 이야기해 드릴까요?"**처럼 정중하고 논리적인 거절을 합니다.
3. 강한 방어: 해커가 질문을 살짝 바꿔서 (예: 외국어로, 혹은 다른 표현으로) AI 를 속이려 해도, AI 는 그 질문이 '위험한 영역'임을 논리적으로 파악해 거절합니다.

한 줄 평:

"기억을 지울 때 망치로 두드리는 대신, 이유를 설명해 주는 논리 선생님을 붙여 AI 가 스스로 '무엇을 기억하고 무엇을 잊을지' 똑똑하게 판단하게 만든 연구입니다."

기술 요약

논리 기반 추론을 통한 설명 가능한 LLM 포getting (Unlearning): TRU 기술 요약

이 논문은 ICLR 2026 에 제출된 것으로, 대규모 언어 모델 (LLM) 의 안전성, 저작권, 개인정보 보호 문제를 해결하기 위한 설명 가능한 LLM 포getting (Unlearning) 방법론을 제안합니다. 저자들은 기존 방법들의 한계를 지적하고, 목표 지향적 추론 포getting (Targeted Reasoning Unlearning, TRU) 이라는 새로운 패러다임을 소개합니다.

1. 문제 정의 (Problem)

기존 LLM 포getting 연구는 주로 경사상승법 (Gradient Ascent, GA) 및 그 변형들을 사용하여 원치 않는 지식 (예: 해로운 정보, 저작권 자료) 을 모델에서 제거하는 데 집중했습니다. 그러나 이러한 방법들은 다음과 같은 심각한 통제 불능 (Loss-of-Control) 문제를 야기합니다:

• 범위 제어의 실패 (Failure in Scope Control): GA 기반 방법들은 특정 학습 데이터 (Unlearning Dataset) 에만 집중하여, 해당 데이터의 재구성이나 변형 (예: 다른 언어로 번역된 내용) 은 여전히 기억하는 경우가 많습니다. 즉, '구체적인 데이터 포인트'는 잊었으나 '내재된 지식'은 남게 되어 포getting 의 범위가 불명확해집니다.
• 응답 제어의 실패 (Failure in Response Control): 원치 않는 질문에 대해 모델이 의미 있는 거절 (Refusal) 을 하기보다는, 무의미한 반복 문자 (예: /******/), 문법 오류, 또는 비논리적인 텍스트를 생성하는 경우가 빈번합니다. 이는 사용자에게 모델이 신뢰할 수 없거나 의도적으로 거부하는 것이 아니라 '오작동'하는 것으로 인식하게 만듭니다.

이러한 문제의 근본 원인은 어떤 지식을 어떻게 잊어야 하는지에 대한 명시적인 가이드 (Explicit Guidance) 가 부재하기 때문입니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 추론 기반 포getting 타겟 (Reasoning-based Unlearning Target) 을 도입하고, 이를 활용한 TRU (Targeted Reasoning Unlearning) 프레임워크를 제안합니다.

2.1. 추론 기반 포getting 타겟 (Reasoning-based Unlearning Target)

기존의 단순한 거절 문구가 아닌, 추론 과정 (Reasoning Trace) 을 포함한 타겟 데이터를 생성합니다. 이 타겟은 두 가지 핵심 기준을 충족해야 합니다:

1. 명시적 범위 (Specified Scope): 모델이 어떤 질문이 포getting 범위 (In-scope) 에 속하는지 논리적으로 판단할 수 있도록 합니다. (예: "이 질문은 유해한 생물학적 정보를 포함하므로 거절해야 함"이라는 추론)
2. 명시적 응답 (Specified Response): 모델이 일관되고 논리적인 거절 응답을 생성하도록 유도합니다. (예: "해당 정보는 제공할 수 없으며, 대신 안전하고 건설적인 주제인 X 에 대해 논의할 수 있습니다")

이 타겟 데이터는 고급 추론 능력을 가진 LLM (예: Deepseek-reasoner) 을 사용하여 자동 생성됩니다. 각 데이터 포인트는 (질문, 추론 과정, 적절한 거절 응답)의 3 튜플 형태로 구성됩니다.

2.2. TRU 알고리즘

TRU 는 다음과 같은 결합된 목적 함수 (Objective Function) 를 최적화합니다:

$$\min_{\theta} \mathcal{L}_{target}(\theta; \mathcal{G}_{rt}) + \alpha \mathcal{L}_{GA-based}(\theta; D_u, D_r)$$

• $\mathcal{L}_{target}$ (Supervised Loss): 생성된 추론 기반 타겟 데이터에 대한 교차 엔트로피 손실입니다. 이를 통해 모델은 어떤 질문이 포getting 대상인지 추론하는 능력과 적절한 거절 응답을 생성하는 능력을 학습합니다.
• $\mathcal{L}_{GA-based}$ (Gradient Ascent Loss): 기존 GA 기반 방법 (예: GradDiff) 을 사용하여 원치 않는 지식의 확률을 직접 감소시킵니다. 이는 지식의 완전한 삭제를 보장합니다.
• $\alpha$: 두 손실 함수 간의 균형을 조절하는 하이퍼파라미터입니다.

이러한 구조를 통해 TRU 는 모델이 범위를 논리적으로 구분하고 일관된 거절을 수행하도록 하며, 동시에 기존의 일반적 능력 (Retention) 을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 포getting 타겟 개념 제안: 단순한 데이터 삭제가 아닌, '추론 과정'을 포함하여 모델이 포getting 범위를 스스로 판단하고 논리적으로 거절할 수 있도록 하는 Reasoning-based Unlearning Target을 처음 제안했습니다.
2. TRU 프레임워크 개발: 추론 타겟 학습과 경사상승법을 결합하여, 포getting의 범위 제어와 응답 품질을 동시에 달성하는 새로운 알고리즘을 제시했습니다.
3. 통제 불능 문제 해결: 기존 방법들이 겪던 무의미한 출력 (Gibberish) 과 범위 오인 (Scope Misclassification) 문제를 해결하여, 설명 가능하고 신뢰할 수 있는 포getting을 실현했습니다.
4. 강력한 평가 프레임워크 (LLM-as-a-Judge): 기존 정량적 지표의 한계 (예: 정답 순서 변경에 따른 평가 불안정성) 를 보완하기 위해, LLM 을 심사자 (Judge) 로 활용하여 Unlearning Quality (UQ) 와 Retention Quality (RQ) 를 다차원적으로 평가하는 새로운 체계를 도입했습니다.

4. 실험 결과 (Results)

저자들은 WMDP (생물/사이버 보안), MUSE (저작권), TOFU (가상 저자) 등 다양한 벤치마크에서 TRU 를 기존 8 가지 방법 (GA, GradDiff, NPO, RMU 등) 과 비교 평가했습니다.

• Unlearning Quality (UQ) 향상: TRU 는 다른 모든 베이스라인을 압도적으로 능가했습니다. 특히 WMDP 벤치마크에서 UQ 점수가 6.0 이상으로 높게 나타났으며, 이는 모델이 유해한 질문에 대해 논리적이고 일관된 거절을 수행함을 의미합니다. 반면 기존 방법들은 대부분 0 에 가까운 점수 (무의미한 출력) 를 기록했습니다.
• Retention Quality (RQ) 유지: TRU 는 포getting을 수행하면서도 모델의 일반적 능력 (가독성, 논리성, 사실성) 을 잘 보존했습니다. 예를 들어, WMDP-Bio 에서 UQ 는 크게 향상되었으나 RQ 는 베이스 모델 대비 3.9% 만 감소했습니다. 반면, GA 나 GradDiff 는 포getting은 잘되었으나 일반 능력을 완전히 붕괴시켰습니다.
• 강건성 (Robustness):
  • 교차 언어 공격 (Cross-lingual): 영어 학습 데이터를 기반으로 하여도 스페인어, 러시아어 질문에서도 높은 UQ 를 유지했습니다.
  • 재학습 공격 (Relearning Attack): 소량의 데이터로 다시 학습 (Fine-tuning) 하더라도 잊혀진 지식이 다시 떠오르는 현상이 적었습니다.
  • 자일브레이크 (Jailbreak): 다양한 자일브레이크 프롬프트 공격 하에서도 안정적인 거절 능력을 유지했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 포getting 분야에서 "무엇을 (Scope)" 그리고 "어떻게 (Response)" 잊어야 하는지에 대한 명확한 가이드를 제공함으로써, 포getting의 신뢰성과 설명 가능성을 크게 향상시켰습니다.

• 실용성: 단순한 지식 삭제를 넘어, 사용자가 이해할 수 있는 논리적 거절과 건설적인 대안을 제시함으로써 실제 배포 환경에서의 안전성을 높입니다.
• 미래 연구 방향: TRU 는 포getting의 범위를 동적으로 조절할 수 있는 능력을 보여주어, 지속적인 포getting (Continual Unlearning) 및 온라인 업데이트 시나리오에도 적용 가능한 잠재력을 가지고 있습니다.

결론적으로, TRU 는 LLM 의 안전성, 저작권, 개인정보 보호 문제를 해결하기 위한 실용적이고 신뢰할 수 있는 새로운 패러다임으로 자리 잡을 것으로 기대됩니다.