Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs

이 논문은 기존 기계적 망각 방법이 제거 대상 데이터를 학습에 포함함으로써 오히려 민감 정보 노출을 강화할 수 있다는 문제를 지적하고, 생성 모델이 자체 생성 데이터로 학습할 때 발생하는 '모델 붕괴 (Model Collapse)' 현상을 의도적으로 유도하여 대상 데이터를 제거하는 새로운 방법인 '부분 모델 붕괴 (PMC)'를 제안합니다.

핵심

"모델 붕괴"를 이용한 새로운 지우기 기술: PMC

이 논문은 거대 언어 모델 (LLM, 예: 챗봇) 이 기억하고 있는 민감한 정보나 저작권이 있는 내용을 완벽하게 지우는 새로운 방법을 제안합니다. 제목처럼 저자들은 기존 방법의 문제점을 지적하며, "모델 붕괴 (Model Collapse)"라는 현상을 오히려 **장점 (Feature)**으로 활용하는 혁신적인 접근법을 소개합니다.

간단한 비유와 일상적인 언어로 설명해 드리겠습니다.

---

1. 기존 방법의 문제: "망각을 위해 다시 외우는 것"

기존의 '지우기 (Unlearning)' 기술들은 민감한 정보를 지우기 위해, 그 정보를 다시 한 번 모델에게 가르치고는 "이건 아니야!"라고 외치는 방식을 썼습니다.

• 비유: 친구가 "네가 내 비밀을 말하지 말라"고 해서, 그 비밀을 입에 달고 살며 "아니, 그건 비밀이야!"라고 반복해서 외우는 것과 같습니다.
• 문제점:
  1. 역효과: 비밀을 계속 입에 대고 있으니, 오히려 그 정보가 뇌에 더 깊게 각인될 위험이 있습니다.
  2. 부작용: "비밀은 말하지 마"라고 외치느라, 다른 일반적인 지식 (예: 수학 공식이나 날씨) 도 함께 망가져 버립니다.
  3. 위험: 해커가 "그 비밀을 말해봐"라고 특정하게 물어보면, 모델이 그 정보를 다시 뱉어낼 수 있습니다.

2. 새로운 아이디어: "Partial Model Collapse (PMC)"

저자들은 **"모델 붕괴"**라는 현상을 이용합니다. 보통 AI 는 스스로 만든 내용으로만 계속 학습하면, 점점 지식이 줄어들고 엉뚱한 말만 하다가 망가집니다 (이걸 '붕괴'라고 합니다).

이 논문은 **"그 망가진다는 현상을 의도적으로 이용하자"**고 말합니다.

• 핵심 아이디어: 민감한 질문을 했을 때, 모델이 스스로 만들어낸 답변들만 계속 학습하게 하여, 그 질문에 대한 기억을 점점 흐릿하게 만들고 결국 잊게 만드는 것입니다.
• 비유:
  • 기존 방법: "이 사진은 지워야 해!"라고 사진첩을 들춰가며 그 사진을 계속 보고는 "지워!"라고 소리치는 것. (사진이 더 선명해질 수도 있음)
  • PMC 방법: 그 사진이 찍힌 장소를 스스로 상상해 보게 한 뒤, 그 상상에만 집중하게 합니다. 그러다 보면 실제 사진은 점점 흐릿해지고, 결국 그 장소를 기억하지 못하게 됩니다.

3. PMC 가 어떻게 작동할까요? (단계별 설명)

1. 질문하기: "해리 포터의 올빼미 이름이 뭐야?" (지우고 싶은 질문)
2. 스스로 답변하기: 모델에게 "네가 생각나는 답을 10 개 말해봐"라고 합니다. (예: "헤드윅", "모르겠어", "존", "헤드윅"...)
3. 가장 좋은 답 고르기: 그중에서 "헤드윅"이라는 정답과 가장 멀리 떨어진 (또는 지우기에 유리한) 답변을 고릅니다. (예: "모르겠어"나 "헤드윅"이 아닌 엉뚱한 답)
4. 학습하기: 모델에게 그 고른 답변을 다시 가르칩니다.
5. 반복: 이 과정을 반복하면, 모델은 "해리 포터의 올빼미"에 대해 "헤드윅"이라고 말하는 확률이 점점 줄어들고, "모르겠다"거나 "알 수 없다"는 말만 하게 됩니다.

이때 중요한 점은, 정답 (헤드윅) 을 모델에게 보여주고 "안 돼!"라고 가르치는 것이 아니라, 모델이 스스로 만들어낸 엉뚱한 답들만 학습시킨다는 것입니다. 그래서 민감한 정보가 다시 강화되지 않습니다.

4. 왜 이 방법이 더 좋을까요?

• 안전한 지우기: 정답을 직접 보여주지 않기 때문에, 민감한 정보가 모델에 다시 새겨질 위험이 없습니다.
• 다른 지식은 살아남음: "헤드윅"만 잊게 하려고 노력하는 것이 아니라, 모델이 스스로 만들어낸 엉뚱한 답에 집중하게 하므로, "파리 날씨"나 "수학 공식" 같은 다른 지식은 그대로 유지됩니다.
• 해킹에 강함: 해커가 "정답을 말해봐"라고 특정하게 유도해도, 모델은 그 정보를 기억하지 못해 뱉어내지 못합니다. (기존 방법들은 특정 질문을 받으면 정답을 다시 뱉어내는 경우가 많았습니다.)

5. 결론: "붕괴"를 "구원"으로

이 논문은 AI 가 스스로 학습하다 망가진다는 '모델 붕괴'를 단순한 버그가 아니라, 필요한 정보를 지울 때 쓸 수 있는 강력한 도구로 재해석했습니다.

마치 정원사가 잡초를 뽑을 때, 잡초를 뽑는 도구를 잡초에 대고 "잡초야, 사라져!"라고 외치는 대신, 잡초가 자라는 토양을 의도적으로 변형시켜 잡초가 자라지 못하게 만드는 것과 같습니다.

이 기술 (PMC) 은 AI 의 프라이버시 보호와 저작권 존중을 위해, 더 안전하고 효율적인 새로운 길을 제시합니다.

기술 요약

논문 요약: MODEL COLLAPSE IS NOT A BUG BUT A FEATURE IN MACHINE UNLEARNING FOR LLMS

(ICLR 2026 발표, Yan Scholten 등)

이 논문은 대규모 언어 모델 (LLM) 의 기계적 망각 (Machine Unlearning) 분야에서 기존 방법론의 근본적인 한계를 지적하고, '모델 붕괴 (Model Collapse)' 현상을 오히려 망각을 위한 도구로 활용하는 새로운 패러다임인 '부분적 모델 붕괴 (Partial Model Collapse, PMC)'를 제안합니다.

---

1. 문제 정의 (Problem)

기존 LLM 망각 방법론들은 망각하고자 하는 데이터 (예: 민감한 정보, 저작권 침해 내용) 에 대한 정답 (Ground-truth) 시퀀스를 직접 최적화 대상에 포함시키는 방식을 취합니다.

• 근본적 모순: 민감한 데이터를 제거하려는 목적과 정작 그 데이터를 학습 데이터 (또는 최적화 대상) 로 사용하는 것은 모순됩니다. 이는 오히려 민감한 데이터에 대한 노출을 강화할 위험이 있습니다.
• 부작용: 정답 시퀀스를 기반으로 한 경사 상승 (Gradient Ascent) 나 선호도 최적화 (DPO 등) 는 모델의 일반적 성능 (Utility) 을 저하시키고, 오히려 적대적 공격 (샘플링 공격, 프리필링 공격) 에 취약하게 만들어 망각된 정보가 유출될 수 있습니다.
• 핵심 질문: "모델 붕괴 (Model Collapse) 의 원리를 활용하여 기계적 망각을 위한 원칙 있는 접근법을 개발할 수 있는가?"

2. 제안 방법: 부분적 모델 붕괴 (Partial Model Collapse, PMC)

저자들은 생성 모델이 자신의 생성물 (Self-generated data) 로 반복적으로 학습될 때 발생하는 정보 손실 현상인 '모델 붕괴'를 망각에 활용합니다.

• 핵심 아이디어: 망각 대상 (Forget queries) 에 대해 모델이 스스로 생성한 응답들을 반복적으로 학습시킴으로써, 해당 질문에 대한 모델의 출력 분포를 의도적으로 특정 상태 (예: "모르겠습니다", 일반적 거절, 또는 의미 없는 텍스트) 로 수렴시킵니다.
• 작동 원리:
  1. Forget Query 처리: 망각해야 할 질문에 대해 모델이 $n$개의 응답을 샘플링합니다.
  2. 선호도 모델 (Preference Model) 적용: Bradley-Terry 모델을 사용하여, 원래 모델의 정답과 가장 다르게 생성된 (또는 선호도가 높은) 응답을 선택합니다. (정답 데이터는 필요 없음)
  3. 반복 미세 조정 (Iterative Fine-tuning): 선택된 응답으로 모델을 미세 조정합니다.
  4. 수렴: 이 과정을 반복하면, 망각 대상에 대한 확률 분포가 붕괴되어 원하는 상태 (정보 제거) 로 수렴하게 됩니다.
• 수학적 기반: 이 과정은 이론적으로 최대 보상 (Maximum Reward) 에 도달하고 분산이 0 이 되는 것으로 증명됩니다. 즉, 망각 대상에 대한 정보가 모델 출력에서 완전히 제거됩니다.
• 유지 (Retain) 데이터: 망각 대상이 아닌 일반 데이터 (Retain set) 에 대해서는 기존 성능을 유지하도록 학습 손실 (Loss) 을 병렬로 계산하여 모델의 전반적인 유용성을 보존합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 정답 데이터 없이 모델의 자체 생성 데이터를 기반으로 반복 학습하여 정보를 제거하는 '부분적 모델 붕괴 (PMC)'를 최초로 제안했습니다.
2. 이론적 분석: PMC 가 망각 대상에 대한 정보 제거를 위해 목표 분포로 수렴함을 수학적으로 증명했습니다.
3. 기존 방법의 부작용 규명: 정답 기반 최적화 방법 (NPO, GA 등) 이 망각과 무관한 문맥에서도 토큰 확률을 왜곡시키고, 다중 선택 문제에서 정답 확률을 비자연스럽게 낮춰 오히려 정보 유출 (Leakage) 을 유발할 수 있음을 실험적으로 증명했습니다.
4. 성능 입증: 기존 최첨단 (SOTA) 망각 방법들보다 우수한 성능을 보이며, 모델의 일반적 유용성 (Utility) 을 유지하면서 민감 정보를 효과적으로 제거함을 입증했습니다.

4. 실험 결과 (Results)

TOFU 데이터셋과 Phi-1.5, Llama-3.2-3B-Instruct, Gemma-3-12b-it 모델을 사용하여 실험했습니다.

• 유용성 - 망각 품질 트레이드오프 (Pareto Frontier): PMC 는 기존 방법들 (GA, GD, DPO, NPO, IDK 등) 보다 훨씬 넓은 Pareto 프론티어를 형성합니다. 즉, 망각 품질을 높이는 동시에 모델의 유용성을 더 잘 보존합니다.
• 적대적 공격에 대한 강건성 (Robustness):
  • 샘플링 공격 (Sampling Attack): 100 번의 샘플링 시도 중 가장 높은 점수 ( Worst-case leakage) 를 비교했을 때, PMC 는 기존 방법들보다 훨씬 낮은 정보 유출을 보였습니다.
  • 프리필링 공격 (Prefilling Attack): "정답은: ..."과 같은 접두사를 주어 강제로 응답을 이어가게 하는 공격에서도 PMC 는 기존 방법 (특히 IDK 기반 방법) 보다 훨씬 강력하게 정보를 차단했습니다.
• 부작용 부재: 기존 방법들은 망각 대상과 무관한 문맥에서도 토큰 확률을 왜곡시키는 부작용을 보였으나, PMC 는 이러한 부작용이 없었습니다.
• 다중 선택 평가: 다중 선택 문제에서 정답이 가장 낮은 확률을 갖도록 왜곡되는 현상 (정보 유출의 징후) 이 기존 방법에서는 관찰되었으나, PMC 에서는 관찰되지 않았습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 모델 붕괴를 '버그 (Bug)'가 아닌, 민감 정보를 제거하기 위한 '기능 (Feature)'으로 재해석했습니다.
• 실용적 가치: 정답 데이터 (Ground-truth) 가 없거나 접근이 제한된 상황 (예: 프라이버시 문제로 원본 데이터를 공유할 수 없는 경우) 에서도 효과적인 망각이 가능합니다.
• 향후 연구 방향: 생성형 AI 의 신뢰성을 높이기 위한 새로운 접근법을 제시하며, LLM 을 넘어 다른 생성 모델의 망각 연구에도 기초를 제공합니다.

결론적으로, 이 논문은 민감 정보 제거를 위해 모델이 스스로 생성한 데이터를 반복 학습시켜 분포를 붕괴시키는 방식을 통해, 기존 방법론의 한계를 극복하고 더 안전하고 효율적인 LLM 망각 기술을 제시했습니다.