Improving LLM Unlearning Robustness via Random Perturbations

이 논문은 현재 LLM 망각 (unlearning) 기법이 모델의 견고성을 약화시켜 '망각 토큰'을 백도어 공격의 트리거로 작용하게 만든다는 점을 규명하고, 이를 해결하기 위해 무작위 노이즈 증강 (RNA) 이라는 새로운 방어 기법을 제안하여 망각된 모델의 견고성을 크게 향상시킨다는 내용을 담고 있습니다.

핵심

이 논문은 최근 인공지능 (LLM) 분야에서 뜨거운 주제인 '기억 지우기 (Unlearning)' 기술의 숨겨진 약점을 발견하고, 이를 해결하는 새로운 방법을 제안한 연구입니다.

간단히 말해, **"AI 가 나쁜 기억을 지우려다 오히려 더 취약해졌는데, 우리가 그걸 막을 수 있다"**는 이야기입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "기억 지우기"가 역효과를 낳다

비유: 위험한 비밀을 숨긴 금고
상상해 보세요. 어떤 AI 가 '비밀스러운 나쁜 지식' (예: 생물무기 제조법, 해킹 방법 등) 을 가지고 있다고 칩시다. 우리는 이 AI 에서 그 나쁜 지식만 완벽하게 지우고 싶어 합니다.

기존의 방법들은 마치 금고의 특정 비밀 번호를 무작위로 바꿔버리는 것과 비슷합니다.

• "비밀 번호 (나쁜 지식) 를 잊게 하려면, 그 번호를 무작위 숫자로 바꿔버려!"
• 이렇게 하면 나쁜 질문을 했을 때 AI 가 "모르겠다"라고 대답하게 됩니다.

하지만 여기서 치명적인 함정이 생깁니다.
AI 는 그 나쁜 지식 (비밀 번호) 을 지우는 과정에서, "나쁜 단어 (Forget-token)"가 등장하면 무조건 그 무작위 숫자로 반응하도록 훈련을 받게 됩니다.

• 결과: AI 는 나쁜 질문에는 잘 대답하지 않게 되지만, 아예 상관없는 좋은 질문 (예: "오늘 날씨 어때요?") 을 할 때, 그 질문 속에 우연히 '나쁜 단어'가 섞여만 들어도 AI 가 미쳐버립니다.
• 마치 금고 비밀번호를 바꾸려다, 금고 문이 "비밀번호 1234 가 입력되면 자동으로 폭탄이 터지도록" 설정해 둔 것과 같습니다.
• 이 논문은 **"기존의 지우기 기술이 AI 를 스스로 독살 (Poison) 시켜, 나쁜 단어가 들어가기만 하면 망가지게 만들었다"**고 지적합니다.

2. 새로운 관점: "백도어 공격"과 "방어"

연구진은 이 현상을 **'백도어 (Backdoor) 공격'**에 비유합니다.

• 공격 (기억 지우기 과정): AI 를 훈련시킬 때, 나쁜 단어를 '백도어 트리거'처럼 사용해서 AI 를 조작한 셈이 됩니다.
• 결과: AI 는 나쁜 단어가 들어오면 정상적인 답변 대신 엉뚱하거나 위험한 반응을 하도록 '중독'된 상태가 됩니다.

3. 해결책: RNA (랜덤 노이즈 증강)

이제 이 문제를 해결하기 위해 제안된 방법인 **RNA (Random Noise Augmentation)**를 소개합니다.

비유: 안개 낀 미로
기존의 AI 는 나쁜 단어가 들어오면 아주 정확하게 "폭탄"을 터뜨리는 정밀한 기계처럼 작동했습니다.
연구진은 **"이 기계가 너무 예민하게 반응하지 못하게, 주변에 안개를 끼워라"**라고 제안합니다.

• 방법: AI 가 학습할 때, **매우 작은 무작위 소음 (노이즈)**을 계속 섞어줍니다.
• 효과:
  1. 안개 효과: 나쁜 단어가 들어와도, 그 소음 때문에 AI 가 "아, 이건 나쁜 단어인가? 아니면 그냥 소음인가?"를 구분하기 어렵게 됩니다.
  2. 방어: 나쁜 단어가 섞여도 AI 는 여전히 정상적인 답변을 할 수 있게 됩니다. 마치 안개 낀 길에서 길을 잃지 않도록 등불을 밝히는 것과 같습니다.
  3. 유연성: 이 방법은 어떤 AI 모델이든, 어떤 지우기 기술을 쓰든 적용할 수 있는 만능 열쇠 (Model-agnostic) 입니다.

4. 실험 결과: "기억은 지우되, 머리는 똑똑하게"

연구진은 이 방법을 다양한 AI 모델에 적용해 보았습니다.

• 기존 방식: 나쁜 단어가 섞인 질문을 받으면 AI 가 완전히 망가져서 엉뚱한 말을 했습니다. (정확도 급락)
• RNA 적용 후: 나쁜 단어가 섞여도 AI 는 여전히 똑똑하게 대답했습니다. (정확도 회복)
• 중요한 점: 나쁜 지식을 지우는 능력은 그대로 유지되면서, AI 의 일반적인 지능 (기억력) 은 크게 떨어지지 않았습니다.

5. 요약 및 결론

이 논문의 핵심 메시지는 다음과 같습니다.

1. 발견: 지금 우리가 쓰는 AI 의 '기억 지우기' 기술은, 나쁜 정보를 지우려다 AI 를 **'나쁜 단어에 민감하게 반응하는 병약한 상태'**로 만들었습니다.
2. 해결: **작은 무작위 소음 (RNA)**을 섞어주면, AI 가 그 나쁜 단어에 너무 예민하게 반응하지 않게 되어 튼튼해집니다.
3. 의의: 앞으로 AI 를 안전하게 만들기 위해서는 단순히 '지우기'만 하는 게 아니라, **'지우면서도 AI 가 흔들리지 않도록 튼튼하게 만드는 방어 기술'**이 필수적이라는 것을 보여줍니다.

한 줄 요약:

"AI 의 나쁜 기억을 지우려다 AI 를 약하게 만들지 말고, **작은 소음 (안개)**을 뿌려서 나쁜 단어에 흔들리지 않게 단단하게 만들어라!"

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 안전성과 프라이버시 보호를 위해 특정 지식 (예: 유해한 정보, 저작권 자료, 민감한 데이터) 을 모델에서 제거하는 머신 언러닝 (Machine Unlearning, MU) 기술이 중요해지고 있습니다. 그러나 기존 연구들은 주로 '기억된 지식의 복구 방지 (Forget-robustness)'에 집중해 왔으며, **보존된 지식의 강건성 (Retain-robustness)**은 간과되어 왔습니다.

이 논문은 다음과 같은 핵심 문제를 제기합니다:

• 현재 언러닝 방법의 취약점: 기존 언러닝 방법 (Representation Misdirection, Preference Optimization 등) 은 모델을 오히려 더 취약하게 만듭니다.
• 비적대적 Forget-Token 의 영향: 적대적 공격이 아닌, 단순한 보존 쿼리 (retain-query) 에 우연히 포함된 '잊혀야 할 토큰 (forget-token)' 하나만으로도 언러닝된 모델이 정상적인 응답을 하지 못하고 오작동 (misbehave) 합니다.
• 메커니즘의 오해: 언러닝은 지식을 완전히 삭제하는 것이 아니라, 특정 트리거 (forget-token) 가 활성화되었을 때만 작동하도록 모델을 '중독 (poison)'시키는 과정으로 해석될 수 있습니다.

2. 방법론 및 이론적 프레임워크 (Methodology & Framework)

저자들은 언러닝 과정을 **백도어 공격 (Backdoor Attack) 과 방어 (Defense)**의 관점에서 재해석하고, 이를 해결하기 위한 새로운 방법을 제안합니다.

A. 이론적 재해석: 언러닝을 백도어 공격으로

• Forget 과정 = 백도어 공격: 언러닝 과정에서 'forget-set'은 중독된 데이터셋으로, 'forget-token'은 백도어 트리거로, 'target-representation'은 악성 라벨로 작용합니다.
• 메커니즘: 모델은 forget-token 이 입력될 때 특정 목표 표현 (예: 무작위 벡터) 으로 매핑되도록 학습됩니다. 결과적으로, 보존 쿼리에 forget-token 이 우연히 포함되면 백도어 트리거가 활성화되어 모델이 잘못된 응답을 생성합니다.
• 통일된 관점: Representation Misdirection (RM) 과 Preference Optimization (PO) 두 가지 주요 언러닝 기법이 모두 forget-표현을 무작위화하거나 손실을 최대화하는 방식으로 작동하여, 본질적으로 유사한 백도어 취약점을 생성함을 이론적으로 증명했습니다.

B. 제안된 방법: Random Noise Augmentation (RNA)

이 취약점을 해결하기 위해 **랜덤 노이즈 증강 (Random Noise Augmentation, RNA)**을 제안합니다.

• 개념: 'Retaining' 과정을 백도어 방어 문제로 재정의합니다.
• 작동 원리: 학습 중 보존 쿼리 (retain-query) 의 잠재 표현 (latent representation) 에 작은 독립적인 가우시안 노이즈 ($\delta \sim \mathcal{N}(0, \nu I)$) 를 추가합니다.
• 효과:
  1. 결정 경계 흐리기: forget-token 이 트리거로 작용하는 명확한 경계를 흐리게 하여, forget-token 이 포함된 쿼리에서도 모델이 정상적인 일반 지식을 유지하도록 합니다.
  2. 손실 지형 평탄화 (Loss Landscape Smoothing): 모델이 forget-token 에 민감하게 반응하는 '뾰족한 (sharp)' 손실 지형을 평탄하게 만들어, 작은 섭동에 대한 민감도를 낮춥니다.
• 특징: 경량화되어 있으며, 모델 아키텍처나 언러닝 방법 (RM, PO 등) 에 독립적 (agnostic) 입니다.

3. 주요 기여 (Key Contributions)

1. LLM 언러닝의 통합적 관점: RM 과 PO 기법을 생성적 잠재 변수 모델 (GLVM) 을 통해 통합적으로 분석하고, 언러닝이 본질적으로 모델의 강건성을 저하시킨다는 것을 이론적으로 규명했습니다.
2. 새로운 개념적 프레임워크: 언러닝을 '백도어 공격 (Forget)'과 '백도어 방어 (Retain)'의 대립 과정으로 정의하여, 현재 방법론의 취약점 원인을 명확히 설명했습니다.
3. RNA 알고리즘 제안: 이론적 보장을 가진 경량화된 솔루션인 RNA 를 제안했습니다. 이는 모델의 일반 지식을 유지하면서 forget-token 에 대한 민감도를 획기적으로 낮춥니다.
4. 광범위한 실험적 검증: 다양한 모델 (Zephyr-7B, Mistral-7B, Llama-3-8B) 과 언러닝 기법 (RMU, NPO, DPO 등) 을 대상으로 RNA 의 효과를 입증했습니다.

4. 실험 결과 (Results)

• 강건성 향상: 기존 언러닝 모델은 보존 쿼리에 forget-token 이 포함되면 정확도가 급격히 하락했습니다 (RM 기준 평균 23.3% 감소, PO 기준 43.3% 감소). RNA 를 적용한 모델은 이 하락을 크게 완화하여 평균 정확도 회복률 (Recovery Rate) 을 50~66% 까지 개선했습니다.
• 기존 성능 유지: RNA 는 forget-task (유해 지식 제거) 와 retain-task (일반 지식 유지) 의 원래 성능을 유지하면서 강건성만 향상시켰습니다.
• 다른 정규화 기법과의 비교: Weight Decay 나 Dropout 과 같은 기존 정규화 기법은 retain-robustness 를 개선하지 못했으나, RNA 는 일관된 개선을 보였습니다.
• 다양한 공격에 대한 저항성: Forget-token 이 포함된 쿼리뿐만 아니라, 재학습 (relearning) 공격이나 다른 백도어 공격에 대해서도 RNA 모델이 더 나은 성능을 보였습니다.
• 모델 정렬 (Alignment) 영향: RNA 가 모델의 정렬 (Faithfulness, Toxigenicity 등) 에 부정적인 영향을 미치지 않음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 언러닝 연구에 다음과 같은 중요한 통찰을 제공합니다:

• 패러다임 전환: 언러닝을 단순한 지식 삭제 기술이 아닌, 보안 (보안 취약점 제거) 과 강건성의 관점에서 접근해야 함을 강조합니다.
• 실용적 해결책: 복잡한 모델 수정 없이 적용 가능한 경량화된 RNA 를 통해, 실제 서비스 환경에서 발생할 수 있는 우발적인 forget-token 포함 쿼리에 대한 모델을 보호할 수 있습니다.
• 미래 연구 방향: 언러닝의 취약점을 백도어 공격의 관점에서 분석함으로써, 향후 더 안전하고 견고한 언러닝 알고리즘 개발을 위한 이론적 기반을 마련했습니다.

결론적으로, 이 연구는 현재 언러닝 방법론이 가진 근본적인 취약점을 규명하고, 랜덤 노이즈를 활용한 간단한 기법 (RNA) 으로 이를 해결하여 LLM 의 안전성과 신뢰성을 동시에 향상시킬 수 있음을 증명했습니다.