Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning

이 논문은 기존 언러닝 방법들이 목표 지식을 신뢰성 있게 삭제하지 않고 오히려 가짜 '언러닝 뉴런'을 생성하여 정보를 숨기는 문제를 지적하고, 이를 해결하기 위해 어트리뷰션 기반 정규화를 통해 신뢰할 수 있는 지식 삭제를 가능하게 하는 새로운 방법인 Ssiuu 를 제안합니다.

핵심

🧠 "기억 지우기"의 함정과 새로운 해법: AI 가 잊는 법을 배우다

이 논문은 인공지능 (LLM) 이 민감한 정보 (예: 유명인의 사생활이나 비밀) 를 잊게 만드는 기술, 즉 **'언러닝 (Unlearning)'**에 대한 흥미로운 발견과 새로운 해결책을 제시합니다.

간단히 말해, **"AI 가 잊는 척하는 것과 진짜로 잊는 것은 다릅니다"**라는 메시지를 전달합니다.

---

1. 🕵️‍♂️ 문제: "잊은 척"하는 AI 의 속임수 (얕은 정렬)

지금까지 개발된 AI 기억 지우기 기술들은 대부분 가짜였습니다.

• 상황: AI 에게 "도널드 트럼프는 어느 나라 출신인가요?"라고 물으면 "미국"이라고 답합니다. 우리는 이 정보를 지우기 위해 AI 를 훈련시킵니다.
• 기존 방법의 실패: 기존 기술들은 AI 가 정답을 말하지 않게 억제만 할 뿐, 그 지식 자체를 지우지는 않았습니다.
• 비유:

  마치 방에 있는 보물상자 (지식) 를 덮어두는 것과 같습니다.
  기존 방법들은 상자를 덮는 **커튼 (가짜 억제 뉴런)**을 새로 만들어서, 상자가 보이지 않게 가렸습니다. 하지만 상자 자체는 여전히 방에 그대로 있습니다.
  AI 는 "지식"을 지운 게 아니라, "지식을 말하지 못하게 막는" 새로운 장치를 설치한 것입니다.

이 상태를 논문에서는 **'얕은 정렬 (Shallow Alignment)'**이라고 부릅니다. 겉보기엔 잊은 것 같지만, 속은 그대로입니다.

2. 💣 위험: 다시 기억해내는 AI (재학습 공격)

이 가짜 지우기 방식은 큰 위험을 안고 있습니다. 누군가 AI 를 다시 훈련시키면 (재학습), 그 커튼이 찢어지면서 숨겨져 있던 보물상자가 다시 드러나기 때문입니다.

• 공격 시나리오 1 (악의적): 해커가 AI 에게 잊으라고 했던 비밀 정보를 조금만 다시 가르치면, AI 는 금방 그 정보를 기억해냅니다.

• 공격 시나리오 2 (선의적): AI 를 일반 대화 능력 (지시 따르기) 을 향상시키기 위해 다시 훈련시켰을 때도, 우연히 숨겨져 있던 비밀 정보가 튀어나올 수 있습니다.

• 비유:

  커튼을 치고 있는 방에 **바람 (재학습)**이 불면 커튼이 흔들리면서 안에 있던 보물상자가 보입니다.
  기존 기술은 "커튼을 더 두껍게" 하는 것이 아니라, 상자 자체를 부숴버리는 것이 진짜 지우기임을 보여줍니다.

3. 🔍 발견: "가짜 억제 뉴런"의 정체

연구진은 AI 의 내부 구조를 분석 (설명 가능한 AI 기법 사용) 하여 이 현상을 확인했습니다.

• 진짜 지식 뉴런: 원래 그 정보를 담고 있던 뉴런들은 그대로 살아남았습니다.
• 가짜 억제 뉴런 (Spurious Unlearning Neurons): 새로운 훈련 과정에서 생긴, 지식을 말하지 못하게 막는 뉴런들이었습니다.
• 결과: 기존 방법들은 진짜 지식을 지우는 대신, 이 '가짜 억제 뉴런'을 만들어내서 지식을 숨겼을 뿐입니다.

4. 🛡️ 해결책: SSIUU (진짜 지우기 기술)

저자들은 이 문제를 해결하기 위해 SSIUU라는 새로운 방법을 제안합니다.

• 핵심 아이디어: "지식을 말하지 못하게 막는 (음의 영향력)" 뉴런이 생기는 것을 막고, 진짜 지식을 담고 있는 뉴런의 영향력을 직접 줄여라.
• 비유:

  기존 방법은 "커튼을 치는 것"이었다면, SSIUU 는 보물상자 (지식) 를 방에서 완전히 꺼내서 폐기하는 것입니다.
  AI 가 정보를 말하지 못하게 막는 '가짜 장벽'이 생기지 않도록 규제 (Regularization) 를 걸어, 지식의 흔적 자체를 없앱니다.

5. 🏆 성과: 왜 SSIUU 가 더 좋은가?

실험 결과, SSIUU 는 기존 방법들보다 훨씬 강력했습니다.

1. 진짜 잊음: AI 가 정보를 기억해낼 수 있는 흔적 (양수 영향력) 을 완전히 없앴습니다.
2. 강인함: 해커가 다시 훈련시키거나, 일반 목적으로 다시 훈련시켜도 비밀 정보가 다시 튀어나오지 않았습니다.
3. 안정성: AI 의 다른 능력 (일반 상식 등) 을 해치지 않으면서, 목표한 정보만 정확하게 지웠습니다.

📝 한 줄 요약

기존의 AI 기억 지우기 기술은 **"지식을 숨기는 가짜 장벽"**을 만들 뿐이었지만, 이 논문이 제안한 SSIUU는 "지식 자체를 뿌리째 뽑아내는" 진짜 지우기 기술입니다. 이를 통해 AI 가 사생활 침해나 보안 사고 없이 안전하게 우리 곁에 머물 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 은 웹 규모의 데이터로 학습되며, 이 과정에서 개인 정보나 민감한 지식이 모델 파라미터에 암묵적으로 기억될 수 있습니다. 이를 제거하기 위해 '기계적 망각 (Machine Unlearning)' 기법들이 개발되었습니다.
• 핵심 문제: 기존 망각 방법들은 표적 지식을 진정으로 삭제 (Erase) 하는 것이 아니라, 임시적으로 숨기는 (Hide) 수준에 그칩니다.
  • 얕은 정렬 (Shallow Alignment): 기존 방법들은 지식을 담고 있는 원래 뉴런의 영향을 줄이기보다, 새로운 '가짜 망각 뉴런 (Spurious Unlearning Neurons)'을 생성하여 표적 지식의 출력을 억제하는 방식으로 작동합니다.
  • 취약성: 이러한 가짜 뉴런은 추가 학습 (Retraining) 과정에서 교란되거나 우회될 경우, 잊혀진 지식이 다시 표면화 (Relearning) 됩니다. 이는 오픈소스 모델의 미세조정 (Fine-tuning) 이 보편화된 현실에서 심각한 보안 및 프라이버시 위험을 초래합니다.

2. 제안 방법: SSIUU (Methodology)

저자들은 SSIUU (Suppressing Spurious Unlearning Neurons for Robust Unlearning) 라는 새로운 망각 기법을 제안합니다. 이 방법은 가짜 망각 뉴런의 생성을 억제하고 표적 지식을 신뢰성 있게 제거하는 것을 목표로 합니다.

• 핵심 메커니즘: Attribution-Guided Regularization (귀속 기반 정규화)
  • 신뢰도 분석 (Attribution Analysis): 입력 텍스트와 출력 텍스트에 대한 각 뉴런의 기여도 (Attribution Score) 를 계산하여 양 (+) 의 영향 (지식 생성) 과 음 (-) 의 영향 (지식 억제) 을 정량화합니다.
  • 가짜 뉴런 식별: 기존 연구들은 망각 후 양의 영향이 감소하는 대신 음의 영향이 급격히 증가하는 현상을 보였습니다. 이는 지식을 삭제한 것이 아니라, 억제하는 뉴런이 새로 생겼음을 의미합니다.
  • 정규화 목적 함수: SSIUU 는 망각 과정에서 음의 영향 (Negative Influence) 의 증가를 제한하는 정규화 항을 목적 함수에 추가합니다.
    • 수식: $\arg \min_{\theta_t} \mathcal{L}_{\theta_t} + \lambda \sum ||A_{\theta_{t-1}} - A_{\theta_t}||^2$
    • 여기서 $A$는 이전 단계와 현재 단계의 뉴런 기여도 (Attribution) 입니다. 이 항은 기존에 존재하던 음의 영향 (언어 이해에 중요한 지식일 수 있음) 을 유지하면서, 새로운 과도한 음의 영향 (가짜 망각 뉴런) 이 생성되는 것을 방지합니다.
  • 결과: 양의 영향 (지식 자체) 은 신뢰성 있게 감소시키고, 음의 영향의 비정상적인 팽창은 막아내어 지식을 '숨기는' 것이 아닌 '삭제'하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 얕은 정렬 현상의 규명: 기존 망각 방법들이 표적 지식을 삭제하는 대신, 억제하는 가짜 뉴런을 생성하여 '얕은 정렬 (Shallow Alignment)'을 유발함을 설명 가능한 AI 기법 (Attribution) 을 통해 증명했습니다.
2. 실제 공격 시나리오 평가:
   • 악성 재학습 공격 (Harmful Attack): 잊혀진 데이터의 일부로 모델을 다시 학습시켜 지식 회복 여부를 확인.
   • 선의의 재학습 공격 (Benign Attack): 지시 따르기 (Instruction-following) 데이터 (예: Alpaca) 로 재학습시켜 지식 회복 여부를 확인.
   • 기존 방법들은 두 시나리오 모두에서 망각 효과가 쉽게 무너지는 것을 확인했습니다.
3. SSIUU 의 제안 및 검증: 가짜 망각 뉴런의 생성을 억제하는 정규화 기법을 도입하여, 재학습 공격에 강인하면서도 신뢰성 있게 지식을 삭제하는 새로운 방법을 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: Llama-3.2 (3B), Qwen-2.5 (3B) 모델과 FaithUn, TOFU 데이터셋을 사용했습니다.
• 성능 비교:
  • 기존 방법 (GA, GD, DPO, NPO, RMU 등): 악성 및 선의의 재학습 공격 후, 잊혀진 지식의 정확도가 급격히 회복되었습니다 (예: GA 는 악성 공격 시 60% 이상의 정확도 회복).
  • SSIUU: 두 공격 시나리오 모두에서 가장 낮은 지식 회복률을 보였습니다. FaithUn 데이터셋에서 악성 공격 시 14.81% (GA 는 68.42%), TOFU 데이터셋에서도 우수한 성능을 입증했습니다.
  • 기타 지식 유지 (Retention): 망각 대상이 아닌 일반 지식 (RS, US) 은 기존 모델 수준으로 잘 유지되었습니다.
• 내부 분석 (Logit Lens & Attribution):
  • Logit Lens 분석: 기존 방법 (GD 등) 은 망각 후에도 특정 레이어에서 정답에 대한 확률이 우연 수준보다 낮아지는 등 과도한 망각 (Over-unlearning) 이 발생했으나, SSIUU 는 우연 수준 (Random chance) 으로 안정적으로 조정되었습니다.
  • 영향력 변화: SSIUU 는 가짜 뉴런 (음의 영향) 의 생성을 억제하고, 지식 관련 뉴런 (양의 영향) 을 전 레이어에 걸쳐 신뢰성 있게 감소시켰습니다.
  • 분포 안정성: 재학습 공격 전후의 Attribution 분포 상관관계 (Correlation) 가 SSIUU 에서 가장 높게 (0.99) 나타나, 공격에 대한 분포적 안정성이 뛰어남을 보였습니다.

5. 의의 및 결론 (Significance)

• 안전한 LLM 배포의 필수 조건: 단순히 지식을 '숨기는' 현재의 망각 기법은 재학습 공격에 취약하여 실제 환경에서 신뢰할 수 없음을 강조했습니다.
• 근본적인 해결책 제시: SSIUU 는 지식을 억제하는 메커니즘이 아닌, 지식 표현 자체를 삭제하는 방향으로 망각을 유도함으로써 강건한 (Robust) 망각을 실현합니다.
• 향후 방향: 이 연구는 LLM 의 프라이버시 보호를 위해 단순한 파라미터 조정을 넘어, 모델 내부의 뉴런 기여도 (Attribution) 를 정밀하게 제어하는 접근법의 중요성을 부각시켰습니다.

요약하자면, 이 논문은 기존 LLM 망각 기술이 가진 '숨기기 (Hiding)'의 함정을 지적하고, 가짜 망각 뉴런의 생성을 억제하여 지식을 진정으로 삭제 (Erasing) 하는 SSIUU를 제안함으로써, 재학습 공격에 강한 안전한 AI 모델 배포의 새로운 기준을 제시했습니다.