Suppression or Deletion: A Restoration-Based Representation-Level Analysis of Machine Unlearning

이 논문은 기존 출력 기반 평가의 한계를 지적하며 희소 오토인코더를 활용한 복원 기반 분석을 통해 대부분의 머신 언러닝 기법이 정보가 삭제된 것이 아니라 중간 표현 수준에서 억제될 뿐임을 규명하고, 표현 수준 검증을 우선시하는 새로운 평가 기준의 필요성을 강조합니다.

핵심

이 논문은 **"기계가 기억을 지웠다고 말하지만, 실제로는 그냥 '가려둔' 것일 뿐일 수 있다"**는 놀라운 사실을 밝혀낸 연구입니다.

기존의 '기계 망각 (Machine Unlearning)' 기술은 사용자가 "내 사진을 모델에서 지워달라"고 요청했을 때, 그 정보가 완전히 사라졌는지 확인하는 데는 한계가 있었습니다. 이 논문은 **"진짜 지웠는지, 아니면 그냥 입만 막은 건지"**를 확인하는 새로운 방법을 제시합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 문제: "지우개"가 아니라 "커튼"인가?

우리가 학교에서 시험을 볼 때, 특정 문제를 못 풀게 하려고 답지를 찢어버린다고 가정해 봅시다.

• 진짜 삭제 (Deletion): 문제 자체를 지우개나 가위로 싹 잘라내서, 다시는 그 문제를 풀 수 없게 만드는 것.
• 단순 은폐 (Suppression): 문제와 답은 그대로 있는데, 커튼을 쳐서 답이 보이지 않게 막아놓는 것.

기존의 평가 방식은 "커튼을 치고 나서 답이 안 보이니, 문제를 지웠다고!"라고 결론 내렸습니다. 하지만 이 논문의 연구자들은 **"아니야, 커튼을 치기만 했지, 문제는 여전히 책장에 꽂혀 있어. 커튼을 걷어내면 다시 풀 수 있어!"**라고 지적합니다.

2. 새로운 탐정 도구: "SAE(스파스 오토인코더)"와 "스팀러"

연구자들은 이 '숨겨진 기억'을 찾아내기 위해 특별한 탐정 도구들을 사용했습니다.

• SAE (스파스 오토인코더): AI 의 뇌 속 (중간 층) 에 있는 수많은 정보 중, **"이 새 (Bird) 를 인식하는 정보"**나 **"이 가스 펌프 (Gas Pump) 를 인식하는 정보"**처럼 특정 대상을 구별하는 핵심 '전문가 (Expert)'들을 찾아내는 도구입니다. 마치 책장 속에서 특정 주제에 대한 책만 골라내는 도서관 사서 같은 역할입니다.
• 스팀러 (Steering): 찾아낸 '전문가' 정보를 다시 강하게 작동시켜 보는 실험입니다. 만약 AI 가 "새"를 기억하고 있다면, 그 기억을 다시 켜주면 AI 는 다시 "새"라고 대답할 것입니다.

3. 실험 결과: 12 가지 방법 중 대부분은 '커튼'만 치고 있었어

연구팀은 이미지 분류 AI 를 대상으로 12 가지의 유명한 '기억 지우기' 방법들을 테스트했습니다. 결과는 충격적이었습니다.

1. 대부분의 방법 (Suppression):

   • 외부에서 보면 "새"를 못 맞추는 것 같아 (정답률 0%) 성공한 것처럼 보였습니다.
   • 하지만 연구자들이 '전문가' 정보를 다시 켜주자, AI 는 다시 90~100% 정확도로 "새"를 맞췄습니다.
   • 비유: 마치 "비밀번호를 잊어버린 척" 하다가, 누군가 힌트를 주자마자 "아! 기억났어!"라고 외치는 것과 같습니다. 정보는 여전히 뇌 속에 살아있었습니다.

2. 재학습 (Retrain) 의 함정:

   • 가장 확실해 보이는 방법인 "데이터를 다시 학습시키는 것"조차 실패했습니다.
   • 비유: 새로운 교재를 사서 다시 공부해도, **과거에 이미 뇌에 각인된 깊은 지식 (사전 학습된 지식)**은 지워지지 않습니다. 마치 어릴 적 배운 영어 발음이 나이가 들어도 쉽게 사라지지 않는 것과 같습니다.

3. 진짜 삭제 (Deletion) 를 한 방법들:

   • 오직 몇 가지 방법 (예: EU-K) 만이 AI 의 뇌 구조 자체를 뜯어고쳐 정보를 완전히 지워냈습니다. 이 방법들은 정보를 다시 켜도 AI 가 기억을 못 했습니다.

4. 왜 이것이 위험한가요?

만약 우리가 "기억이 지워졌다"고 믿고 그 AI 모델을 인터넷에 공유하거나, 민감한 정보를 가진 기업에 배포한다면 어떨까요?

• 위험: 해커나 악의적인 사용자가 '스팀러' 같은 기술을 써서 숨겨진 기억을 다시 꺼내올 수 있습니다.
• 결과: "내 사진이 지워졌다고 믿었던" 사용자의 개인정보가 다시 유출될 수 있습니다.

5. 결론 및 제안: "커튼"을 걷어내는 새로운 기준

이 논문은 앞으로의 AI 개발자들에게 다음과 같은 조언을 합니다.

• 출력만 보면 안 됩니다: "정답을 못 맞추니 지워졌다"는 식의 단순한 테스트는 신뢰할 수 없습니다.
• 뇌 속을 들여다봐야 합니다: AI 의 중간 단계 (뇌의 깊은 곳) 에 정보가 남아있는지, 진짜로 삭제되었는지를 확인하는 '복원 테스트'를 의무화해야 합니다.
• 층 (Layer) 을 알아야 합니다: 정보는 AI 의 뇌 깊숙한 곳 (특정 층) 에 모여 있습니다. 모든 층을 다 고칠 필요는 없지만, 정보가 모여있는 '핵심 층'을 정확히 타격해야 진짜 삭제가 됩니다.

한 줄 요약

"기계가 잊어버린 척하는 것과, 진짜로 잊어버리는 것은 다릅니다. 우리는 AI 가 기억을 '가리는' 것이 아니라 '지우는'지 확인하기 위해, 뇌 속의 숨겨진 기억을 다시 꺼내보는 새로운 검사를 도입해야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Hugging Face 와 같은 모델 공유 플랫폼의 확산으로 사전 학습된 모델 (Pretrained Models) 의 접근성이 높아졌으나, GDPR 과 같은 규제 (잊힐 권리) 로 인해 민감하거나 저작권이 있는 정보를 모델에서 제거해야 하는 요구가 증가했습니다. 이를 해결하기 위해 기계적 망각 (Machine Unlearning, MU) 기술이 제안되었습니다.
• 현황: 대부분의 기존 MU 방법은 전체 재학습 (Full Retraining) 의 높은 비용을 피하기 위해 '근사 망각 (Approximate Unlearning)' 방식을 사용합니다.
• 문제점:
  • 기존 평가 지표는 출력 기반 (Output-based) 메트릭 (예: 망각 집합의 정확도, 멤버십 추론 공격 성능) 에 의존합니다.
  • 이러한 지표는 모델이 정보를 완전히 삭제 (Deletion) 했는지, 아니면 단순히 출력 단계에서 억제 (Suppression) 했는지 구분하지 못합니다.
  • 중간 계층 (Intermediate Layers) 에 정보가 남아있어 출력만 가려진 경우, 모델이 실제로는 민감 정보를 기억하고 있을 수 있으며, 이는 심각한 프라이버시 위험을 초래합니다.

2. 제안 방법론 (Methodology)

저자들은 복원 기반 분석 프레임워크 (Restoration-based Analysis Framework) 를 제안하여 억제와 삭제를 구분합니다. 핵심 아이디어는 "망각된 정보가 표현 수준 (Representation Level) 에서 실제로 제거되었는지, 아니면 복구 가능한 상태로 남아있는지"를 검증하는 것입니다.

• 핵심 도구: 희소 오토인코더 (Sparse Autoencoders, SAEs)
  • 모델의 중간 계층 활성화 (Activations) 에서 해석 가능한 '전문가 특징 (Expert Features)'을 식별합니다.
  • 특정 클래스와 관련된 특징을 분리하여 식별합니다.
• 프레임워크 단계:
  1. 특징 선택 (Feature Selection):
     • SAE 를 사용하여 특정 클래스 (망각 대상) 와 관련된 '전문가 특징'을 식별합니다.
     • 정밀도 (Precision) 와 재현율 (Recall) 을 기반으로 F1 점수가 높은 상위 특징들을 선택합니다.
     • 망각 전/후 모델 간의 특징 인덱스 정렬을 위해 헝가리안 알고리즘 (Hungarian Algorithm) 을 사용하여 특징을 매칭합니다.
  2. 선택적 복원 (Selective Restoration):
     • 망각된 모델의 중간 계층 활성화 값에서, 식별된 '전문가 특징'을 원래 모델의 값으로 대체 (Steering) 합니다.
     • 수식: $\hat{h}[j] = h_{unl}[j] + \alpha(h_{orig}[j] - h_{unl}[j])$
     • 여기서 $\alpha$는 조향 계수 (Steering Coefficient) 입니다.
  3. 평가:
     • 복원된 표현을 모델의 나머지 계층에 통과시켜 출력을 생성합니다.
     • 복원 후 망각 클래스의 정확도가 급격히 상승한다면, 이는 정보가 삭제되지 않고 억제 (Suppression) 되었음을 의미합니다.
     • 정확도가 변하지 않는다면, 정보가 실제로 삭제 (Deletion) 되었음을 의미합니다.

3. 주요 실험 및 결과 (Results)

저자들은 이미지 분류 작업 (CIFAR-10, ImageNette) 에서 12 가지 주요 망각 방법 (Retrain, Finetune, AdvNegGrad, SCRUB, SalUn 등) 에 대해 이 프레임워크를 적용했습니다.

• 억제 (Suppression) 의 우세:
  • 대부분의 근사 망각 방법들은 출력 기반 지표에서는 성공적으로 망각된 것처럼 보였으나 (망각 정확도 0%), 복원 실험에서 높은 정확도 (80~100%) 를 보였습니다.
  • 이는 정보가 중간 계층의 의미론적 특징 (Semantic Features) 으로 남아있고, 단순히 출력 매핑만 변경되었음을 의미합니다.
  • 재학습 (Retrain) 조차도: 처음부터 재학습한 모델조차도 사전 학습 (Pretraining) 에서 유래한 강력한 의미론적 특징이 남아 있어 높은 복원률을 보였습니다. 이는 단순 재학습만으로는 깊은 의미 표현을 완전히 제거할 수 없음을 시사합니다.
• 레이어 깊이와 데이터 복잡성의 영향:
  • 정보의 집중 위치는 데이터셋의 복잡성에 따라 다릅니다.
  • 단순한 데이터셋 (CIFAR-10) 은 중간 계층 (Layer 8-9) 에서 특징이 집중되지만, 복잡한 데이터셋 (ImageNette) 은 더 깊은 계층 (Layer 9-10) 에서 집중됩니다.
  • 이는 '의미 병목 (Semantic Bottleneck)'의 위치가 데이터에 따라 달라진다는 것을 보여줍니다.
• 삭제 성공 사례:
  • EU-K와 같은 일부 방법 (레이어 리셋 또는 구조적 수정 수행) 은 모든 계층에서 복원 정확도가 0% 를 기록하여 진정한 삭제를 달성했습니다.
  • SSD, Bad-T, CF-K와 같은 가중치 감쇠 (Weight Dampening) 기법들도 상대적으로 낮은 복원률을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 분석 프레임워크: SAE 와 추론 시 조향 (Inference-time Steering) 을 활용하여 기계적 망각이 '삭제'인지 '억제'인지 정량적으로 구분하는 프레임워크를 제안했습니다.
2. 현실적 발견: 12 가지 주요 망각 방법 중 대부분이 정보를 삭제하지 않고 억제만 하고 있음을 발견했습니다. 특히, 출력 기반 지표가 신뢰할 수 없음을 입증했습니다.
3. 새로운 평가 가이드라인 제안:
   • 레이어 인식 (Layer-aware) 설계: 정보의 집중 위치 (병목 계층) 를 파악하고 해당 계층을 직접 수정해야 합니다.
   • 표현 수준 검증: 출력 행동이 아닌 내부 메커니즘 (Representation-level) 을 검증하는 것이 필수적입니다.
   • 사전 학습 지식의 지속성: 사전 학습된 모델의 깊은 의미 표현은 단순 재학습으로도 제거되지 않으므로, 층 초기화 (Layer Re-initialization) 나 표적 파라미터 감쇠와 같은 강력한 수정이 필요합니다.

5. 의의 및 결론 (Significance)

• 프라이버시 위험 경고: 현재 널리 배포되는 '망각된' 모델들이 실제로는 민감 정보를 기억하고 있을 수 있음을 경고합니다. 이러한 모델이 공유 플랫폼을 통해 재배포될 경우, 표현 수준에서의 복원 공격을 통해 정보가 유출될 수 있습니다.
• 평가 기준의 변화 필요: 기존의 출력 기반 평가만으로는 진정한 정보 삭제를 보장할 수 없으며, 메커니즘적 검증 (Mechanistic Verification) 을 포함한 새로운 평가 기준이 시급합니다.
• 미래 방향: 본 연구는 안전한 모델 재배포를 위해 내부 표현 수준에서의 검증을 강조하며, 특히 프라이버시가 중요한 응용 분야에서 필수적인 기준을 제시합니다.

---

요약: 이 논문은 기계적 망각 기술이 표면적으로는 성공적인 것처럼 보이지만, 실제로는 모델의 내부 표현 (Intermediate Representations) 에 정보를 남겨두고 있을 수 있음을 SAE 기반의 복원 실험을 통해 증명했습니다. 이는 단순한 출력 억제가 아닌, 구조적이고 표적화된 표현 수준의 삭제가 필요함을 강조하며, 향후 망각 기술의 설계와 평가 기준을 근본적으로 재정의해야 함을 주장합니다.