Unlearning Evaluation through Subset Statistical Independence

이 논문은 기존 평가 방법의 한계를 극복하기 위해 재학습이나 보조 분류기 없이 힐베르트 - 슈미트 독립성 기준 (HSIC) 을 활용해 학습 데이터의 부분집합에 대한 통계적 독립성을 검증함으로써 기계적 망각의 효과를 평가하는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"기계가 잊는 것을 어떻게 증명할까?"**라는 아주 흥미로운 질문에 대한 답을 제시합니다.

마치 우리가 과거의 나쁜 기억을 지우려고 노력할 때, 정말로 그 기억이 사라졌는지 어떻게 알 수 있을까요? 이 논문은 그 답을 **"통계적 독립성"**이라는 새로운 시선으로 찾아냈습니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 문제: "잊었다"고 말만 하면 안 되죠! (기존 방법의 한계)

기존에는 기계가 특정 데이터를 '잊었다'고 주장할 때, 그걸 검증하는 방법이 두 가지였는데, 둘 다 현실적으로 매우 어려웠습니다.

• 비유 1: "다시 처음부터 배우게 해라" (Retraining)
  • 기계에게 "이 데이터는 잊어버려"라고 했을 때, 진짜 잊었는지 확인하려면 그 데이터를 빼고 처음부터 다시 공부를 시켜야 합니다.
  • 문제점: 이건 마치 "너가 그 친구를 잊었어?"라고 물었을 때, "아니야, 그 친구를 만나지 않고 처음부터 다시 태어나서 공부해봐"라고 하는 것과 같습니다. 시간과 돈이 너무 많이 들어 현실적으로 불가능합니다.
• 비유 2: "속임수 탐정" (Membership Inference Attack)
  • 기계가 그 데이터를 기억하고 있는지, 아주 작은 단서 (예: 확신도, 실수율) 를 찾아서 탐정처럼 추리하는 방법입니다.
  • 문제점: 이 탐정들은 기계가 어떻게 공부했는지 (학습 설정, 레이블 등) 를 미리 알아야만 작동합니다. 하지만 현실에서는 그 정보가 없거나, 잊혀진 데이터가 너무 적어서 탐정이 제대로 일할 수 없습니다.

2. 해결책: "조각난 퍼즐"을 통해 기억을 확인하다 (SDE 방법)

저자들은 **"개별적인 단서"를 찾는 대신, "데이터 덩어리 전체의 관계"**를 보자고 제안합니다.

• 핵심 아이디어: "함께 공부한 친구들은 서로 통한다"

  • 기계가 데이터를 학습할 때, 모든 데이터 조각들은 서로 영향을 주고받으며 연결됩니다. 마치 한 반에서 함께 공부한 친구들은 서로의 말투나 습관이 비슷해지는 것과 같습니다.
  • 하지만 기계가 한 번도 본 적 없는 데이터는 서로 아무런 관계가 없습니다. 마치 서로 다른 나라에서 온 낯선 사람들처럼 말이죠.

• 새로운 검증 도구: "반으로 나누어 보기" (Split-half Dependence)

  • 저자들은 잊으라고 요청받은 데이터 덩어리를 무작위로 반으로 쪼갭니다. (A 조와 B 조)
  • 그리고 A 조와 B 조가 서로 얼마나 밀접하게 연결되어 있는지를 수학적으로 측정합니다. (이걸 'HSIC'라는 도구로 측정합니다.)
  • 결과 해석:
    • A 조와 B 조가 서로 통한다면 (연결이 강함): "아, 이 데이터들은 기계가 함께 공부했던 기억이 있구나!" → 잊지 못함 (실패)
    • A 조와 B 조가 서로 무관하다면 (연결이 약함): "이 데이터들은 기계에게 낯선 존재구나." → 잊음 (성공)

3. 왜 이 방법이 획기적인가? (장점)

이 방법은 마치 "기계의 뇌를 직접 열어보지 않고도, 그 사람의 성격만 보고 과거를 추측하는" 것과 같습니다.

1. 다시 공부할 필요 없음: "다시 태어나서 공부해봐"라는 무거운 요구 없이, 현재 상태의 기계만으로도 확인 가능합니다.
2. 추가 학습 불필요: 복잡한 탐정 (부수적인 모델) 을 따로 훈련시킬 필요가 없습니다.
3. 작은 덩어리도 감지 가능: 데이터가 아주 조금만 남아있어도, 그 작은 덩어리 내부의 '유대감'을 찾아내서 기억 여부를 판단합니다.

4. 실험 결과: 기존 방법보다 훨씬 정확하다

논문에서는 다양한 실험을 통해 이 방법이 기존 방법들보다 훨씬 뛰어나다는 것을 증명했습니다.

• 비유: 기존 방법들은 "기계가 기억하고 있는지 50% 만 알 수 있다"면, 이 새로운 방법은 **"90% 이상 정확히 맞춘다"**는 것입니다.
• 특히, 기존 방법들은 "기계가 잊었다고 착각하게 만드는" 나쁜 방법 (Unroll 같은 알고리즘) 을 성공한 것으로 오인할 때가 많았는데, 이 새로운 방법은 **"아직도 기억하고 있구나!"**라고 정확히 지적해냈습니다.

요약

이 논문은 **"기계가 데이터를 잊었는지 확인하는 새로운 눈"**을 제시합니다.

"기계가 잊은 데이터 덩어리를 반으로 쪼개서, 두 조각이 서로 '친한 사이'인지 확인해 보세요. 만약 서로 통한다면 아직 기억하고 있는 것이고, 서로 낯선 척한다면 진짜로 잊은 것입니다."

이 방법은 복잡한 재학습 없이도, 빠르고 정확하게 기계의 '기억 삭제'가 제대로 되었는지 검증할 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

기계 학습에서 특정 훈련 데이터의 영향을 제거하는 **머신 언러닝 (Machine Unlearning)**의 효과성을 평가하는 것은 현실적인 배포 환경에서 여전히 큰 과제로 남아 있습니다. 기존 평가 방법들은 다음과 같은 심각한 한계를 가지고 있습니다.

• 재훈련 모델 의존성: 기존 방법들은 언러닝된 모델의 성능을 평가하기 위해 '남은 데이터만으로 처음부터 재훈련한 모델 (Retrained Model)'을 기준 (Gold Standard) 으로 삼습니다. 이는 언러닝의 본질적인 목적인 '재훈련 없이 독립적으로 검증 가능한 모델'을 만드는 것을 무효화합니다.
• 멤버십 추론 공격 (MIA) 의 비실용성: MIA 를 활용하는 방법들은 신뢰도 점수, 손실 값, 또는 보조 분류기 (Auxiliary Classifier) 를 필요로 합니다. 이는 원본 훈련 설정 (레이블, 하이퍼파라미터 등) 에 대한 접근 권한이 필요하거나, 작은 부분집합 (Subset) 에 대한 통계적 신호가 약해져 신뢰할 수 없는 결과를 초래합니다.
• 실제 시나리오 부재: 현실에서는 훈련 데이터의 전체 구성이나 재훈련 모델을 구할 수 없는 경우가 많으므로, 기존 평가 방식은 적용하기 어렵습니다.

2. 제안 방법론: SDE (Split-half Dependence Evaluation)

저자들은 훈련 데이터의 작은 무작위 부분집합을 제거하는 언러닝 알고리즘의 특성에 착안하여, **통계적 독립성 (Statistical Independence)**에 기반한 부분집합 수준 (Subset-level) 평가 프레임워크를 제안합니다.

핵심 아이디어

• 훈련 참여에 의한 의존성: 모델이 훈련 데이터 ($D_{tr}$) 로 학습되면, 공유된 그래디언트 업데이트와 공적응 (Co-adaptation) 으로 인해 훈련 데이터 샘플 간의 내부 표현 (Representations) 에 통계적 의존성이 발생합니다.
• 비훈련 데이터의 독립성: 훈련에 사용되지 않은 데이터 ($D_{te}$) 는 모델 파라미터 형성에 관여하지 않았으므로, 그 출력 표현 간에는 통계적 의존성이 나타나지 않아야 합니다.
• 평가 접근법: 개별 샘플이 아닌 부분집합 (Subset) 단위로 평가합니다. 대상 부분집합을 두 개의 무작위 반 ($S_1, S_2$) 으로 나누고, 이 두 부분집합의 모델 출력 (활성화 값) 간의 의존성을 측정합니다.

기술적 구현: HSIC 기반 분할-반 의존성 테스트

1. HSIC (Hilbert-Schmidt Independence Criterion) 활용: 고차원 데이터의 의존성을 측정하는 커널 기반 통계량인 HSIC 를 사용합니다.
   • $H(S, h) = \text{HSIC}(h(S_1), h(S_2))$
   • 여기서 $S_1, S_2$는 대상 부분집합 $S$를 무작위로 나눈 두 반입니다.
2. 분할-반 테스트 (Split-half Dependence Test):
   • 훈련 데이터 (In-training): $S$가 훈련 데이터에 포함되었다면, $S_1$과 $S_2$는 모두 모델 파라미터에 공통적인 영향을 미쳤으므로 높은 HSIC 값 (강한 의존성) 을 보입니다.
   • 비훈련 데이터 (Out-of-training): $S$가 훈련 데이터에 포함되지 않았다면, $S_1$과 $S_2$는 독립적이므로 HSIC 값은 0 에 가깝습니다.
3. 평가 프로토콜:
   • 알려진 훈련 데이터 부분집합 ($S_{IT}$) 과 비훈련 데이터 부분집합 ($S_{OOT}$) 을 참조 집합 (Reference Sets) 으로 사용합니다.
   • 대상 부분집합 ($S_{tar}$) 의 HSIC 분포가 $S_{IT}$에 가까운지 $S_{OOT}$에 가까운지 **Jensen-Shannon Divergence (JSD)**를 통해 비교합니다.
   • $S_{tar}$가 $S_{OOT}$에 더 가깝다면, 해당 데이터가 모델에서 성공적으로 '잊혀졌음 (Unlearned)'을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 재훈련 모델 불필요: 언러닝 평가에 재훈련된 참조 모델이 전혀 필요하지 않습니다.
2. 보조 모델/학습 불필요: MIA 와 달리 추가적인 공격자 모델이나 보조 분류기 훈련이 필요하지 않습니다.
3. 샘플이 아닌 부분집합 기반 평가: 개별 샘플의 신호가 약한 상황에서도 부분집합 전체의 통계적 의존성을 통해 강력하고 견고한 평가를 가능하게 합니다.
4. 간단하고 독립적인 프로세스: 언러닝 워크플로우와 자연스럽게 통합될 수 있는 단순한 평가 절차를 제공합니다.

4. 실험 결과 (Results)

저자들은 분류 모델 (ResNet-18, AllCNN) 과 생성 모델 (Diffusion Models) 을 대상으로 SVHN, CIFAR-10/100, Tiny-ImageNet 등 다양한 데이터셋에서 실험을 수행했습니다.

• 훈련/비훈련 데이터 구분 능력:
  • 재훈련된 모델 (Gold Standard) 을 사용하여 실험한 결과, 제안된 방법 (SDE) 은 훈련 데이터와 비훈련 데이터를 매우 정확하게 구분했습니다 (F1 점수 0.9 이상).
  • 커널 대역폭 ($\sigma$) 이나 레이어 깊이에 따라 견고한 성능을 보였으며, 훈련 초기 단계 (10~20% epoch) 에서도 유의미한 의존성 신호를 포착했습니다.
• 기존 평가 지표와의 비교:
  • MMD(Maximum Mean Discrepancy) 나 Wasserstein 거리와 같은 분포 기반 거리 측정법보다 SDE 가 훨씬 높은 정확도를 보였습니다. 특히 작은 부분집합 크기에서도 SDE 가 우월했습니다.
• 언러닝 알고리즘 평가:
  • 기존 언러닝 방법들 (Random-label, Unroll, SalUn, Sparsity 등) 을 평가했습니다.
  • 중요한 발견: 기존 지표 (ASR, 정확도 등) 에서는 'Unroll' 방법이 재훈련 모델과 유사한 성능을 보여 효과적으로 보였으나, SDE 를 적용한 결과 Unroll 은 거의 모든 잊혀야 할 데이터를 여전히 '훈련 데이터'로 인식하고 있어 실제로는 언러닝이 실패했음이 드러났습니다.
  • 반면, 'Random-label' 방법은 높은 OTR (Out-of-Training Rate) 을 보여 성공적인 언러닝을 수행했음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 머신 언러닝 평가 패러다임의 전환을 제안합니다.

• 현실적인 검증 가능성: 재훈련이나 추가적인 데이터 접근 없이도, 모델의 출력 표현만으로도 언러닝의 성공 여부를 통계적으로 검증할 수 있는 실용적인 도구를 제공합니다.
• 기존 평가의 맹점 지적: 기존에 널리 사용되던 메트릭 (MIA 성공률, 재훈련 모델과의 유사도 등) 이 언러닝의 실패를 놓칠 수 있음을 보여주었습니다. 특히 'Unroll'과 같은 방법론이 실제로는 데이터를 잊지 못했음에도 기존 지표로는 성공으로 오인될 수 있음을 증명했습니다.
• 확장성: 분류 모델뿐만 아니라 확산 모델 (Diffusion Models) 과 같은 생성 모델에서도 적용 가능함을 입증하여, 다양한 AI 모델의 프라이버시 및 보안 검증에 활용될 수 있는 잠재력을 보여줍니다.

결론적으로, 이 연구는 통계적 독립성을 핵심 원리로 삼아, 재훈련 없이도 신뢰할 수 있고 견고한 머신 언러닝 평가 체계를 확립했다는 점에서 큰 의의를 가집니다.