기술 요약: 불확실성 정량화를 통한 가짜 망각 해결

문제 제기

기계 망각 (Machine unlearning) 은 훈련된 모델에서 특정 데이터 포인트의 영향을 제거하는 것을 목표로 하며, GDPR 과 같은 규정에 따라 이 기능이 점점 더 의무화되고 있습니다. **망각 정확도 (Unlearning Accuracy, UA)**는 모델이 "망각" 데이터를 오분류하는 비율을 측정하여 성능을 평가하는 표준 지표이지만, 저자들은 **가짜 망각 (fake forgetting)**이라는 치명적인 결함을 발견했습니다.

이 논문은 UA 가 단일 점 예측에만 의존하기 때문에 불충분하다고 주장합니다. 모델이 망각 데이터 포인트를 오분류하여 높은 UA 점수를 얻을지라도, 불확실성 추정치 내에서 실제 레이블에 대한 높은 확신을 유지할 수 있기 때문입니다. 구체적으로, 실제 레이블이 모델의 **합의 예측 집합 (conformal prediction set)**에 포함될 수 있으며, 이는 정보가 모델의 결정 경계에서 진정으로 삭제되지 않았음을 의미합니다. 이 현상은 Grad-CAM 을 통해 시각화되는데, 모델이 이미지를 오분류하더라도 예측 집합에 실제 레이블이 남아 있는 경우, 주의 메커니즘이 여전히 객체의 주요 특징에 집중하는 것을 보여줍니다.

방법론

1. 합의 비율 (Conformal Ratio, CR) 지표

UA 의 한계를 해결하기 위해 저자들은 **Split Conformal Prediction (SCP)**에서 영감을 받은 새로운 평가 지표인 **합의 비율 (Conformal Ratio, CR)**을 제안합니다. 단일 예측 클래스만 확인하는 UA 와 달리, CR 은 전체 예측 집합을 평가합니다.

이 지표는 다음과 같이 정의됩니다:
$$CR = \frac{\text{커버리지 (Coverage)}}{\text{집합 크기 (Set Size)}}$$

• 커버리지 (Coverage): 실제 레이블이 합의 예측 집합 내에 포함되는 망각 데이터 포인트의 비율입니다. 망각 데이터에서 높은 커버리지는 "가짜 망각"을 나타냅니다.
• 집합 크기 (Set Size): 예측 집합 내 레이블의 평균 개수입니다.
• 해석: 망각 데이터 ($D_f$) 에서 낮은 CR 값은 더 강력한 망각을 의미합니다 (실제 레이블이 집합에서 성공적으로 제외됨). 반면, 테스트 데이터 ($D_{test}$) 에서 높은 CR 은 모델의 유용성이 유지됨을 나타냅니다.

저자들은 기존 지표들이 예측 집합 내에 실제 레이블이 남아 있는 경우를 탐지하지 못하는 반면, CR 은 실제 레이블이 비-합의 점수 (non-conformity score) 임계값을 넘어설 때까지 밀어내야 하므로 이를 포착함을 검증했습니다.

2. 합의 예측 망각 (Conformal Prediction Unlearning, CPU) 프레임워크

CR 에 대한 통찰을 바탕으로 저자들은 훈련 기반 망각 방법을 개선하기 위한 일반적인 프레임워크인 CPU를 제안합니다. 핵심 아이디어는 손실 함수를 수정하여 망각 데이터의 실제 레이블을 명시적으로 합의 예측 집합 밖으로 밀어내는 것입니다.

이 프레임워크는 Carlini & Wagner (C&W) 적대적 공격 손실을 적용합니다. 단순히 실제 클래스와 가장 강력한 경쟁 클래스 간의 차이를 최대화하는 대신, CPU 손실은 실제 레이블의 비-합의 점수 ($S(x, y_t)$) 를 합의 임계값 ($\hat{q}$) 을 넘도록 밀어냅니다.

제안된 손실 함수는 다음과 같습니다:
$$L_{cpu}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$$

여기서:

• $\hat{q}$는 보정 집합에서 도출된 임계값입니다.
• $S(x, y_t) = 1 - p_t(x)$는 비-합의 점수 (역확률) 입니다.
• $\Delta$는 마진 매개변수이며 (실험에서 0.01 로 설정됨) 입니다.

이 손실 함수는 실제 레이블의 비-합의 점수가 $\hat{q}$를 초과할 때까지 증가하도록 모델을 유도하여, 결과적으로 실제 레이블을 예측 집합에서 제외시킵니다. 최종 목적 함수는 기존 손실과 이 새로운 항을 결합합니다:
$$L_{total} = L_{original} + \lambda \cdot L_{cpu}$$

주요 기여

1. 가짜 망각의 식별: 이 논문은 UA(오분류) 에 의해 "망각"된 것으로 식별된 데이터의 상당 부분이 실제 레이블이 합의 예측 집합 내에 남아 있기 때문에 여전히 복구 가능함을 입증했습니다.
2. 새로운 지표 (CR): 상위 예측뿐만 아니라 전체 예측 집합을 평가함으로써 망각 품질에 대한 더 신뢰할 수 있는 평가를 제공하는 합의 비율을 도입했습니다.
3. CPU 프레임워크: 적응형 C&W 손실을 통해 합의 예측 개념을 훈련 손실에 통합하여 실제 레이블이 예측 집합에서 제외되도록 보장하는 일반적이고 모델에 구애받지 않는 망각 프레임워크입니다.
4. 종합적 평가: 다양한 데이터셋 (CIFAR-10, Tiny ImageNet, Oxford-Pets) 과 아키텍처 (ResNet-18, ViT, Swin-T) 에 걸친 광범위한 실험을 통해 CPU 가 망각 품질을 향상시키면서도 유지되거나 테스트된 데이터에서 모델 유용성을 크게 저하시키지 않음을 검증했습니다.

실험 결과

• 지표의 우월성: 12 가지 다른 망각 베이스라인을 사용한 실험에서 CR 과 UA 로 평가했을 때 방법론의 순위가 크게 변경되었습니다. UA 하에서 성능이 좋았던 방법들 (예: Random Labeling) 은 CR 하에서 가짜 망각을 겪는 것으로 나타났고, 반면 다른 방법들 (예: Salun) 은 더 나은 진정한 망각 능력을 보여주었습니다.
• 프레임워크 성능: 기존 방법 (RT, FT, RL) 에 CPU 프레임워크를 적용하면 망각 데이터의 CR 이 크게 감소하여 (더 나은 망각을 의미) 유지 정확도 (RA) 와 테스트 정확도 (TA) 는 안정적으로 유지되었습니다.
  • 예를 들어, CIFAR-10 과 ResNet-18 에서 Finetune (FT) 방법에 CPU 를 적용하면 Re-train (RT) 베이스라인과의 UA 격차가 4.8% 에서 0.7% 로 줄어들면서 동시에 망각 데이터의 CR 이 감소했습니다.
• 시각적 증거: Grad-CAM 시각화는 CPU 를 통해 예측 집합에서 실제 레이블이 제외되었을 때, 모델의 활성화 영역이 객체의 주요 특징에서 멀어지는 것을 확인시켜 주었습니다. 이는 표준 망각에서 오분류됨에도 불구하고 특징이 여전히 강조되는 것과 대조적입니다.
• 효율성: CPU 손실의 추가는 계산 오버헤드를 거의 증가시키지 않았으며, 다양한 데이터셋에서 훈련 시간이 1 분 미만으로 증가했습니다.

중요성과 주장

이 논문은 평가 패러다임을 단순한 정확도에서 불확실성 정량화로 전환함으로써 기계 망각을 위한 더 엄격한 기반을 제공한다고 주장합니다. 저자들은 UA 만에 의존하는 것은 위장된 프라이버시와 보안에 대한 착각을 불러일으킨다고 강조합니다. 실제 레이블이 단순히 오분류되는 것을 넘어 예측 집합에서 적극적으로 제외되도록 보장함으로써, 제안된 CR 지표와 CPU 프레임워크는 데이터가 진정으로 망각되었음을 더 신뢰할 수 있게 보장합니다. 이 연구는 기존 망각 방법들이 종종 예측의 확신을 다루지 못한다는 점을 지적하며, 제안된 접근 방식은 합의 예측과 적대적 공격의 원리를 활용하여 이 격차를 메웁니다.