POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse

"POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 정의

머신 언러닝 (Machine Unlearning) 은 처음부터 다시 학습하지 않고도 학습된 모델에서 특정 학습 데이터 (예: 특정 클래스 또는 부분집합) 의 영향을 제거하는 것을 목표로 합니다. 이는 GDPR 의 '잊힐 권리'와 같은 규제 준수 및 민감한 분야의 안전성에 있어 매우 중요합니다.

핵심 과제:
기존 방법들은 주로 약한 언러닝 (weak unlearning) 에 초점을 맞추는데, 이는 언러닝된 모델의 최종 예측 확률 (logits) 이 재학습된 모델과 구별할 수 없음을 보장합니다. 그러나 최근 연구들은 이러한 방법들이 종종 내부 특징 표현 (internal feature representations) 을 그대로 남긴다고 지적합니다. 결과적으로 잊혀진 정보는 선형 프로빙 (linear probing) 이나 특징 역전 (feature inversion) 을 통해 여전히 복구될 수 있어 개인정보 유출로 이어집니다. 나머지 클래스에 필요한 기하학적 구조를 유지하면서 표현 수준 (representation level) (특징 추출기 내부) 에서의 망각을 보장하는 방법들은 부재합니다.

2. 방법론: POUR

저자들은 Neural Collapse (NC) 이론에 기반한 기하학적 투영 방법인 POUR (Provably Optimal Unlearning of Representations) 를 제안합니다.

A. 이론적 기반: Neural Collapse 및 ETF

이 방법은 교차 엔트로피 손실로 학습된 심층 분류기가 Neural Collapse 상태로 수렴한다는 관찰에 의존합니다. 이때 다음과 같은 현상이 발생합니다:

1. 클래스 특징들이 해당 클래스의 평균으로 수렴합니다.
2. 클래스 평균들은 심플렉스 등각 조밀 프레임 (Simplex Equiangular Tight Frame, ETF) 을 형성합니다. 이는 특징 공간에서 최대 분리되고 대칭적으로 배치된 벡터들의 집합입니다.
3. 분류기 가중치들은 이러한 클래스 평균들과 정렬됩니다.

저자들은 두 가지 중요한 이론적 속성을 확립했습니다:

• 베이지안 최적성 (Bayes Optimality): 심플렉스 ETF 기하학은 단순한 학습 산물이 아니라, 등방성 가우스 가정 하의 균형 잡힌 분류에서 베이지안 최적성을 위한 충분 조건입니다.
• 투영 불변성 (Projection Invariance): 심플렉스 ETF 의 직교 투영 (하나의 꼭짓점 제거) 은 해당 꼭짓점에 대한 직교 여공간으로 투영될 때 더 작은 심플렉스 ETF를 생성합니다. 이는 투영을 통해 클래스를 제거하는 것이 나머지 클래스들의 최적 기하학적 분리를 유지함을 의미합니다.

B. POUR 알고리즘

POUR 는 표현 수준의 언러닝을 달성하기 위해 두 가지 변형을 제공합니다:

1. POUR-P (폐형 투영, Closed-Form Projection):

   • 메커니즘: 잊혀질 클래스의 가중치 벡터 $w_u$에 대해 직교 투영 연산자 $P = I - \frac{w_u w_u^\top}{\|w_u\|^2}$를 특징 공간 (penultimate layer) 에 직접 적용합니다.
   • 효과: 이는 잊혀진 클래스의 특징을 원점으로 투영하여 (영으로 만듦) 유지된 클래스들의 특징을 심플렉스 ETF 구조를 유지하는 저차원 부분 공간으로 매핑합니다.
   • 장점: 즉각적이며, 재학습이 필요 없으며, 수학적으로 최적임이 증명되었습니다.

2. POUR-D (투영 유도 증류, Projection-Guided Distillation):

   • 메커니즘: 투영된 모델 (POUR-P) 을 '교사'로 사용합니다. 학생 모델 (특징 추출기) 은 잊힘 집합 (forget set) 만으로 미세 조정되어, 그 특징과 투영된 교사 특징 간의 $L_2$ 거리를 최소화합니다.
   • 효과: 망각을 특징 추출기 내부로 더 깊이 전파하여, 내부 표현들이 유지된 클래스들의 최적 ETF 기하학에 정렬되도록 보장합니다.

C. 새로운 지표: 표현 언러닝 점수 (RUS)

logits 를 넘어선 언러닝을 평가하기 위해 저자들은 RUS (Representation Unlearning Score) 를 도입했습니다. 이는 다음 간의 균형을 정량화합니다:

• 망각 효과성 (Forgetting Efficacy): 잊힘 집합에서 언러닝된 모델의 특징이 재학습된 모델에 얼마나 가까운지.
• 유지 충실도 (Retention Fidelity): 언러닝된 모델이 유지 집합의 특징을 얼마나 잘 보존하는지.
• 클래스 분리 (Class Separation): 유지된 클래스들이 얼마나 잘 분리되어 있는지.
  RUS 는 무작위 초기화와 회전에 강건하도록 표현 유사성을 측정하기 위해 중심 커널 정렬 (Centered Kernel Alignment, CKA) 을 사용합니다.

3. 주요 기여

1. 표현 수준 재정의: 언러닝 패러다임을 출력 logits 에서 내부 특징 분포로 전환하여 '표현 수준 약한 언러닝'을 정의합니다.
2. 이론적 보장: 심플렉스 ETF 의 직교 투영이 ETF 구조를 보존함을 증명하여, 유지된 클래스에 대한 베이지안 최적성을 유지하는 이론적으로 최적인 망각 연산자를 제공합니다.
3. RUS 지표: 기존 평가 프로토콜의 한계를 해결하고 표현 수준의 망각과 유지를 정량화하는 원칙적인 지표를 도입합니다.
4. POUR 알고리즘: 최신 베이스라인을 능가하는 폐형 (POUR-P) 및 증류 기반 (POUR-D) 방법을 제안합니다.

4. 실험 결과

저자들은 POUR 를 CIFAR-10, CIFAR-100, 그리고 PathMNIST(의료 영상) 에서 평가했으며, Gradient Ascent, Boundary Shrink, DELETE, Fine-tuning 등의 베이스라인과 비교했습니다.

• 분류 지표: POUR 는 잊힘 집합에서의 정확도가 거의 0 인 완벽한 망각을 달성하면서도 유지된 클래스에 대한 높은 정확도를 유지하며, 종종 유지 집합에 접근할 수 있는 방법들보다 우수한 성능을 보입니다.
• 표현 지표 (RUS 및 CKA): POUR 는 RUS 점수에서 모든 베이스라인을 크게 능가합니다. 다른 방법들 (예: Gradient Ascent) 은 유지된 클래스들의 기하학을 교란시키는 반면, POUR 는 ETF 구조를 보존하여 재학습된 모델과 구별할 수 없는 특징 분포를 생성합니다.
• 도메인 이동 (PathMNIST): 도메인 이동 (내부 대 외부 테스트 세트) 환경에서 POUR 는 강력한 일반화 능력을 보인 반면, "Random Label"과 같은 방법들은 일반화에 실패했습니다. 이는 후자가 지식을 지우는 것이 아니라 잊힘 집합을 단순히 '가린 (masked)' 것임을 시사합니다.
• 크로스-모달 및 분할: 이 방법은 CLIP(텍스트 - 이미지 언러닝) 및 시맨틱 분할 (VOC2012) 로 성공적으로 확장되어 표준 분류를 넘어선 일반성을 입증했습니다.

5. 의의

• 개인정보 및 보안: 망각이 표현 수준에서 발생하도록 보장함으로써, 현재 언러닝 방법들의 치명적인 취약점인 특징 역전을 통한 정보 유출 위험을 완화합니다.
• 이론적 통찰: Neural Collapse 이론과 실용적인 언러닝 간의 간극을 연결하여, 심층 네트워크의 기하학적 구조를 수학적으로 조작하여 재학습 없이 최적의 망각을 달성할 수 있음을 보여줍니다.
• 효율성: POUR-P 의 폐형 특성은 즉각적인 언러닝을 가능하게 하여, 재학습이 불가능한 대규모 파운데이션 모델에 매우 확장 가능합니다.

요약하자면, POUR 는 모델이 특정 개념을 진정으로 '잊으면서' 다른 작업에 대한 유용성을 유지하도록 보장하는 기하학적으로 원칙적이고, 이론적으로 최적이며, 경험적으로 우수한 머신 언러닝 프레임워크를 제공합니다.