Graph Propagated Projection Unlearning: A Unified Framework for Vision and Audio Discriminative Models

1. 문제 정의 (Problem Statement)

딥러닝 모델의 광범위한 배포와 함께, 특정 데이터나 클래스의 학습 정보를 선택적이고 효율적으로 삭제하는 '머신 언러닝 (Machine Unlearning)' 의 필요성이 급증하고 있습니다. 이는 개인정보 보호 (GDPR 등), 규제 준수, 적응형 시스템 설계에 필수적입니다.

기존의 언러닝 기술들은 다음과 같은 한계를 가지고 있습니다:

• 비효율성: 특정 클래스를 잊게 하기 위해 전체 모델을 처음부터 다시 학습 (Retraining) 하거나, 적대적 최적화를 수행하는 방식은 계산 비용이 매우 높고 시간이 오래 걸립니다.
• 확장성 부족: 대규모 데이터셋과 복잡한 아키텍처 (Transformer 등) 에 적용하기 어렵습니다.
• 성능 저하: 잊어야 할 클래스 (Forget Class) 만을 지우는 과정에서, 유지해야 할 클래스 (Retain Class) 의 성능이 크게 떨어지는 '파괴적 망각 (Catastrophic Forgetting)'이 발생하거나, 반대로 잊어야 할 정보가 완전히 삭제되지 않아 프라이버시 유출 (Information Leakage) 이 발생할 수 있습니다.
• 모달리티 제한: 기존 연구는 주로 컴퓨터 비전 (Vision) 에 집중되어 있으며, 오디오 (Audio) 도메인에서의 적용은 상대적으로 부족합니다.

2. 제안 방법론: GPPU (Methodology)

저자들은 그래프 전파 기반 투사 언러닝 (Graph-Propagated Projection Unlearning, GPPU) 을 제안했습니다. 이는 비전과 오디오 모델 모두에 적용 가능한 통합적이고 확장 가능한 알고리즘입니다. GPPU 는 크게 두 단계로 구성됩니다.

2.1. 단계 1: 그래프 기반 잊기 방향 (Forget Direction) 식별

• 그래프 구축: 학습된 모델의 특징 (Feature) 공간에서 모든 샘플에 대해 k-NN(k-최근접 이웃) 그래프를 구성합니다. 이때 코사인 유사도를 기반으로 노드 간 연결을 정의합니다.
• 그래프 전파 (Graph Propagation): 그래프 컨볼루션 (GCN) 원리를 활용하여 특징을 전파합니다. 학습 가능한 가중치 없이 단순히 이웃 노드의 특징을 평균화하여 노이즈를 제거하고, 동일한 클래스 내의 특징을 더 밀집시키며 클래스 간 경계를 명확히 합니다.
• 잊기 방향 추출: 전파된 특징을 기반으로 잊어야 할 클래스 $c$의 중심 (Centroid) 을 계산하고, 이를 정규화하여 단위 벡터 $\mathbf{g}_c$ (forget direction) 로 정의합니다. 이 벡터는 특징 매니폴드 내에서 해당 클래스를 나타내는 주된 방향을 의미합니다.

2.2. 단계 2: 투사 기반 표현 언러닝 (Projection-Based Unlearning)

• 직교 투사 (Orthogonal Projection): 잊기 방향 $\mathbf{g}_c$에 직교하는 부분 공간 (Orthogonal Subspace) 으로 특징을 투사합니다. 수식적으로는 $\mathbf{h}_{proj} = \mathbf{h} - (\mathbf{h} \cdot \mathbf{g}_c)\mathbf{g}_c$와 같이, 잊어야 할 클래스와 관련된 성분을 제거합니다.
• 타겟 미세 조정 (Targeted Fine-tuning): 단순히 추론 시 투사만 하는 것이 아니라, 모델의 파라미터 (주로 마지막 레이어) 를 미세 조정하여 내부 표현 자체가 직교 부분 공간에 속하도록 학습시킵니다.
  • 투사 손실 (Projection Loss): 잊어야 할 클래스 샘플의 특징이 $\mathbf{g}_c$ 방향과 수직이 되도록 하는 손실 함수 ($L_{proj}$) 를 정의합니다.
  • 유지 손실 (Retention Loss): 유지해야 할 클래스의 성능을 보존하기 위해 표준 교차 엔트로피 손실 ($L_{retain}$) 을 함께 사용합니다.
• 최적화: 두 손실 함수를 가중치 ($\lambda_{proj}, \lambda_{retain}$) 를 통해 균형 있게 최적화하며, 저자들은 특징 추출기의 상위 레이어 (예: Transformer 의 마지막 블록) 만을 미세 조정하여 계산 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 통합된 기하학적 프레임워크: 그래프 기반 전파를 통해 클래스별 특징 방향을 강건하게 식별하고, 직교 투사와 경량 미세 조정을 결합하여 비전과 오디오 두 도메인 모두에서 작동하는 최초의 통합 프레임워크를 제안했습니다.
2. 고충실도 언러닝: 잊어야 할 클래스에 대한 정확도를 거의 0 에 가깝게 낮추면서도 (Near-zero forget accuracy), 유지해야 할 클래스의 성능은 거의 손상시키지 않습니다.
3. 탁월한 효율성: 기존 최첨단 방법들 (Gradient Ascent, Fisher Forgetting 등) 에 비해 10~20 배 빠른 속도를 달성하며, 전체 모델 재학습 없이 국소적인 파라미터 업데이트만으로 구현됩니다.
4. 광범위한 검증: 6 개의 비전 데이터셋 (CIFAR, SVHN 등) 과 2 개의 대규모 오디오 벤치마크 (LibriSpeech, VoxCeleb 등) 에서 CNN, Vision Transformer, Audio Transformer 등 다양한 아키텍처를 대상으로 검증했습니다.

4. 실험 결과 (Experimental Results)

• 단일 클래스 언러닝: 6 개 비전 데이터셋과 3 개 오디오 데이터셋에서 GPPU 는 Forget Accuracy(FA) 를 0.1~0.4% 수준으로 낮추는 반면, Retain Accuracy(RA) 는 90% 이상을 유지했습니다. 기존 방법들 (PBU, SalUn 등) 보다 정보 유출 (IL) 과 멤버십 추론 공격 (MIA) 취약성이 현저히 낮았습니다.
• 지속적 언러닝 (Continual Unlearning): 순차적으로 여러 클래스를 잊는 시나리오에서도 GPPU 는 성능 저하 없이 안정적인 언러닝을 유지했습니다. 기존 방법들은 누적 간섭으로 인해 성능이 급격히 떨어지는 반면, GPPU 는 20 배 이상의 속도 우위를 보였습니다.
• 오디오 도메인: Wav2Vec2-Large 및 HuBERT-Large 모델에서 GPPU 는 오디오 특유의 복잡한 구조에서도 효과적으로 작동하여, 기존 오디오 전용 언러닝 기법 (QIAU 등) 보다 뛰어난 성능과 효율성을 입증했습니다.
• 표현 수준 분석: t-SNE 시각화 및 선형 프로빙 (Linear Probing) 실험을 통해, GPPU 가 단순히 분류 헤드를 차단하는 것이 아니라 표현 공간 (Representation Space) 에서 해당 클래스의 분별 가능한 구조를 물리적으로 파괴했음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 머신 언러닝 분야에서 계산 효율성과 프라이버시 보호의 균형을 맞춘 새로운 기준을 제시합니다.

• 실용성: 재학습 없이 빠르게 모델을 업데이트할 수 있어, 실시간으로 개인정보 삭제 요청을 처리해야 하는 실제 응용 시스템에 적용 가능합니다.
• 범용성: 비전과 오디오를 아우르는 모달리티 무관 (Modality-agnostic) 한 접근법은 향후 다양한 멀티모달 모델의 언러닝 연구에 중요한 기초를 제공합니다.
• 책임 있는 AI: 규제 준수와 사용자 권리 보호를 위한 기술적 해결책을 제공함으로써, 더 안전하고 신뢰할 수 있는 딥러닝 시스템 구축에 기여합니다.

요약하자면, GPPU 는 그래프 이론과 기하학적 투사를 결합하여, 기존 방법들의 비효율성과 성능 저하 문제를 해결하고 빠르고 정확하며 확장 가능한 머신 언러닝을 실현한 획기적인 연구입니다.