SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation

기술 요약: SUPREME: 재현 가능한 이미지 언러닝 방법론 평가를 위한 멀티 GPU 프레임워크

문제 정의
머신 언러닝(Machine unlearning)은 훈련된 모델로부터 특정 학습 데이터의 영향력을 처음부터 다시 학습시키지 않고도 제거하는 것을 목표로 합니다. 미세 조정(fine-tuning), 증류(distillation), 파라미터 중요도 기반 방식 등 다양한 근사 방법론들이 제안되어 왔으나, 이를 평가하는 데에는 상당한 어려움이 따릅니다. 엄격한 평가를 위해서는 초기 가중치, 데이터 순서, 언러닝 연산에서 발생하는 확률적 변동성을 고려하여 전체 파이프라인(학습, 언러닝, 평가)을 여러 무작위 시드(random seed)에 걸쳐 반복 수행해야 합니다. 기존의 이미지 분류 언러닝 프레임워크(예: MUBox, ERASURE, Deep Unlearn)는 일반적으로 단일 GPU와 풀 정밀도(full precision) 환경에서 작동합니다. 이러한 한계는 합리적인 시간 내에 평가할 수 있는 시드의 수를 제한하며, 이는 단일 시드 결과에 기반한 오해의 소지가 있는 결론으로 이어질 수 있습니다. 또한, 모델 아키텍처(예: Vision Transformer)와 데이터셋이 커짐에 따라 이러한 평가의 계산 비용이 증가하므로, 더 효율적인 인프라가 필요합니다.

방법론: SUPREME 프레임워크
저자들은 여러 GPU에 걸쳐 언러닝 평가 파이프라인을 분산하도록 설계된 오픈 소스 프레임워크인 SUPREME(Standardised Unlearning Platform for Reproducible Method Evaluation)을 소개합니다. 이 프레임워크는 PyTorch와 Lightning Fabric을 기반으로 구축되었으며, Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP), DeepSpeed ZeRO와 같은 분산 전략을 지원합니다.

SUPREME의 핵심은 $P$개의 장치에서 세 단계의 시드 기반 다단계 파이프라인(Algorithm 1)을 실행하는 것입니다.

1. 1단계 (학습): 특정 학습 시드를 사용하여 전체 데이터셋 $D$에 대해 모델 $M_o$를 학습시킵니다.
2. 2단계 (언러닝 및 재학습): 각 포겟 타겟(forget target)에 대해, 프레임워크는 포겟 세트($D_f$)와 리테인 세트($D_r$)를 정의합니다. 그 후 다음을 수행합니다:
   • 특정 언러닝 시드를 사용하여 $D_r$로부터 베이스라인 모델 $M_r$을 처음부터 다시 학습시킵로 합니다.
   • $M_o$에 $D_f$와 $D_r$을 적용하여 언러닝 방법 $a$를 수행함으로써 언러닝된 모델 $M_u$를 생성합니다.
   • 재학습과 언러닝 모두 장치 간 그래디언트 동기화(gradient synchronization)를 활용합니다.
3. 3단계 (평가): $M_u$를 설정된 메트릭을 사용하여 테스트 세트($D'_f$ 및 $D'_r$)에 대해 $M_r$과 비교 평가합니다. 결과는 all-gather 연산을 통해 집계됩니다.

이 프레임워크는 두 가지 언러닝 시나리오를 지원합니다:

• 타겟 언러닝 (Targeted Unlearning): 특정 클래스 레이블과 관련된 모든 샘플을 제거합니다.
• 랜덤 샘플 언러닝 (Random-Sample Unlearning): 전체 데이터셋에서 추출된 랜덤 샘플 서브셋(정해진 비율로 정의됨)을 제거합니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다.

1. 레지스트리 기반 확장성: SUPREME은 데이터셋, 모델 아키텍처, 언러닝 방법, 평가 메트릭 및 시나리오가 모듈 경로를 통해 등록되는 설계를 채택했습니다. 핵심 프레임워크 코드를 수정하지 않고도 표준 인터페이스를 구현하고 모듈 경로를 등록함으로써 새로운 구성 요소를 추가할 수 있습니다.
2. 멀티 GPU 아키텍처: 기존 도구들과 달리, SUPREME은 학습, 언러닝, 평가를 여러 가속기에 분산합니다. 다양한 정밀도 모드(예: mixed precision, BitsandBytes를 통한 8-bit/4-bit)와 분산 전략을 지원하여, 멀티 시드 평가에 소요되는 시간을 크게 단축합니다.
3. Pins Face Recognition을 통한 시연: 저자들은 ResNet18 및 Vision Transformer (ViT) 아키텍처와 함께 Pins Face Recognition 데이터셋을 사용하여 프레임워크를 시연합니다. 이들은 풀 클래스(full-class) 및 랜덤 샘플 시나리오 하에서 열 개의 시드에 걸쳐 여러 언러닝 방법론을 평가합니다.

실험 결과
수치적 동일성을 유지하기 위해 시연은 단일 NVIDIA L40S GPU에서 수행되었으나, 프레임워크는 멀티 GPU 실행을 지원합니다. 주요 결과는 다음과 같습니다:

• 시드 간 변동성 (Across-Seed Variance): 본 연구는 단일 시드 결과가 매우 오해의 소지가 있을 수 있음을 강조합니다. 예를 들어, 랜덤 샘플 시나리오에서 ResNet18의 "Random Labels"에 대한 포겟 세트 정확도 차이($\Delta Acc_{D'_f}$)는 10개의 시드 전반에 걸쳐 $\pm 34.03$ 퍼센트 포인트의 표준 편차를 보였습니다. 마찬가지로 ViT의 "Selective Synaptic Dampening"은 $\pm 37.99$의 편차를 보였습니다. 이는 일관된 비교를 위해 멀티 시드 평가가 필수적임을 확인시켜 줍니다.
• 메트릭 민감도 (Metric Sensitivity): 풀 클래스 시나리오에서 멤버십 추론 공격(MIA) 차이($\Delta MIA$)는 모든 방법론에서 매우 미미했으며(대부분 $\pm 0.05$ 이내), 방법론 간의 차이를 구별하지 못했습니다. 반면, 포겟 세트 정확도 차이($\Delta Acc_{D'_f}$)는 ResNet18에서 0.00에서 89.44까지 크게 변동하였으며, 이는 해당 설정에서 더 변별력 있는 메트릭임을 입증했습니다.
• 성능: 프레임워크는 ResNet18과 ViT 모두에 대해 전체 파이프라인을 성공적으로 실행하였으며, 다양한 시드에 의해 도입된 변동성을 포착하고 대규모의 재현 가능한 평가 가능성을 입증했습니다.

의의 및 주장
저자들은 SUPREME을 언러닝 방법론의 일관되고 재현 가능한 비교를 가능하게 하는 도구로 포지셔닝하며, 이는 모델의 복잡성이 증가함에 따라 발생하는 문제와 멀티 시드 평가의 필요성을 해결합니다. 저자들은 보고된 수치가 언러닝 방법론의 결정적인 순위를 매기기 위함이 아니라 프레임워크의 역량을 특징짓는 것임을 명시했는데, 이는 시연이 단일 데이터셋, 두 개의 아키텍처, 단일 장치로 제한되었기 때문입니다. 결론적으로, 향후 연구에서는 등록된 다른 구성 요소들로 시연을 확장하고, 변동성의 원인을 더욱 세분화하기 위해 학습, 언러닝, 평가 단계에 독립적인 시드를 사용할 것이라고 밝히고 있습니다. 이 프레임워크는 머신 언러닝 분야가 성숙해짐에 따라 요구되는 엄격한 벤치마킹을 용이하게 하기 위해 의도되었습니다.