Benchmarking Unlearning for Vision Transformers

이 논문은 CNN 이 아닌 비전 트랜스포머 (Vision Transformers) 를 대상으로 머신 언러닝 알고리즘의 성능을 체계적으로 벤치마킹하는 최초의 연구로, 다양한 데이터셋과 알고리즘, 프로토콜을 활용하여 비전 트랜스포머의 데이터 암기 특성을 분석하고 향후 연구의 기준이 되는 포괄적인 평가 체계를 제시합니다.

핵심

이 논문은 **"시각적 인공지능 (Vision Transformer) 이 배운 것을 잊게 만드는 기술"**에 대한 연구입니다.

쉽게 말해, **"인공지능이 실수하거나, 사생활을 침해하는 데이터를 배웠을 때, 그 데이터의 흔적을 깨끗이 지우고 다시 똑똑하게 작동하게 만드는 방법"**을 조사한 보고서입니다.

이 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

1. 배경: 왜 '잊기'가 중요할까요?

예전에는 인공지능 (AI) 이 사진을 보는 데는 'CNN'이라는 방식이 주로 쓰였습니다. 하지만 요즘은 '비전 트랜스포머 (VT)'라는 더 똑똑한 방식이 대세입니다.

그런데 문제는, 이 AI 가 **나쁜 데이터 (편향된 정보, 해킹용 데이터, 사생활이 드러나는 사진 등)**를 배워버리면 어떻게 해야 할까요?

• 법적/윤리적 요구: "그 사진을 지워줘"라고 요청하면, AI 는 그 사진을 기억하지 않아야 합니다.
• 기존 연구의 한계: 이전 연구들은 주로 '구식 AI(CNN)'나 '텍스트 AI'에 초점을 맞췄습니다. 하지만 최신 AI 인 '비전 트랜스포머'는 어떻게 잊어야 하는지没人이 제대로 연구하지 않았습니다.

이 논문은 **"최신 AI 모델에게도 '잊기' 기술이 잘 작동하는지, 그리고 어떤 방법이 가장 좋은지"**를 처음부터 끝까지 실험해 본 것입니다.

2. 핵심 실험: AI 의 '기억력'을 테스트하다

연구진은 AI 가 데이터를 얼마나 강하게 '암기'하는지, 그리고 그걸 어떻게 지울지 실험했습니다.

🧠 비유: 학생의 시험 공부

• CNN (구식 AI): 마치 모든 것을 외우는 암기형 학생 같습니다. 특정 문제를 보면 그 문제와 관련된 부분만 기억합니다.
• 비전 트랜스포머 (최신 AI): 전체적인 맥락을 이해하는 통찰형 학생 같습니다. 문제를 풀 때 전체적인 흐름을 보고 답을 찾습니다.

질문: "통찰형 학생은 암기형 학생과 다르게 배운 것을 잊을 수 있을까?"

결과:

• 놀랍게도, 기억 패턴은 비슷했습니다. 두 학생 모두 어려운 문제는 깊게 기억하고, 쉬운 문제는 가볍게 기억하는 '긴 꼬리' 패턴을 보였습니다.
• 하지만 잊는 방법은 달랐습니다.

3. 주요 발견: 어떤 방법이 가장 효과적일까?

연구진은 여러 가지 '잊기 전략'을 시도했습니다.

① 전략 A: "다시 공부하기" (Fine-tune)

• 방법: 잊고 싶은 데이터만 빼고, 나머지 데이터로 다시 가볍게 공부하게 합니다.
• 결과: 비전 트랜스포머 (VT) 에서는 이게 가장 잘 먹혔습니다. 특히 ViT 라는 모델은 전체적인 맥락을 보는 특성상, 가볍게 다시 공부하는 것만으로도 잊는 데 효과적이었습니다.

② 전략 B: "기억을 지우는 힘" (NegGrad+)

• 방법: "이 데이터는 절대 기억하지 마!"라고 강하게 명령하며 학습 방향을 반대로 조정합니다.
• 결과: Swin-T 라는 모델 (CNN 과 비슷한 구조) 에서는 이 방법이 최고였습니다. CNN 과 구조가 비슷한 모델은 이 강력한 '지우기 명령'에 더 잘 반응했습니다.

③ 전략 C: "중요한 부분만 지우기" (SalUn)

• 방법: 어떤 데이터가 모델에 가장 큰 영향을 줬는지 찾아내어, 그 부분만 선택적으로 지웁니다.
• 결과: 비전 트랜스포머에서는 실패했습니다. 특히 사생활 보호 (MIA 공격 방어) 측면에서는 오히려 데이터를 완전히 지우지 못해 위험했습니다.

4. 중요한 교훈: "상황에 맞는 도구"를 쓰세요

이 논문은 우리에게 다음과 같은 실용적인 조언을 줍니다.

1. 모델에 따라 잊는 법이 다릅니다:

   • ViT 모델을 쓴다면 -> 가볍게 다시 공부하게 하세요 (Fine-tune).
   • Swin-T 모델을 쓴다면 -> 강력하게 지우기 명령을 내리세요 (NegGrad+).
   • SalUn 같은 복잡한 방법은 최신 AI 에선 피하는 게 좋습니다.

2. 데이터의 복잡도가 중요합니다:

   • 쉬운 데이터 (단순한 그림) 에서는 모든 방법이 잘 작동합니다.
   • 하지만 **복잡한 데이터 (수천 가지 사물, ImageNet 같은 거대 데이터)**에서는 **NegGrad+**가 가장 강력하고 안정적으로 작동했습니다.

3. 계속해서 잊어도 괜찮을까요? (Continual Unlearning)

   • 실제로는 한 번에 잊는 게 아니라, 수시로 "이거 지워줘, 저거 지워줘"를 반복합니다.
   • 실험 결과, 최적의 방법 (NegGrad+ 등) 을 쓰면 10 번을 반복해도 AI 의 성능이 떨어지지 않았습니다. 마치 좋은 지우개로 연필 자국을 지우듯, AI 는 계속 잊어도 원래 능력을 유지했습니다.

5. 결론: 이 연구가 왜 중요한가요?

이 논문은 **"최신 AI 모델도 '잊을 권리'를 보장받을 수 있다"**는 것을 증명했습니다.

• 과거: "AI 는 한번 배운 걸 지우기 어렵다"는 편견이 있었습니다.
• 현재: "적절한 방법 (NegGrad+ 등) 과 도구 (Holdout Retraining 같은 지표) 를 쓰면, 최신 AI 도 완벽하게 잊을 수 있다"는 것을 밝혔습니다.

마치 최신형 자동차 (비전 트랜스포머) 에도 올바른 키 (잊기 알고리즘) 를 쓰면, 이전 모델보다 더 깔끔하게 '초기화'할 수 있다는 것을 발견한 셈입니다.

이 연구는 앞으로 AI 가 사생활을 침해하거나 편향된 정보를 배웠을 때, 이를 안전하게 제거하는 표준적인 가이드라인을 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 머신 언러닝 (Machine Unlearning, MU) 은 편향된 데이터, 오류, 프라이버시 침해 데이터 등을 학습된 모델에서 제거하여 안전하고 공정한 AI 를 구축하는 데 필수적인 기술로 부상했습니다. 동시에 컴퓨터 비전 분야에서 CNN 을 대체하는 강력한 아키텍처로 비전 트랜스포머 (Vision Transformers, VTs) 가 등장했습니다.
• 현황: 기존 MU 연구는 주로 CNN 이나 LLM, 확산 모델 (Diffusion Models) 에 집중되어 있었습니다. 특히 CNN 기반의 벤치마킹은 활발하지만, VTs 에 대한 체계적인 벤치마킹은 존재하지 않았습니다.
• 핵심 문제: VTs 는 CNN 과 아키텍처 (전역 자기 주의 vs. 국소성), 학습 방식 (지도 학습 vs. 자기 지도 학습), 그리고 인덕티브 바이어스 (Inductive Bias) 측면에서 근본적인 차이가 있습니다. 따라서 CNN 에서 유효한 MU 알고리즘과 기억 (Memorization) 패턴이 VTs 에도 동일하게 적용될지, 혹은 새로운 도전 과제가 존재할지 불분명했습니다.

2. 방법론 (Methodology)

이 연구는 VTs 환경에서의 머신 언러닝 성능을 종합적으로 평가하기 위해 다음과 같은 다각적인 실험 설계를 수행했습니다.

• 아키텍처 및 용량:
  • 두 가지 주요 VT 계열인 ViT (Vision Transformer) 와 Swin-T (Swin Transformer) 를 사용했습니다.
  • 모델 용량 (Capacity) 의 영향을 분석하기 위해 ViT-Tiny, ViT-Small, ViT-Base, Swin-Tiny, Swin-Small, Swin-Base 등 다양한 크기의 모델을 평가했습니다.
• 데이터셋:
  • 크기, 복잡성, 클래스 수를 달리하는 4 가지 데이터셋 사용: CIFAR-10, CIFAR-100, SVHN, ImageNet-1K (검증 세트).
  • ImageNet-1K 는 VTs 의 사전 학습 (Pre-training) 효과를 평가하고 더 복잡한 시나리오를 테스트하기 위해 활용되었습니다.
• 언러닝 알고리즘:
  • CNN 기반의 대표적인 3 가지 접근법을 VTs 에 적용했습니다:
    1. Fine-tune (FT): 유지 데이터 (Retain set) 만으로 재학습.
    2. NegGrad+: 그라디언트 상승 (Gradient Ascent) 을 통해 잊혀야 할 데이터의 영향을 제거하면서 유지 데이터 성능을 보존.
    3. SalUn: 중요도 (Saliency) 기반의 파라미터 선택적 언러닝.
  • 모든 알고리즘을 RUM (Reinforced Unlearning Meta-algorithm) 프레임워크에 통합하여, 기억 (Memorization) 점수에 따라 데이터를 저/중/고 수준으로 분할하고 각 파티션에 최적화된 방법을 적용하도록 구성했습니다.
• 기억 (Memorization) 및 프록시 (Proxy):
  • VTs 가 CNN 과 유사하게 데이터를 기억하는지 확인하기 위해 Feldman 점수를 계산했습니다.
  • 계산 비용이 큰 Feldman 점수 대신, Confidence, MaxConf, Entropy, Binary Accuracy, Holdout Retraining (HR) 등의 프록시 지표가 VTs 에서 기억을 얼마나 잘 예측하는지 상관관계를 분석했습니다.
• 평가 지표:
  • ToW (Time to Forget): 잊기 데이터 (Forget set), 유지 데이터 (Retain set), 테스트 데이터 (Test set) 의 정확도 변화를 종합한 지표.
  • ToW-MIA: MIA (Membership Inference Attack) 취약성을 '잊기' 품질의 지표로 포함시킨 지표.
  • Continual Unlearning: 단일 번이 아닌 연속적인 언러닝 수행 시 성능 저하가 발생하는지 평가.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 기억 패턴 및 프록시의 유효성

• 기억 패턴: VTs 와 CNN 은 아키텍처가 다르지만, 기억 분포 (장꼬리 분포, Long-tail distribution) 는 근본적으로 유사함을 발견했습니다.
• 프록시 유효성: CNN 에서 개발된 기억 프록시 (특히 Confidence와 Holdout Retraining) 가 VTs 에서도 높은 상관관계를 보이며 유효하게 작동함을 입증했습니다. 이는 VTs 에서도 메모리 기반 언러닝 전략을 확장 가능하게 합니다.

B. 알고리즘 성능 비교 (CNN vs. VT)

• NegGrad+ 의 우위: 복잡한 데이터셋 (CIFAR-100, ImageNet) 에서 **NegGrad+**가 가장 강력하고 견고한 성능을 보였습니다. 특히 Holdout Retraining 프록시와 결합되었을 때 Swin-Tiny 에서 ResNet 대비 더 우수한 성능을 기록했습니다.
• Fine-tune 의 효과: 단순한 데이터셋 (CIFAR-10, SVHN) 이나 ViT 아키텍처에서는 Fine-tune만으로도 매우 효과적인 언러닝이 가능했습니다. 이는 VTs 의 사전 학습 (Pre-training) 이 강력한 특징 표현을 학습시켜, 잊기 데이터를 제거하고 재학습하더라도 원본 모델과 유사한 성능을 유지하게 하기 때문입니다.
• SalUn 의 한계: SalUn 은 ToW 점수는 좋았으나, ToW-MIA(프라이버시 보호) 측면에서, 특히 ViT 와 복잡한 데이터셋에서 CNN 대비 성능이 떨어지는 경향을 보였습니다.

C. 아키텍처 및 용량의 영향

• ViT vs. Swin-T:
  • ViT: 전역 자기 주의 (Global Self-attention) 특성상 Fine-tune 기반 언러닝과 더 잘 호환됩니다.
  • Swin-T: CNN 과 유사한 계층적 구조와 국소성 (Locality) 을 가지므로 **NegGrad+**와 같은 그라디언트 기반 방법과 더 잘 작동합니다.
• 용량 (Capacity) 효과:
  • ViT: 용량이 너무 작으면 (ViT-Tiny) 언러닝 성능이 저하되므로, ViT-Small 정도가 최적의 "Sweet Spot"입니다.
  • Swin-Tiny: CIFAR-10 과 같은 데이터셋에서는 Swin-Small 로 확장해도 큰 이득이 없거나 오히려 과적합으로 인해 성능이 떨어질 수 있습니다.

D. 연속적 언러닝 (Continual Unlearning)

• 5 회 및 10 회에 걸친 연속적인 언러닝 실험에서 NegGrad+ (HR 프록시 사용) 는 누적된 성능 저하 없이 안정적인 성능을 유지했습니다. 이는 VTs 에서도 지속 가능한 프라이버시 보호가 가능함을 시사합니다.

E. ImageNet 규모 확장

• ImageNet-1K (50k 이미지) 와 같은 대규모 데이터셋에서도 NegGrad+ 와 Fine-tune 이 유효하게 작동했으나, 데이터의 복잡도가 증가함에 따라 사전 학습의 이점 (Forget set 정확도 유지) 은 감소하는 경향을 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 최초의 종합적 벤치마킹: VTs 에 대한 머신 언러닝의 첫 번째 체계적인 벤치마크를 제공하여, 기존 CNN 기반 알고리즘의 전이 가능성과 한계를 명확히 했습니다.
• 실무 가이드라인 제시:
  • ViT 모델에는 Fine-tune + Confidence 프록시가 효율적입니다.
  • Swin 모델이나 복잡한 데이터셋에는 NegGrad+ + Holdout Retraining이 가장 강력합니다.
  • SalUn은 VTs 환경, 특히 프라이버시 민감도가 높은 상황 (ToW-MIA) 에서는 신중하게 사용해야 합니다.
• 미래 연구의 토대: 이 연구는 VTs 를 위한 새로운 언러닝 알고리즘 개발을 위한 기준선 (Baseline) 을 설정하고, 공개된 코드 및 데이터셋 인프라를 통해 향후 연구의 발판을 마련했습니다.

요약하자면, 이 논문은 비전 트랜스포머가 머신 언러닝에 있어 CNN 과는 다른 최적의 전략이 필요함을 보여주었으며, 특히 NegGrad+ 알고리즘과 Holdout Retraining 프록시의 조합이 VTs 환경에서 가장 강력하고 안정적인 해결책임을 입증했습니다.