When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining

이 논문은 사전 학습된 모델의 사전 지식이 기존 언러너블 예제 (UE) 의 보호 효과를 무력화한다는 취약점을 발견하고, 이를 해결하기 위해 교란과 잘못된 라벨을 강제로 결합하여 사전 학습의 영향력을 차단하는 새로운 방법론인 BAIT 를 제안합니다.

핵심

1. 문제의 발견: "가짜 지문"이 통하지 않는 경우

배경:
우리가 사진을 인터넷에 올릴 때, 누군가가 이 사진을 훔쳐서 AI 학습에 쓰지 못하게 하려면 어떻게 할까요? 연구자들은 사진에 **사람 눈에는 보이지 않는 아주 미세한 '노이즈' (소음)**를 섞어서 데이터를 만듭니다. 이를 **'학습 불가능한 예시 (Unlearnable Examples)'**라고 부릅니다.

기존의 생각 (과거의 기술):
이 노이즈는 AI 가 사진을 제대로 이해하지 못하게 하는 '가짜 지문' 역할을 합니다. 마치 사진에 가짜 지문을 붙여놓으면, AI 가 "아, 이 사진은 고양이인데 지문은 개네?"라고 혼란스러워하며 엉뚱한 것을 배우게 만드는 거죠. 그래서 AI 는 이 데이터를 학습해도 실제 시험에서는 엉뚱한 답만 내놓게 됩니다.

하지만, 새로운 발견 (이 논문의 핵심):
연구자들은 "이 가짜 지문이 **처음부터 공부를 안 한 AI(무작위 초기화 모델)**에게는 통하지만, **이미 엄청난 공부를 마친 AI(사전 학습된 모델)**에게는 효과가 없을지도 모른다"는 의문을 가졌습니다.

결과:
맞았습니다! **이미 세상의 모든 것을 배운 AI(사전 학습 모델)**는 이 가짜 지문 (노이즈) 을 무시하고, **진짜 의미 (실제 사물의 특징)**를 알아챕니다.

• 비유: 마치 **유능한 탐정 (사전 학습 모델)**이 가짜 지문 (노이즈) 에 속지 않고, 범인의 진짜 얼굴 (실제 의미) 을 기억해내는 것과 같습니다.
• 기존 기술은 이 유능한 탐정 앞에서는 무력해져서, 데이터 보호가 실패했습니다.

---

2. 해결책: 'BAIT' (미끼를 걸다)

연구자들은 이 문제를 해결하기 위해 BAIT라는 새로운 기술을 개발했습니다. 이름 그대로 **'미끼 (Bait)'**를 사용하는 전략입니다.

BAIT 의 작동 원리 (두 단계 전략):

1. 1 단계: AI 가 "아, 이건 진짜 고양이구나"라고 생각하게 만들기 (내부 단계)

   • 먼저 AI 가 평소처럼 사진을 보고 "이건 고양이야"라고 학습하게 둡니다. AI 의 머릿속에서 "사진 = 고양이"라는 연결이 자연스럽게 생기는 것입니다.

2. 2 단계: 갑자기 "아니, 이 사진은 '개'야!"라고 강제로 바꾸기 (외부 단계)

   • 여기서 BAIT 가 나옵니다. AI 가 "고양이"라고 생각할 때, **노이즈 (미끼)**를 통해 강제로 **"이건 개야!"**라고 가르칩니다.
   • 핵심: AI 는 원래 "고양이"라는 의미 (사전 학습 지식) 를 알고 있지만, BAIT 는 **"노이즈 = 개"**라는 새로운, 엉뚱한 연결고리를 만들어냅니다.
   • 비유: 유능한 탐정이 "이건 진짜 범인 (고양이) 이다"라고 확신할 때, 우리가 **"아니, 이 범인의 옷차림 (노이즈) 을 보면 개야!"**라고 거짓말을 계속 해대는 것입니다. 탐정은 결국 "아, 옷차림 (노이즈) 이 중요한 단서인가?"라고 착각하게 되어, 진짜 얼굴 (의미) 을 잊어버리게 됩니다.

이 과정을 반복하면, AI 는 **진짜 의미 (고양이)**를 배우는 대신, **가짜 노이즈 (개)**에만 의존하게 되어, 결국 데이터를 제대로 학습하지 못하게 됩니다.

---

3. 왜 이 기술이 중요한가요?

• 현실적인 문제: 요즘 AI 는 처음부터 공부를 하지 않고, 이미 엄청난 데이터를 학습한 모델을 가져와서 조금만 수정 (파인튜닝) 하는 경우가 많습니다. 기존 보호 기술은 이런 '유능한 AI'에게는 무용지물이었습니다.
• 새로운 해결책: BAIT 는 이 '유능한 AI'조차 속일 수 있습니다. AI 가 가진 기존 지식을 역이용하여, 엉뚱한 방향으로 학습하게 만듭니다.
• 효과: 실험 결과, BAIT 를 사용하면 AI 의 정확도가 **아무것도 모르는 상태 (무작위 추측 수준)**까지 떨어졌습니다. 즉, 데이터를 훔쳐서 학습해도 아무 소용이 없게 된 것입니다.

4. 요약

이 논문은 **"데이터 보호 기술이 최신 AI 에게는 먹히지 않는다"**는 치명적인 약점을 발견했습니다. 그리고 **"AI 가 가진 지식을 역이용해서, 엉뚱한 미끼 (노이즈) 에만 집중하게 만드는 BAIT"**라는 새로운 기술을 개발했습니다.

한 줄 요약:

"이미 다 아는 AI 가 가짜 지문 (노이즈) 을 무시할 때, 우리는 **'가짜 지문 = 엉뚱한 답'**이라는 새로운 미끼를 던져 AI 를 속여, 데이터 보호를 성공시켰습니다."

이 기술은 개인의 사진이나 민감한 데이터가 허가 없이 AI 학습에 쓰이는 것을 막는 강력한 방패가 될 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 배경: '학습 불가능한 예시 (Unlearnable Examples, UEs)'는 데이터에 미세한 교란 (perturbations) 을 주입하여 모델이 실제 의미 (semantics) 대신 위장된 상관관계 (spurious shortcuts) 를 학습하도록 유도하는 데이터 보호 전략입니다. 기존 연구들은 주로 무작위 초기화 (randomly initialized) 된 모델을 대상으로 했습니다.
• 핵심 문제: 최근 실무에서는 데이터 레이블링 비용 절감을 위해 사전 학습된 (pretrained) 백본 모델을 미세 조정 (fine-tuning) 하는 것이 일반화되었습니다. 그러나 UEs 가 사전 학습된 모델에 적용될 때의 취약점이 발견되었습니다.
• 발견: 사전 학습된 모델은 풍부한 사전 지식 (priors) 을 가지고 있어, UEs 가 주입한 위장된 상관관계를 우회하고 실제 데이터 - 레이블 관계를 학습할 수 있습니다. 결과적으로 UEs 의 보호 기능이 무효화되어 모델이 정상적인 성능을 유지하게 됩니다.

2. 제안 방법: BAIT (Binding Artificial perturbations to Incorrect Targets)

이러한 취약점을 해결하기 위해 저자들은 BAIT라는 새로운 이중 최적화 (bi-level optimization) 프레임워크를 제안합니다.

• 핵심 아이디어: 사전 학습된 모델이 가진 '데이터 - 레이블 정렬 (semantic-label alignment)'을 깨고, 대신 '교란 - 잘못된 레이블' 간의 인위적인 상관관계를 강제하는 것입니다.
• 이중 최적화 구조:
  1. 내부 최적화 (Inner Level): 사전 학습된 모델 파라미터를 업데이트하여 교란된 샘플이 **실제 정답 레이블 (ground truth)**과 일치하도록 학습시킵니다. 이는 표준적인 데이터 - 레이블 정렬을 시뮬레이션합니다.
  2. 외부 최적화 (Outer Level): 교란 (perturbations) 을 최적화하여, 교란된 샘플이 **의도적으로 지정된 잘못된 레이블 (incorrect targets)**과 매핑되도록 강제합니다. 이는 내부 수준에서 형성된 정렬을 역전시켜, 모델이 실제 의미 대신 교란 신호에 의존하도록 만듭니다.
• 커리큘럼 학습 기반 타겟 레이블 선택:
  • Stage 1 (Hard Negative): 실제 클래스와 가장 혼동하기 쉬운 클래스를 타겟으로 선택.
  • Stage 2 (Random): 무작위 잘못된 클래스 선택.
  • Stage 3 (Most Dissimilar): 의미적으로 가장 먼 클래스를 타겟으로 선택.
  • 이 전략은 교란이 점차 더 어려운 목표에 맞춰 최적화되도록 유도하여 사전 학습 지식의 우회를 효과적으로 차단합니다.
• 메타 러닝 (Meta-learning): 내부 최적화 단계를 $N$번 언롤링 (unrolling) 하여, 현재 교란이 $N$단계 후의 모델 상태에 미치는 영향을 예측하고 교란을 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. UEs 의 근본적 취약성 규명: UEs 가 사전 학습된 백본에 적용될 때, 사전 학습된 지식 (priors) 이 모델로 하여금 UEs 가 만든 위장된 단계를 우회하고 실제 의미를 학습하게 만든다는 것을 실험적으로 증명했습니다.
2. BAIT 프레임워크 제안: 교란을 잘못된 타겟 레이블에 강제로 결합 (Binding) 하여 사전 학습 지식의 영향을 무효화하고, 인위적인 교란 - 레이블 상관관계를 재구성하는 새로운 이중 최적화 방법을 제시했습니다.
3. 광범위한 실험 검증: 다양한 사전 학습 백본 (ResNet, VGG, DenseNet, ViT 등) 과 데이터셋 (CIFAR, SVHN, ImageNet, Flowers102) 에서 기존 SOTA 방법들 (EMN, TUE, REM 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 저하 (Unlearnability): CIFAR-10, CIFAR-100, SVHN 등 다양한 데이터셋에서 ImageNet 사전 학습 모델을 대상으로 실험한 결과, BAIT 는 테스트 정확도를 **우연 수준 (Chance Level, 약 10-20%)**까지 극적으로 낮췄습니다.
  • 예시: CIFAR-10 에서 ResNet-18 기준, 기존 방법 (EMN, TUE 등) 은 50-80% 이상의 정확도를 유지했으나, BAIT 는 14.40% 로 떨어뜨렸습니다.
• 전송 학습 (Transferability):
  • 모델 아키텍처 간: CNN 기반 모델뿐만 아니라 Vision Transformer (ViT) 기반 모델에서도 효과적이었습니다.
  • 사전 학습 데이터 간: ImageNet 으로 사전 학습된 모델뿐만 아니라 CIFAR-10/100, SVHN 으로 사전 학습된 모델에서도 강력한 효과를 보였습니다.
  • 더 복잡한 데이터셋: 고해상도 이미지 (Flowers102, ImageNet 서브셋) 에 대해서도 우수한 성능을 유지했습니다.
• 방어 기법 저항성: Cutout, CutMix, Mixup 등의 데이터 증강 기법과 JPEG 압축 공격에 대해서도 기존 방법들보다 훨씬 강력한 방어력을 보여주었습니다.
• 시각화 (t-SNE): BAIT 를 적용한 모델은 훈련 데이터에서 실제 의미 특징을 학습하지 못하고 교란 신호에 의존하여 특징 공간이 엉켜있는 (entangled) 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 중요성: 현재 데이터 보호 전략으로 각광받는 UEs 가 실제 환경 (사전 학습 모델 사용) 에서 무력화될 수 있음을 최초로 지적했습니다. 이는 데이터 프라이버시 보호 기술의 현실적 적용 가능성을 재평가하게 합니다.
• 기술적 혁신: BAIT 는 사전 학습된 모델의 강력한 지식을 단순히 무시하는 것이 아니라, 그 지식을 역이용하여 (내부 최적화 시뮬레이션) 오히려 모델이 잘못된 방향으로 학습하도록 유도하는 정교한 메커니즘을 제공합니다.
• 미래 방향: 분류 작업뿐만 아니라 세그멘테이션 등 다른 작업으로의 확장 가능성과, 더 다양한 다운스트림 작업에 대한 적용 가능성을 제시하며 향후 연구 방향을 제시했습니다.

결론적으로, 이 논문은 사전 학습된 모델 환경에서 데이터 보호를 위해 UEs 를 효과적으로 활용하기 위해서는 기존 접근법으로는 부족하며, BAIT 와 같은 새로운 최적화 전략이 필수적임을 입증했습니다.