Diffusion or Non-Diffusion Adversarial Defenses: Rethinking the Relation between Classifier and Adversarial Purifier

이 논문은 확산 모델에 국한되지 않는 비확산 기반 적대적 정제 모델이 데이터 없이도 뛰어난 전이성과 색상 일반화 성능을 발휘하며, CIFAR-10 에서 훈련된 모델이 ImageNet 에서 확산 모델보다 우수한 성능을 보여 적대적 방어에서 확산 모델과 분류기의 관계를 재고해야 함을 주장합니다.

핵심

🕵️‍♂️ 핵심 주제: "AI 를 해킹으로부터 지키는 '세척기'의 진실"

우리가 사용하는 AI(예: 고양이 사진과 강아지 사진을 구별하는 AI) 는 아주 작은 변화만으로도 헷갈릴 수 있습니다. 이를 '적대적 공격 (Adversarial Attack)'이라고 합니다. 마치 고양이 그림에 눈에 보이지 않는 작은 점들을 찍어 AI 가 "이건 강아지야!"라고 오인하게 만드는 거죠.

이 문제를 해결하기 위해 연구자들은 **'적대적 정화기 (Adversarial Purifier)'**라는 세척기를 개발했습니다. 이 세척기는 해킹된 사진을 원래 깨끗한 상태로 되돌려주는 역할을 합니다.

지금까지 가장 인기 있었던 세척기는 **'확산 모델 (Diffusion Model)'**을 사용했습니다. 하지만 이 논문은 **"잠깐, 그 세척기가 진짜로 좋은 걸까?"**라고 의문을 제기하며 새로운 대안을 제시합니다.

---

🎨 1. 기존 방식 (확산 모델): "완벽한 복원가지만, 너무 과하게 손을 댄다"

기존의 확산 모델 기반 세척기는 해킹된 사진을 보정할 때, 마치 화가가 캔버스 전체를 다시 그려내는 것과 비슷합니다.

• 비유: 해킹된 사진을 보려면, AI 가 "아, 이 사진은 원래 이런 느낌이었지!"라고 상상하며 완전히 새로운 그림을 그려냅니다.
• 문제점:
  • 색감 변화에 약함: 만약 훈련 데이터가 '갈색 고양이'만 봤다면, 이 세척기는 '흰 고양이'를 보자마자 "아, 이건 갈색 고양이가 아니야"라고 생각하며 색을 갈색으로 바꿔버립니다. (논문의 'ColoredImageNet' 실험)
  • 원본을 망가뜨림: 해킹된 흔적만 지우려다 보니, 사진의 원래 디테일이나 특징까지 지워버려 AI 가 진짜 사진을 볼 때조차 헷갈리게 만들 수 있습니다.
  • 데이터 제한: 새로운 데이터 (예: 고해상도 사진) 를 처리하려면 그 데이터로 다시 세척기를 훈련해야 해서 비용이 많이 듭니다.

🛠️ 2. 새로운 제안 (MAEP): "정밀한 수리공"

저자들은 확산 모델 대신 **마스크형 오토인코더 (MAE)**를 활용한 새로운 세척기 MAEP를 제안했습니다.

• 비유: 이 방식은 그림 전체를 다시 그리는 게 아니라, **해킹된 부분만 찾아내서 뚫린 구멍을 정교하게 메우는 '수리공'**과 같습니다.
• 핵심 원리:
  • 사진의 일부 조각을 가리고 (마스크), 남은 부분으로 잃어버린 부분을 추론하게 합니다.
  • 이때 **'정화 손실 (Purification Loss)'**이라는 규칙을 적용해, 해킹된 흔적은 지우되 원래 사진의 특징 (색깔, 모양) 은 그대로 유지하도록 훈련시킵니다.

🏆 3. 왜 새로운 방식이 더 좋은가요? (실제 실험 결과)

논문의 실험 결과는 놀라웠습니다.

1. 색깔 변화에 강함: 갈색 고양이만 봐도 흰 고양이를 제대로 인식합니다. 확산 모델은 색이 바뀌면 망가졌지만, MAEP 는 원본의 느낌을 잘 살려냈습니다.
2. 다른 데이터에도 잘 통함 (이동성):
   • 비유: 작고 단순한 그림 (CIFAR-10) 으로 훈련된 세척기가, 복잡한 고화질 사진 (ImageNet) 을 처리할 때도 잘 작동합니다.
   • 결과: 고화질 사진 전용으로 훈련된 확산 모델보다, 저화질로 훈련된 MAEP 가 고화질 사진에서도 더 좋은 성능을 냈습니다. 이는 마치 작은 도구로 큰 일을 해낸 것과 같습니다.
3. 원본 훼손 최소화: 확산 모델은 사진을 다시 그리는 과정에서 원본의 디테일을 잃어버렸지만, MAEP 는 원본의 질감을 거의 그대로 유지하며 해킹만 제거했습니다.

---

💡 요약: 이 논문이 우리에게 주는 메시지

"새로운 기술을 무조건 믿지 말고, 원본을 얼마나 잘 보존하는지 확인해야 합니다."

기존의 확산 모델 기반 방어 기술은 "해킹을 막는다"는 점에서는 훌륭했지만, AI 가 세상을 보는 방식 (일반화 능력) 을 망가뜨리는 부작용이 있었습니다.

이 논문은 **"해킹된 사진을 원본에 가장 가깝게, 그리고 자연스럽게 되돌리는 것"**이 진정한 방어임을 증명했습니다. 마치 해킹된 문서를 고칠 때, 내용을 완전히 새로 쓰는 게 아니라 틀린 부분만 수정하고 원본의 뉘앙스를 살리는 것이 더 현명하다는 교훈을 줍니다.

한 줄 요약:

"과도하게 그림을 다시 그리는 세척기 (확산 모델) 대신, **원본의 특징을 살려 해킹 흔적만 지우는 정밀 수리공 (MAEP)**이 AI 방어에 더 효과적입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 적대적 공격의 위협: 딥러닝 모델은 미세한 교란 (perturbation) 을 가하면 오작동을 일으키는 적대적 공격에 취약합니다.
• 기존 방어 기법의 한계:
  • 적대적 학습 (Adversarial Training): 자연 정확도 (Clean Accuracy) 와 강건 정확도 (Robust Accuracy) 간의 격차 (RobustBench 기준) 가 여전히 존재합니다.
  • 적대적 정제 (Adversarial Purification): 입력 데이터에서 적대적 노이즈를 제거한 후 분류하는 방식입니다. 최근 확산 모델 (Diffusion Models) 기반의 정제기 (DiffPure, ScoreOpt 등) 가 강력한 성능을 보이며 주목받고 있습니다.
• 핵심 문제 (Classifier Generalization Loss): 기존 연구들은 확산 모델이 다양한 공격에 대해 일반화 (Attack Generalization) 된다고 강조했으나, 분류기의 일반화 능력 (Classifier Generalization) 을 저하시킨다는 점은 간과되었습니다.
  • 확산 모델은 훈련 데이터 분포로 이미지를 되돌리려는 성질이 강합니다.
  • 반면, 분류기는 데이터 증강 (Data Augmentation) 을 통해 다양한 변형 (색상, 회전 등) 에 대해 일반화되도록 학습됩니다.
  • 이로 인해 확산 모델 기반 정제기는 훈련 데이터와 약간 다른 분포 (예: 색상 변화, 다른 데이터셋) 를 가진 이미지에 대해 분류기의 성능을 오히려 떨어뜨리는 일반화 손실 (Generalization Loss) 을 유발합니다.

2. 제안 방법론 (Methodology)

저자들은 확산 모델의 한계를 극복하고 분류기의 일반화 능력을 보존하기 위해 마스크 오토인코더 정제기 (Masked AutoEncoder Purifier, MAEP) 를 제안합니다.

• MAEP 의 핵심 아이디어:
  • 확산 모델 대신 마스크 오토인코더 (MAE) 구조를 활용합니다.
  • 정제 손실 (Purification Loss) 과 재구성 손실 (Reconstruction Loss) 의 결합:
    1. 정제 손실: 적대적 이미지 ($x_a$) 를 깨끗한 이미지 ($x$) 로 복원하도록 학습합니다. (DISCO 의 아이디어를 차용)
    2. 재구성 손실 (MLM): MAE 의 마스크 메커니즘을 활용하여, 이미지의 일부 패치를 가리고 나머지 부분으로 복원하는 과정을 통해 적대적 패치 표현을 학습하고 이미지 의미론적 (Semantic) 정보를 보존합니다.
• 손실 함수 설계:
  • 전체 손실 함수는 정제 손실 ($L_{purify}$) 과 재구성 손실 ($L_{recon}$) 의 합으로 정의됩니다.
  • $L_{MAEP} = \|M \odot x - M \odot g \circ f(M \odot x_a)\| + \|(1-M) \odot x - (1-M) \odot g \circ f(M \odot x_a)\|$
  • 여기서 $M$은 마스크, $f$는 인코더, $g$는 디코더입니다. 이 방식은 적대적 노이즈를 제거하면서도 원본 이미지의 디테일과 분류기에 필요한 정보를 최대한 보존합니다.

3. 주요 기여 (Key Contributions)

1. 확산 모델 기반 정제기의 한계 규명: 기존 연구와 달리, 확산 모델 기반 정제기가 분류기의 일반화 능력을 저하시킨다는 점을 최초로 규명했습니다. 특히 색상 변화나 다른 데이터셋으로의 전이 시 성능이 급격히 떨어짐을 증명했습니다.
2. 이론적 분석: 확산 모델이 훈련 데이터 분포로 이미지를 강제하는 반면, 분류기는 데이터 증강을 통해 다양한 변형을 학습한다는 근본적인 불일치를 설명했습니다.
3. ColoredImageNet 데이터셋 제안: 확산 모델이 색상 변화에 얼마나 민감한지 평가하기 위해 ImageNet 의 색상 스타일을 변환한 새로운 데이터셋을 구축했습니다.
4. MAEP 제안: 확산 모델을 사용하지 않고, 정제 손실과 MAE 구조를 결합하여 분류기 일반화 손실을 최소화하는 새로운 비확산 (Non-Diffusion) 정제기를 제안했습니다.

4. 실험 결과 (Results)

• 강건성 및 정확도 (CIFAR-10/100):
  • MAEP 는 DiffPure, ScoreOpt 등 최신 확산 모델 기반 방법들과 비교하여 높은 강건 정확도 (Robust Accuracy) 를 유지하면서도 자연 정확도 (Clean Accuracy) 를 더 잘 보존했습니다.
  • 특히 CIFAR-100 에서 MAEP 는 DISCO 와 DiffPure 를 크게 앞섰습니다.
• 색상 변화 민감도 (ColoredImageNet):
  • 확산 모델 기반 방법들 (DiffPure, ScoreOpt 등) 은 색상 변화가 있을 때 정확도가 약 2 배 더 크게 하락하는 반면, MAEP 는 색상 변화에 매우 강건했습니다. 이는 확산 모델이 훈련 데이터의 색상 분포에 과도하게 의존하기 때문입니다.
• 전이 학습 (Transferability):
  • 데이터셋 간 전이: CIFAR-100 에서 훈련된 정제기를 CIFAR-10 에 적용하거나 그 반대의 경우, 확산 모델 기반 방법들은 성능이 크게 저하되었습니다. 반면 MAEP 는 높은 전이 성능을 보였습니다.
  • 해상도 전이 (CIFAR-10 $\to$ ImageNet): 가장 놀라운 결과로, CIFAR-10 에서 훈련된 MAEP 를 ImageNet에서 직접 테스트했을 때, ImageNet 에서 훈련된 DiffPure 나 ScoreOpt 보다 더 높은 성능 (Clean Accuracy 약 75% vs 68%) 을 기록했습니다. 이는 확산 모델이 특정 데이터셋에 종속되는 반면, MAEP 는 더 일반적인 특징을 학습했음을 시사합니다.
• 이미지 품질: 확산 모델 기반 정제기는 이미지 디테일을 과도하게 변경하거나 노이즈를 남기는 경향이 있었으나, MAEP 는 원본 이미지의 구조와 디테일을 잘 보존했습니다 (SSIM, PSNR 지표에서도 우세).

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: 적대적 방어 분야에서 확산 모델이 만능이 아님을 지적하고, 비확산 (Non-Diffusion) 기반 접근법이 오히려 분류기의 일반화 능력을 보존하고 전이 성능을 높이는 데 더 효과적일 수 있음을 증명했습니다.
• 실용성: 확산 모델은 계산 비용이 크고 특정 데이터셋에 종속적이지만, MAEP 는 추가 데이터 없이도 훈련된 분류기의 성능을 유지하면서 다양한 공격과 환경 변화 (색상, 해상도, 데이터셋) 에 강건한 방어 체계를 제공합니다.
• 향후 방향: 적대적 방어 연구가 단순히 '노이즈 제거'에 집중하는 것을 넘어, 분류기와 정제기 간의 분포 불일치 (Distribution Mismatch) 를 고려한 설계의 중요성을 강조합니다.

이 논문은 확산 모델의 맹목적인 사용을 경계하고, 분류기의 일반화 능력을 고려한 새로운 방어 메커니즘 (MAEP) 의 우수성을 체계적으로 입증한 중요한 연구로 평가됩니다.