NatADiff: Adversarial Boundary Guidance for Natural Adversarial Diffusion

이 논문은 확산 모델의 탈노이즈 과정을 활용하여 실제 테스트 시 발생하는 오류와 유사하면서도 다양한 모델 간 전이성이 뛰어난 자연스러운 적대적 샘플을 생성하는 'NatADiff'라는 새로운 적대적 샘플링 기법을 제안합니다.

핵심

🎨 1. 배경: AI 는 왜 실수할까? (자연스러운 오류)

우리가 AI 에게 사진을 보여줄 때, AI 는 보통 정확하게 분류합니다. 하지만 가끔은 사람이 봐도 명백한데 AI 는 엉뚱한 답을 하는 경우가 있습니다.

• 예시: 눈 덮인 길가에 있는 '버스'를 보고 AI 가 "제설차 (Snowplow)"라고 잘못 분류하는 경우.

이건 AI 가 버스의 모양을 본 게 아니라, **'눈 (Background)'**이라는 단서만 보고 "눈이 있으면 제설차겠지!"라고 착각해서 생기는 실수입니다. 이런 실수를 **'자연스러운 적대적 샘플 (Natural Adversarial Samples)'**이라고 부릅니다.

기존의 해킹 방법들은 사진에 **눈에 보이지 않는 작은 점들 (노이즈)**을 추가해서 AI 를 속였습니다. 하지만 이건 실제 세상에서 일어날 수 있는 '순수한 실수'를 잘 반영하지 못합니다.

🚀 2. NatADiff 의 등장: "혼합된 맛"을 찾아서

저자들은 **"AI 가 실수하는 이유는 진짜 대상과 헷갈리는 대상의 특징이 섞여 있기 때문이다"**라고 깨달았습니다.

• 비유: AI 가 '고양이'를 '호랑이'로 잘못 분류하는 이유는, 고양이 사진에 호랑이 특유의 '줄무늬'가 살짝 섞여 있기 때문일 수 있습니다.

NatADiff는 이 원리를 이용해, 진짜 사진 (고양이) 과 헷갈리는 사진 (호랑이) 의 특징을 자연스럽게 섞어서 새로운 사진을 만들어냅니다.

🎭 3. 어떻게 작동할까? (세 가지 핵심 비유)

이 기술은 **확산 모델 (Diffusion Model)**이라는 AI 를 사용합니다. 이 모델은 원래 "잡음 (노이즈) 에서 아름다운 그림을 그려내는" 능력을 가지고 있습니다. NatADiff 는 이 능력을 악용 (혹은 활용) 합니다.

① 경계선 안내 (Adversarial Boundary Guidance)

• 비유: AI 가 '고양이'와 '호랑이'를 구분하는 경계선이 있습니다. NatADiff 는 AI 가 그 경계선 바로 위에, 두 동물 특징이 섞인 그림을 그리도록 유도합니다.
• 효과: AI 는 "아, 이건 고양이도 아니고 호랑이도 아닌... 어? 호랑이 같네!"라고 혼란을 겪다가 틀린 답을 내게 됩니다.

② 시간 여행 (Time-Travel Sampling)

• 비유: 그림을 그리는 도중 실수가 생기면, 시간을 거슬러 올라가서 (Time-travel) 다시 그리는 과정을 반복합니다.
• 효과: AI 가 엉뚱한 그림 (예: 고양이 얼굴에 호랑이 발) 을 그려내지 않도록, 그림의 품질을 유지하면서 AI 를 속이는 특징만 살짝 섞어줍니다.

③ 증강된 안내 (Augmented Classifier Guidance)

• 비유: AI 가 실수할 때 주로 사용하는 '나쁜 습관 (단서)'을 찾아내어, 그 습관을 더 강조합니다.
• 효과: AI 가 "눈이 있으면 제설차다!"라고 착각하는 그 착각의 원리를 정확히 찌릅니다.

🏆 4. 왜 이 기술이 특별한가?

기존의 해킹 방법들은 특정 AI 만 속일 수 있었습니다. 하지만 NatADiff 는 **다른 AI 모델들 사이에서도 통하는 '범용적인 실수'**를 만들어냅니다.

• 비유: 기존 방법은 "A 학교 시험지"만 틀리게 만들 수 있었지만, NatADiff 는 A, B, C 모든 학교의 시험지를 똑같이 틀리게 만들 수 있습니다.
• 이유: 이 기술이 AI 가 가진 **보편적인 약점 (착각하는 습관)**을 공격하기 때문입니다.

📊 5. 결론: 더 안전하고 더 똑똑한 AI 를 위해

이 연구는 AI 를 해킹하는 기술을 개발한 것이지만, 궁극적인 목표는 AI 의 약점을 찾아내어 더 튼튼하게 만드는 것입니다.

• 자연스러운 오류: 우리가 일상에서 겪는 AI 의 실수를 인위적으로 재현할 수 있게 되었습니다.
• 차별점: 기존 방법처럼 사진에 '노이즈'를 붙이는 게 아니라, 완전히 새로운 자연스러운 사진을 만들어 AI 를 혼란스럽게 합니다.

한 줄 요약:

"NatADiff 는 AI 가 '착각'하는 이유를 파악하고, 그 착각을 유발하는 자연스러운 그림을 그려내어, 어떤 AI 가 봐도 틀리게 만드는 초고성능 해킹 기술입니다."

이 기술을 통해 우리는 AI 가 왜 실수하는지 더 깊이 이해하고, 앞으로 더 똑똑하고 안전한 AI 를 만들 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

딥러닝 모델은 훈련 데이터와 테스트 데이터 간의 도메인 차이에서 예측 불가능한 반응을 보이며, 이는 자연적 적대적 샘플 (Natural Adversarial Samples) 또는 **테스트 시간 오류 (Test-time errors)**로 이어집니다. 기존 연구들은 주로 다음과 같은 한계를 가집니다:

• 제약된 적대적 공격 (Constrained Attacks): 픽셀 수준의 미세한 교란 (perturbation) 을 추가하여 모델을 오분류시키는 방식 (예: PGD, AutoAttack) 은 실제 세계의 자연스러운 오류를 반영하지 못하며, 방어 기법에 취약합니다.
• 기존 생성형 적대적 공격: GAN 기반 방법은 샘플 경로에 대한 이론적 근거가 부족하고 이미지 품질이 저하되며, 기존 확산 모델 (Diffusion) 기반 방법 (예: AdvDiff) 은 제약된 교란을 생성하거나 자연스러운 오류의 특성을 충분히 반영하지 못합니다.
• 핵심 통찰: 자연적 적대적 샘플은 종종 **오류가 있는 문맥 단서 (erroneous contextual cues)**를 포함하며, 모델은 이러한 단서를 이용해 분류 과정을 단축 (shortcut) 합니다. 기존 방법들은 이러한 구조적 특징을 효과적으로 포착하여 모델의 취약점을 공격하지 못했습니다.

2. 방법론 (Methodology: NatADiff)

저자들은 NatADiff를 제안하며, 이는 확산 모델 (Denoising Diffusion) 을 활용하여 자연스럽고 높은 전이성 (transferability) 을 가진 적대적 샘플을 생성하는 새로운 샘플링 방식입니다. 주요 기술적 구성 요소는 다음과 같습니다.

A. 적대적 경계 안내 (Adversarial Boundary Guidance)

• 개념: 자연적 적대적 샘플은 '진짜 클래스 (True Class)'와 '적대적 클래스 (Adversarial Class)'의 **교차 영역 (Intersection)**에 위치한다는 가설을 기반으로 합니다.
• 구현: 확산 샘플링 궤적을 두 클래스의 교차점으로 유도합니다. 이를 위해 클래스 조건부 가이드 (Classifier Guidance) 와 클래스 프리 가이드 (Classifier-Free Guidance) 를 결합한 새로운 스코어 함수를 정의합니다.
  • 수식 (9) 에서 $\mu$ 파라미터를 통해 샘플이 진짜 클래스와 적대적 클래스의 교차 영역으로 얼마나 강하게 끌려갈지 조절합니다.
  • 이를 통해 모델이 오분류할 수 있을 만큼 적대적 클래스의 특징을 포함하되, 인간의 시각적 관점에서는 원래 클래스로 인식될 수 있는 이미지를 생성합니다.

B. 증강된 분류기 안내 (Augmented Classifier Guidance)

• 문제: 기존 오프 - 더 - 쉘 (off-the-shelf) 분류기는 노이즈가 포함된 샘플 ($x_t$) 에 대해 정확도가 떨어집니다.
• 해결: Tweedie's 공식을 사용하여 노이즈가 제거된 $x_0$의 추정치를 분류기에 입력합니다. 또한, 회전, 자르기, 이동 등 **미분 가능한 이미지 변환 (Differentiable Image Transforms)**을 적용하여 분류기 기울기 (gradient) 를 평균화합니다.
• 효과: 이는 제약된 교란 (constrained perturbation) 방향의 신호를 약화시키고, 적대적 클래스의 의미 있는 구조적 특징이 이미지 생성에 반영되도록 유도합니다.

C. 시간 여행 샘플링 (Time-Travel Sampling)

• 확산 과정에서 샘플링 궤적이 이미지 매니폴드 (manifold) 에서 벗어나거나 품질이 저하되는 것을 방지하기 위해, 특정 시간 단계에서 순방향 과정을 거친 후 다시 역방향으로 재샘플링하는 기법을 도입합니다. 이는 생성된 이미지의 품질을 유지하면서 공격 성공률을 높여줍니다.

D. 유사성 타겟팅 (Similarity Targeting)

• 무방향 (Untargeted) 공격 시, CLIP 텍스트 인코더를 사용하여 진짜 클래스와 의미적으로 가장 유사한 클래스를 적대적 타겟으로 선택합니다. 이는 모델이 학습한 오류 단서를 더 효과적으로 활용하게 합니다.

3. 주요 기여 (Key Contributions)

1. NatADiff 프레임워크 제안: 분류기 변환, 기울기 정규화, 시간 여행 샘플링을 통합하여 적대적 분류기 안내와 이미지 품질을 동시에 개선한 새로운 생성형 적대적 공격 방법론.
2. 적대적 경계 안내 알고리즘: 복잡하게 학습된 매니폴드 내에서 신뢰할 수 있게 교차 영역을 탐색하여, 기존 방법보다 훨씬 높은 **전이성 (Transferability)**을 가진 자연적 적대적 샘플을 생성.
3. 심층 분석: 합성곱 (CNN) 과 트랜스포머 (Transformer) 기반 분류기가 자연적 적대적 샘플을 어떻게 인식하는지 분석하여, 딥러닝 모델이 학습한 특징 표현의 특성을 규명.

4. 실험 결과 (Results)

ImageNet 데이터셋을 기반으로 한 실험에서 NatADiff는 다음과 같은 성과를 보였습니다.

• 높은 전이성 (Transferability):
  • White-box (동일 모델): 최신 기법 (PGD, AutoAttack, AdvDiff 등) 과 유사한 공격 성공률 (ASR) 을 기록.
  • Black-box (이종 모델): ResNet, Inception, ViT 등 다양한 아키텍처와 **적대적 훈련된 모델 (Adversarially Trained Models)**에 대해 기존 방법보다 현저히 높은 전이성을 보임. 특히 ViT-H 와 같은 강력한 모델에서도 공격 성공.
• 자연스러운 오류와의 유사성:
  • 생성된 샘플의 분포가 실제 자연적 오류 (ImageNet-A) 와 더 가깝습니다 (FID-A 점수 개선).
  • 기존 적대적 분류기 안내 (AdvClass) 만 사용하는 방법보다 자연스러운 테스트 시간 오류를 더 잘 모사합니다.
• 이미지 품질:
  • FID (Fréchet Inception Distance) 와 IS (Inception Score) 를 통해 이미지 품질이 우수함을 입증. 특히 무방향 (Untargeted) 공격 시 자연스러운 이미지 분포를 잘 유지합니다.
• 방어 기법 우회:
  • 이미지 변환 (회전, 자르기) 및 DiffPure 와 같은 정제 (Purification) 기반 방어 기법에 대해 기존 제약형 공격들보다 훨씬 강력한 내성을 보입니다.

5. 의의 및 결론 (Significance)

이 논문은 NatADiff를 통해 다음과 같은 중요한 통찰을 제공합니다:

• 자연적 적대적 샘플의 본질: 자연적 오류는 단순한 노이즈가 아니라, 모델이 학습한 '잘못된 문맥 단서'에 기반한 구조적 특징을 포함하고 있음을 증명합니다.
• 방어 전략의 재고: 기존에 개발된 많은 방어 기법들은 픽셀 수준의 교란을 제거하는 데 초점을 맞추고 있어, NatADiff 와 같은 자연적 적대적 샘플에는 효과가 제한적입니다.
• 모델 견고성 향상: NatADiff 는 모델이 어떤 오류 단서에 의존하는지 파악하는 데 도움을 주어, 향후 더 견고하고 해석 가능한 (interpretable) 딥러닝 모델을 개발하는 데 기여할 수 있습니다.

결론적으로, NatADiff 는 생성형 AI 의 힘을 활용하여 기존 공격 기법보다 더 정교하고 전이성이 높으며, 실제 세계의 오류와 유사한 적대적 샘플을 생성함으로써 딥러닝 모델의 취약점을 심층적으로 이해하고 방어하는 새로운 방향을 제시합니다.