Devling into Adversarial Transferability on Image Classification: Review, Benchmark, and Evaluation

이 논문은 이미지 분류에서의 적대적 전이성 (adversarial transferability) 에 대한 포괄적인 검토와 6 가지 범주로 분류된 공격 기법들을 체계화하고, 편향된 평가를 방지하기 위한 표준 벤치마크 프레임워크를 제안하며 전이성 향상 전략과 공정한 비교를 위한 주의점을 제시합니다.

핵심

🕵️‍♂️ 핵심 개념: "가짜 신분증"과 "범인 추적"

상상해 보세요. AI 가 사람을 식별하는 보안 시스템 (예: 얼굴 인식) 이 있다고 칩시다.

• 적대적 예제 (Adversarial Example): 사람이 눈으로는 못 알아차릴 정도로 아주 미세하게 얼굴에 스티커를 붙이거나 색을 살짝 바꾼 '가짜 신분증'입니다. 이걸로 AI 는 "이 사람은 범인이다"라고 착각하게 됩니다.
• 전이성 (Transferability): 이 가짜 신분증이 **내가 만든 AI(A)**에서는 통했는데, **내가 본 적 없는 다른 AI(B)**에게도 통하는 능력을 말합니다.

이 논문은 **"어떻게 하면 내가 만든 가짜 신분증으로, 내가 모르는 다른 보안 시스템들도 뚫을 수 있을까?"**라는 질문에 답하기 위해, 수백 가지 방법을 분석하고 정리했습니다.

---

📚 이 논문이 한 일: "범인 목록 정리"와 "시험지 만들기"

지금까지 연구자들이 각자 다른 방법으로 가짜 신분증을 만들었는데, 서로 비교할 기준이 없어서 "내 방법이 최고야!"라고 주장만 할 뿐이었습니다. 이 논문은 다음과 같은 두 가지 큰 일을 했습니다.

1. 범인 (공격 방법) 을 6 가지 부류로 분류:
   모든 공격 방법을 6 가지 카테고리로 나누어 정리했습니다. 마치 범죄 수사에서 범인을 '총기 소지범', '폭탄 테러범' 등으로 분류하듯이요.

   • 기울기 기반 (Gradient-based): AI 가 실수하는 방향을 계산해서 더 정교하게 찌르는 방법.
   • 입력 변환 (Input Transformation): 사진의 크기, 회전, 노이즈 등을 섞어서 AI 가 헷갈리게 만드는 방법.
   • 고급 목적 함수 (Advanced Objective): 단순히 틀리게 만드는 게 아니라, AI 가 '왜' 틀렸는지 그 내부 특징을 공격하는 방법.
   • 생성 기반 (Generation-based): AI 가 직접 가짜 신분증을 만들어내는 '가짜 화가'를 훈련시키는 방법.
   • 모델 관련 (Model-related): AI 의 구조 (건물 설계도) 를 분석해서 약점을 노리는 방법.
   • 앙상블 (Ensemble-based): 여러 AI 를 동시에 공격해서 공통된 약점을 찾는 방법.

2. 공정한 시험지 (벤치마크) 만들기:
   "내 방법이 진짜로 좋은지 확인하려면, 같은 조건에서 모든 AI 를 공격해봐야 해!"라고 말하며, 모든 공격 방법을 동일한 시험 (같은 데이터, 같은 방어 시스템) 에 통과시켜 점수를 매긴 기준을 제시했습니다.

---

🔍 주요 발견: "왜 어떤 방법은 실패할까?"

이 논문은 재미있는 사실을 발견했습니다.

• 과도한 자부심 (Overfitting): 어떤 공격 방법은 내가 만든 AI(A) 에서는 100% 성공하지만, 다른 AI(B) 에서는 0% 로 실패합니다. 마치 내가 만든 시험지 (A) 만 공부해서 A 학점을 받았는데, 다른 학교 (B) 시험지에서는 낙제하는 학생과 같습니다.
• 공정한 비교의 부재: 많은 연구가 "내 방법이 기존 방법보다 좋다"라고 주장했지만, 사실은 비교 대상이 약한 AI 였거나 조건이 달랐을 뿐인 경우가 많았습니다. 이 논문은 "진짜 강한 AI 와 방어 시스템까지 다 포함해서 비교해야 한다"고 강조합니다.

💡 성공적인 공격의 비결 (요약)

이 논문이 발견한 '범인'들의 공통된 성공 비결은 다음과 같습니다.

1. 다양한 시선: 사진을 여러 각도에서 보거나, 크기를 다르게 해서 AI 가 특정 패턴에만 의존하지 않게 만듭니다.
2. 중요한 부분 공략: AI 가 '눈'이나 '코' 같은 핵심 특징을 보고 판단한다는 것을 알고, 그 부분을 교란시킵니다.
3. 여러 AI 동시 공격: 여러 AI 를 동시에 공격하면, 그들 모두에게 공통적으로 통하는 '약한 고리'를 찾을 수 있습니다.

---

🌍 이 밖에도... (이미지 외의 세계)

이 논문은 이미지 분류뿐만 아니라 다른 분야에서도 같은 현상이 일어난다고 말합니다.

• 자연어 처리 (LLM): AI 가 쓴 글을 속여서 해로운 내용을 출력하게 만드는 것 (재일킹).
• 자율주행: 도로 표지판을 살짝 변형해서 AI 가 '정지'를 '속도 제한 100'으로 오인하게 만드는 것.

이 모든 분야에서 **"내가 만든 공격이 다른 AI 에게도 통할까?"**가 핵심 문제이며, 이 논문은 그 해결책을 위한 나침반이 되어줍니다.

🎯 결론

이 논문은 **"AI 해킹 기술이 너무 복잡하고 기준이 없어서 혼란스럽다"**는 문제를 지적하고, **"이제부터는 이 6 가지 부류로 나누고, 이 시험지로 평가하자"**라고 제안합니다.

이는 AI 개발자들에게는 **"우리 AI 가 정말 안전한지 확인해 보세요"**라는 경고가 되고, 보안 연구자들에게는 **"어디를 어떻게 강화해야 할지"**에 대한 명확한 지도가 됩니다. 결국, 더 안전한 AI 세상을 만들기 위해 필요한 '진짜 실력 측정기'를 만든 것입니다.

기술 요약

논문 개요: 이미지 분류에서의 적대적 전이성 (Adversarial Transferability) 심층 분석

이 논문은 딥러닝 모델의 취약점인 '적대적 예제 (Adversarial Examples)'가 훈련된 대리 모델 (Surrogate Model) 에서 생성되어, 직접 접근할 수 없는 피해자 모델 (Victim Model) 을 속일 수 있는 능력인 **적대적 전이성 (Adversarial Transferability)**에 초점을 맞추고 있습니다. 저자들은 현재 전이 기반 공격 (Transfer-based Attacks) 을 평가하기 위한 표준화된 프레임워크와 기준이 부재하여 기존 연구들의 평가가 편향될 수 있음을 지적하고, 이를 해결하기 위한 포괄적인 리뷰, 벤치마크, 그리고 평가를 제안합니다.

1. 문제 제기 (Problem)

• 표준화된 평가 부재: 전이 기반 공격 연구가 활발해지고 있지만, 공격 성능을 평가하기 위한 통일된 프레임워크와 기준이 없습니다. 이로 인해 많은 연구가 적절한 벤치마크를 선택하지 못하거나, 공정한 비교 없이 기존 방법론보다 우월하다고 주장하는 편향된 결론을 도출하는 문제가 발생하고 있습니다.
• 비교의 불공정성: 다양한 공격 기법들이 서로 다른 설정 (모델, 데이터, 하이퍼파라미터 등) 에서 평가되어, 실제 전이성 향상 여부를 판단하기 어렵습니다.
• 다양한 공격 기법의 복잡성: 전이성 향상을 위한 다양한 접근법 (기울기 기반, 입력 변환, 목적 함수 변경 등) 이 존재하지만, 이를 체계적으로 분류하고 비교한 종합적인 분석이 부족했습니다.

2. 방법론 (Methodology)

저자들은 다음과 같은 체계적인 방법론을 통해 연구를 수행했습니다:

가. 공격 기법의 체계적 분류 (Taxonomy)

기존의 100 개 이상의 전이 기반 공격 논문을 분석하여 6 가지 주요 카테고리로 분류했습니다 (Fig. 1, Fig. 2 참조):

1. 기울기 기반 공격 (Gradient-based Attacks): 모멘텀 (Momentum), Nesterov 가속, 분산 조정 (Variance Tuning) 등을 통해 기울기 계산 과정을 최적화하여 전이성을 높이는 방법 (예: MI-FGSM, VMI-FGSM).
2. 입력 변환 기반 공격 (Input Transformation-based Attacks): 기울기 계산 전 입력 이미지를 다양한 방식으로 변환 (리사이징, 패딩, 번역, 스케일링, 노이즈 추가 등) 하여 입력 다양성을 확보하는 방법 (예: DIM, TIM, SIM, Admix).
3. 고급 목적 함수 (Advanced Objective Function): 기존의 교차 엔트로피 손실 함수 대신 특징 (Feature) 수준에서의 거리, 주의 맵 (Attention Map), 상호작용 등을 고려한 복잡한 목적 함수를 사용하는 방법 (예: ILA, FIA, BFA).
4. 생성 기반 공격 (Generation-based Attacks): 생성자 (Generator) 를 학습시켜 직접 적대적 예제나 교란을 생성하는 방법 (예: CDTP, LTP, DiffAttack).
5. 모델 관련 공격 (Model-related Attacks): 대리 모델의 아키텍처 (예: Residual connection, Transformer token) 에 맞춰 순전파/역전파 과정을 수정하거나 모델을 미세 조정하는 방법 (예: SGM, LinBP, ViT 특화 공격).
6. 앙상블 기반 공격 (Ensemble-based Attacks): 여러 개의 대리 모델을 동시에 공격하거나, 앙상블된 기울기를 사용하여 전이성을 높이는 방법 (예: Ensemble Attack, MBA, LGV).

나. 통합 벤치마크 및 평가 프레임워크 구축

• 모델: ResNet-50, VGG-16, MobileNet-v2, Inception-v3 와 같은 CNN 과 ViT, PiT, Swin Transformer 등 4 가지 비전 트랜스포머, 그리고 AT, HGD, RS 등 5 가지 방어 메커니즘이 적용된 모델을 사용했습니다.
• 데이터셋: ImageNet 호환 데이터셋 (1,000 개 이미지, 224x224 크기) 을 사용했습니다.
• 평가 지표: 공격 성공률 (ASR, Attack Success Rate) 을 주요 지표로 사용했습니다.
• 공정성 확보: 모든 공격 기법을 동일한 설정 ( surrogate model: ResNet-50, $\ell_\infty$ norm $\epsilon=16/255$, Iterations 등) 에서 재현하여 공정한 비교를 수행했습니다.

다. 타겟팅 (Targeted) 및 비타겟팅 (Untargeted) 공격 분석

• 비타겟팅 공격: 피해자 모델을 임의의 잘못된 클래스로 분류하게 만드는 공격을 6 가지 카테고리에 따라 평가했습니다.
• 타겟팅 공격: 피해자 모델을 특정 원하는 클래스로 분류하게 만드는 공격에 대해 별도의 분석을 수행했습니다.

3. 주요 결과 및 통찰 (Key Results & Insights)

가. 비타겟팅 공격 평가 결과

• 기울기 기반: 모멘텀을 도입한 MI-FGSM이 기본 I-FGSM 보다 전이성이 크게 향상되었으며, VMI-FGSM (분산 조정) 이 이를 더 개선했습니다. 최근 제안된 많은 기울기 기반 공격들은 VMI-FGSM 을 능가하지 못해, 일부 연구의 공정한 비교 부재를 지적했습니다.
• 입력 변환 기반: DIM (다양한 입력) 과 DEM (앙상블) 이 강력한 성능을 보였으며, 최근 OPS (연산자 기반 확률적 최적화) 가 최상위 성능을 기록했습니다. 입력 변환은 기울기 기반 공격보다 일반적으로 더 높은 전이성을 보입니다.
• 목적 함수: BFA (Blackbox Feature-driven Attack) 가 특징의 양/음성 요인을 구분하여 가장 높은 성능을 보였습니다. P2FA와 ILPD도 우수한 결과를 기록했습니다.
• 모델 관련: DRA (분산 관련 공격) 와 LL2S (ViT 특화) 가 각각 CNN 과 ViT 에서 뛰어난 전이성을 보여주었습니다.
• 앙상블: MBA (베이지안 앙상블) 와 SMER이 다양한 모델에서 일관된 높은 성능을 보였습니다.

나. 타겟팅 공격 평가 결과

• 타겟팅 공격은 비타겟팅 공격보다 전이성이 일반적으로 낮지만, CFM (Clean Feature Mixup) 이 특징 공간에서의 혼합을 통해 가장 높은 성능을 보였습니다.
• M3D (생성 기반) 와 SASD-WS (앙상블) 도 각각의 카테고리에서 우수한 성능을 입증했습니다.

다. 공통 통찰 (Takeaways)

1. 모멘텀과 분산 조정: 기울기 업데이트 방향을 안정화하고 분산을 줄이는 것이 전이성 향상의 핵심입니다.
2. 입력 다양성: 입력 이미지를 변환하거나 여러 이미지를 혼합 (Mixup) 하는 것은 모델에 대한 과적합을 방지하고 전이성을 높입니다.
3. 특징 (Feature) 수준 공격: 최종 출력 (Logit) 이 아닌 중간 층의 특징 (Feature) 을 조작하거나 특징 간 상호작용을 고려하는 것이 더 효과적입니다.
4. 평탄한 국소 최소값 (Flat Local Minima): 손실 함수의 평탄한 영역에서 적대적 예제를 생성하면 전이성이 향상됩니다.
5. 공정한 평가의 중요성: 다양한 아키텍처 (CNN, ViT) 와 방어 메커니즘을 포함한 광범위한 벤치마크가 필수적입니다.

4. 기여도 (Contributions)

1. 체계적 분류: 기존 100 개 이상의 전이 기반 공격을 6 가지 카테고리로 체계적으로 분류하고, 각 방법론의 핵심 아이디어를 정리했습니다.
2. 포괄적인 벤치마크: 동일한 실험 설정 하에서 다양한 공격 기법을 재현하고 평가하여, 기존 연구들의 편향된 결론을 바로잡고 공정한 비교 기준을 제시했습니다.
3. 비판적 분석: 일부 기존 연구가 기존 베이스라인보다 성능이 낮음에도 불구하고 우월하다고 주장하는 등 공정한 비교가 이루어지지 않았음을 지적했습니다.
4. 범위 확장: 이미지 분류뿐만 아니라 객체 감지, 얼굴 인식, NLP(텍스트 분류/생성), 멀티모달 작업 등 다른 도메인에서의 전이성 연구 동향도 간략히 요약했습니다.

5. 의의 및 의의 (Significance)

이 논문은 적대적 머신러닝 분야에서 표준화된 평가 프레임워크의 부재라는 중요한 문제를 해결하기 위한 첫걸음입니다.

• 연구의 방향성 제시: 어떤 공격 기법이 실제로 효과적인지, 어떤 요소가 전이성을 결정하는지에 대한 명확한 통찰을 제공하여, 향후 더 강력하고 견고한 공격 및 방어 전략 개발을 유도합니다.
• 실용적 안전성 확보: 실제 응용 분야 (자율주행, 얼굴 인식 등) 에서 블랙박스 공격의 위험성을 정확히 평가할 수 있는 기준을 마련함으로써, 시스템의 보안성을 강화하는 데 기여합니다.
• 미래 연구의 기초: 다양한 도메인 (CV, NLP, Multimodal) 으로 확장되는 적대적 전이성 연구에 대한 체계적인 개요를 제공하여, 차세대 연구자들의 진입 장벽을 낮추고 연구의 심화를 촉진합니다.

결론적으로, 이 논문은 단순한 리뷰를 넘어 공정한 벤치마크와 평가 기준을 정립함으로써, 적대적 예제 연구의 신뢰성과 실용성을 높이는 데 결정적인 역할을 합니다.