1. 문제 정의 (Problem Statement)

• 배경: 비전 트랜스포머 (Vision Transformers, ViT) 는 이미지 분류 및 멀티모달 학습에서 혁신적인 성능을 보이며 널리 사용되고 있습니다.
• 위협: 적대적 패치 (Adversarial Patches) 는 물리적으로 구현 가능한 (예: 스티커, 의류 패턴) 국소화된 노이즈로, ViT 의 자기 주의 (Self-Attention) 메커니즘을 장악하여 모델이 특정 클래스로 확신을 가지고 잘못 분류하도록 유도합니다.
• ViT 의 취약점: CNN 과 달리 ViT 는 전역적인 토큰 혼합 (Global Token Mixing) 을 수행하므로, 작은 고대비 패치 하나만으로도 주의 (Attention) 를 집중시켜 전체 토큰 상호작용을 오염시키고 심각한 오분류를 일으킬 수 있습니다.
• 기존 방어법의 한계: 기존 방어 기법들은 훈련 비용이 많이 들거나 (적대적 훈련), 계산 비용이 높거나, 특정 모델에 종속적이거나, 물리적 환경에서 취약한 경우가 많습니다.

2. 방법론 (Methodology: STRAP-ViT)

STRAP-ViT 는 추가적인 훈련 없이 ViT 추론 파이프라인에 플러그 앤 플레이 (Plug-and-Play) 방식으로 적용 가능한 2 단계 방어 프레임워크입니다.

A. 핵심 아이디어

적대적 패치가 겹친 토큰 (Tokens) 은 깨끗한 이미지 토큰과 통계적으로 다른 정보적 특성을 가집니다. 특히 패치 영역의 토큰은 엔트로피 (Entropy) 가 높고, 깨끗한 참조 분포와의 차이가 큽니다.

B. 1 단계: 탐지 (Detection) - 토큰 분리 (Token Segregation)

• 지표: 제이슨 - 샤논 발산 (Jensen-Shannon Divergence, JSD) 을 사용하여 각 토큰이 '이상치 (Anomaly)'인지 판단합니다.
• 과정:
  1. ViT 의 임베딩 레이어에서 토큰이 생성된 후, 각 토큰의 채널별 확률 분포를 계산합니다.
  2. 해당 토큰의 분포와 미리 정의된 '깨끗한 (Clean)' 참조 분포 간의 JSD 를 계산합니다.
  3. JSD 점수가 임계값을 초과하거나 상위 K 개 토큰을 선택하여 적대적 패치와 겹친 것으로 간주합니다.
  4. K (하이퍼파라미터): 방어 효과를 위해 변형해야 할 최소 토큰 수로, 적대적 패치의 최소 50% 를 덮을 수 있도록 설정됩니다 (보통 2~8 개 토큰).

C. 2 단계: 완화 (Mitigation) - 토큰 변환 (Token Transformation)

• 목적: 탐지된 이상 토큰의 정보 내용을 변형하여 적대적 노이즈를 무력화합니다.
• 전략: 랜덤화된 복합 변환 (Randomized Composite Transformations) 을 적용하여 적응형 공격 (Adaptive Attack) 을 방지합니다.
• 변환 기법 (무작위로 조합 적용):
  1. Lp-프로젝션 (Lp-projection): 채널 에너지의 극단적인 값을 억제합니다.
  2. 아핀 축소 (Affine Contraction): 유계 연산자 노름을 가진 아핀 변환으로 토큰을 재중앙화합니다.
  3. 심플렉스 변환 (Simplex Transform): 소프트맥스 온도를 조절하여 스파이크 (Spike) 를 완화하고 채널 가중치를 재조정합니다.
• 특징: 변환 순서와 조합을 무작위로 선택하므로, 공격자가 모든 변환에 대해 견고한 패치를 생성하는 것이 매우 어렵습니다.

3. 주요 기여 (Key Contributions)

1. 훈련 불필요 (Training-Free): 추가적인 모델 훈련이나 데이터 수집 없이 기존 사전 훈련된 ViT 모델에 즉시 적용 가능한 첫 번째 토큰 기반 방어 메커니즘입니다.
2. 모델 및 패치 무관성 (Model & Patch Agnostic): ViT-base-16, DinoV2 등 다양한 아키텍처와 Adversarial Patch, LAVAN, GDPA, RP2 등 다양한 패치 공격 유형에 대해 효과적입니다.
3. 정밀한 타겟팅: 전체 토큰을 변형하는 것이 아니라, JSD 를 통해 이상 토큰만 선별하여 변형하므로 깨끗한 데이터 (Clean Data) 의 정확도 저하를 최소화합니다.
4. 강력한 적응형 공격 방어: 랜덤화된 변환 조합을 통해 공격자가 방어 메커니즘을 우회하는 적응형 공격을 어렵게 만듭니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: ImageNet, CalTech-101 데이터셋에서 ViT-base-16 및 DinoV2 모델을 사용했습니다.
• 적대적 공격: 단일 패치 (Adversarial Patch, LAVAN, GDPA) 및 다중 패치 (RP2) 공격을 테스트했습니다.
• 성능:
  • 강건성 (Robustness): 적대적 공격 하에서 STRAP-ViT 는 70%~80% 이상의 Top-1 정확도를 유지했습니다 (예: ImageNet 에서 Adversarial Patch 공격 시 78.8% 정확도). 이는 방어 없는 모델 (약 3~10% 정확도) 에 비해 압도적인 개선입니다.
  • 클린 정확도 유지: 방어 메커니즘을 적용했을 때 깨끗한 이미지의 정확도는 2~3% 이내로만 미세하게 감소하거나, 경우에 따라 오히려 향상되기도 했습니다.
  • SOTA 비교: 기존 방어 기법 (Smoothed ViT, PatchCleanser, ODDR 등) 보다 높은 강건 정확도를 기록하며 State-of-the-Art(SOTA) 를 달성했습니다.
  • 다중 패치: RP2 와 같은 다중 패치 공격에서도 K 값을 조정하여 효과적으로 방어했습니다.

5. 의의 및 중요성 (Significance)

• 실용성: ViT 기반 시스템 (자율주행, 감시, 의료 영상 등) 의 물리적 보안 위협에 대한 저비용, 고효율 솔루션을 제공합니다.
• 비용 효율성: 추가적인 훈련 비용이 없고, 추론 시 계산 오버헤드가 ViT 블록 자체보다 훨씬 낮아 실시간 적용이 가능합니다.
• 미래 전망: 이 접근법은 토큰 기반 구조를 사용하는 대형 언어 모델 (LLM) 및 대형 비전 언어 모델 (LVLM) 로 확장 가능하여, 멀티모달 AI 의 보안 강화에 중요한 기여를 할 것으로 기대됩니다.

결론적으로, STRAP-ViT 는 ViT 의 자기 주의 메커니즘을 악용하는 적대적 패치 공격에 대해, 통계적 이상 탐지와 무작위 변환을 결합하여 훈련 없이 강력한 방어를 가능하게 하는 혁신적인 방법론입니다.