기술 요약: 전이 기반 적대적 공격에서의 가위 효과 (The Scissors Effect)

1. 문제 제기

전이 기반 적대적 공격(Transfer-based adversarial attacks)은 미지의 타겟 모델을 성공적으로 속일 수 있는 대리(surrogate, 소스) 모델 상의 섭동(perturbation)을 생성하는 것에 의존한다. 최신 공격 기법의 표준적인 구성 요소는 **입력 다양성(Input Diversity, DI)**으로, 이는 각 공격 반복 단계마다 무작위 크기 조정(resizing)과 패딩(padding)을 적용한다. 이 분야의 지배적인 가정은 "다양성이 많을수록 항상 더 좋다"는 것이며, 이로 인해 현대적 방법론들(예: Admix, SSA, SIA)은 입력 변환을 공격적으로 중첩하여 적용한다.

본 논문은 이러한 가정의 보편성에 이의를 제기한다. 본 연구는 DI가 서로 다른 대리 모델 훈련 체계(regime)에 따라 전이 성능을 개선하는지 조사하며, 특히 표준 모델(깨끗한 데이터로 훈련된 모델)과 강건한 모델(적대적 훈련, 예: PGD-AT을 통해 훈련된 모델)을 비교한다. 저자들은 DI의 효능이 체계(regime)에 따라 달라질 수 있으며, 강건하게 훈련된 대리 모델의 경우에는 그 효과가 역전될 수 있다는 가설을 세운다.

2. 방법론

본 연구는 DI가 전이성에 미치는 영향을 격리하기 위해 체계적인 경험적 및 이론적 접근 방식을 채택한다:

• 실험 설정: 저자들은 다양한 타겟 아키텍처(CNN, ViT, Swin, ConvNeXt)에 대해 다양한 대리 모델(Standard 및 Robust)로부터의 전이성을 평가한다(CIFAR-10 및 ImageNet 대상).
• 통제 변수:
  • 다양성 확률 ($p$): DI를 적용할 확률을 0에서 1까지 변화시키며 탐색한다.
  • 강건성 강도: 훈련 예산 $\epsilon$만을 조절하여(고정된 ResNet-50 아키텍처와 PGD-AT 레시피 사용) 표준 체계에서 강건 체계로의 전이를 관찰한다.
  • 구성 요소 분해: DI를 크기 조정(보간, interpolation)과 이동(패딩, translation)으로 분해하여 특정 효과를 일으키는 변환을 격리한다.
• 지표: 공격 성공률(Attack Success Rate, ASR)이 주요 지표이다. 또한 저자들은 깨끗한 입력과 그 주변의 미세하게 섭동된 이웃들 사이의 그래디언트 코사인 유사도를 측정하는 **국소 그래디언트 일관성(Local Gradient Consistency, LGC)**을 도입하여 대리 모델의 그래디언트 기하 구조를 특징짓는다.
• 이론적 프레임워크: 편향-분산(bias-variance) 분석을 공식화하여 메커니즘을 설명하고, 그래디언트 신호 대 잡음비(signal-to-noise ratio)에 따라 DI가 도움이 되거나 해가 되는 시점을 결정하는 교차 정리(crossover theorem)를 도출한다.

3. 주요 기여

가위 효과 (The Scissors Effect)

핵심적인 발견은 가위 효과이다. 다양성 확률 $p$가 증가함에 따라, 표준 모델과 강건한 모델의 전이 성공률은 서로 반대 방향으로 갈라진다.

• 표준 대리 모델: 다양성을 높이면 일반적으로 전이성이 개선되거나 유지된다(유익하거나 중립적임).
• 강건한 대리 모델: 다양성을 높이면 종종 전이성이 저하되며, 다양성이 없는 공격보다 성능이 떨어진다.
• 규모: ImageNet에서, 맹목적인 DI 적용은 다양한 타겟에 대해 강건한 소스 모델의 ASR을 평균 10.3% 감소시킨다. CIFAR-10에서는 기본 설정에서 효과가 더 작지만(~2%), 공격적인 DI 하에서는 약 6.6%까지 커진다.

메커니즘 분석: 그래디언트 기하 구조와 크기 조정

논문은 이 효과를 입력 그래디언트의 기하학적 특성으로 설명한다:

• 표준 모델: 노이즈가 많고 고주파수인 그래디언트를 가진다. DI는 이를 디노이징(denoising)하는 메커니즘(분산 감소)으로 작용하여 공격 방향을 개선한다.
• 강건한 모델: 매끄럽고 저주파이며 의미론적으로 정렬된 그래디언트를 가진다. DI의 크기 조정(resize) 구성 요소는 저역 통과 필터(low-pass filter)로 작용하여, 이미 낮은 분산을 줄이는 대신 체계적인 편향(systematic bias)을 도입함으로써 이미 최적화된 그래디언트 방향을 오히려 저하시킨다.
• 분해 결과: 크기 조정/이동 분해 결과, 강건한 대리 모델에 가해지는 해악의 **약 67%**는 구체적으로 크기 조정(resize) 단계에 의해 발생하며, 이동(translation)은 거의 중립적임을 밝혀냈다.

국소 그래디언트 일관성 (LGC)

저자들은 그래디언트 체계를 식별하기 위한 단일 입력 공간 프로브로서 LGC를 제안한다:

• 분리: 강건한 모델은 높은 LGC($\approx 0.98\text{--}1.00$)를 보이는 반면, 표준 모델은 낮은 LGC($\approx 0.64\text{--}0.92$)를 보인다.
• 예측력: LGC는 DI 민감도와 강하게 상관관계가 있다. 높은 LGC는 DI가 해로울 것임을 예측한다.
• 정리: 편향-분산 정리(Proposition 1)는 LGC가 특정 임계값($\tau^*$) 미만일 때만 크기 조정 기반의 DI가 정렬을 엄격히 개선하며, LGC가 1에 가까워질수록 반드시 해가 된다는 것을 증명한다.

CG-DI (Consistency-Guided Diversity Input)

이러한 발견을 바탕으로 저자들은 훈련이 필요 없는 규칙인 CG-DI를 제안한다:

• 메커니즘: 대리 모델에서 LGC를 계산한다. 만약 LGC > $\tau$ (예: 0.92)라면 다양성을 비활성화($p=0$)하고, 그렇지 않으면 다양성을 활성화($p=0.8$)한다.
• 결과: CG-DI는 강건한 대리 모델에서의 ~10.3% ASR 손실을 방지하는 동시에 표준 모델에서의 DI 이점을 유지한다. 이는 가위 효과에 대한 "가드레일" 역할을 한다.

4. 결과

• 일반화: 가위 효과는 2018~2024년 사이의 10가지 공격(MI-FGSM, Admix, SSA, SIA 포함)과 다양한 아키텍처(ResNet, ViT, Swin, ConvNeXt) 전반에서 유효하다.
• 강건성 스윕: 유익한 DI에서 해로운 DI로의 전환은 이진적이지 않고 **단계적(graded)**이다. 교차는 "낮은 강건성" 체계(예: $\epsilon_{train} \in (0, 0.5]/255$)에서 발생하며, 강건성이 높아질수록 심화된다.
• SSA 예외: 주파수 영역에서 작동하는 스펙트럼 시뮬레이션(SSA) 공격은 강건한 대리 모델에 대해 가장 큰 해악을 보인다. 저자들은 이를 Corollary 1을 통해 설명하는데, SSA는 유효 LGC를 높이는 프리필터(pre-filter)로 작의하여 표준 모델조차 해로운 교차 임계값에 가깝게 만든다.
• 동일 계열 제어: 이 효과는 소스와 타겟이 동일한 아키텍처를 공유할 때도(예: ResNet-50에서 ResNet-50으로) 지속되며, 이는 현상이 아키텍처의 유사성이 아닌 대리 모델의 그래디언트 체계에 의해 발생함을 확인시켜 준다.

5. 의의 및 주장

본 논문은 가위 효과를 더 넓은 의미의 강건성-전이성 트레이드오프(robustness–transferability trade-off)의 DI 특이적 발현으로 규정한다. 본 연구의 의의는 다음과 같다:

1. 기본 가정의 수정: "다양성이 많을수록 좋다"는 휴리스틱이 체계에 따라 달라짐을 입증한다. 강건한 대리 모델(안전성 평가에서 점점 흔해지고 있는)의 경우, 기본적으로 DI를 사용하는 것은 공격 강도를 과소평가하고 타겟의 강건성을 과대평가하게 만들 수 있다.
2. 원인 격리: 해악의 구체적인 원인이 **크기 조정(resize)**임을 식별하여, 이동(translation)과 같은 다른 변환과 구분하였다.
3. 실행 가능한 가이드: LGC를 사용하여 공격 하이퍼파라미터를 동적으로 조정하는, 훈련이 필요 없는 실용적인 방법(CG-DI)을 제공함으로써 강건한 대리 모델이 의도치 않게 약화되는 것을 방지한다.
4. 이론적 근거: 편향-분산 교차 정리를 통해 직관을 공식화하고, 입력 다양성의 효능을 그래디언트 일관성과 직접 연결하였다.

저자들은 강건하게 사전 훈련된 모델이 표준 대리 모델이 됨에 따라, 공격 설계 시 대리 모델의 그래디언트 기하 구조를 고려해야 하며, DI를 보편적으로 유익한 기본값으로 취급해서는 안 된다고 결론짓는다.