Silent Until Sparse: Backdoor Attacks on Semi-Structured Sparsity

1. 문제 정의 (Problem)

현대 딥러닝 시스템은 추론 속도와 메모리 효율성을 높이기 위해 반구조적 (Semi-structured) 희소성, 특히 2:4 패턴 (4 개의 연속된 가중치 중 2 개를 제거) 을 널리 채택하고 있습니다. 이는 NVIDIA Sparse Tensor Cores 와 PyTorch 와 같은 하드웨어 및 소프트웨어 생태계에서 표준화되어 있습니다.

• 핵심 취약점: 2:4 희소화 과정은 단순히 작은 가중치를 제거하는 것이 아니라, 가중치 크기 (magnitude) 를 기준으로 결정론적 (deterministic) 으로 4 개 그룹 내 상위 2 개를 선택합니다. 또한, 최적의 성능을 유지하기 위해 가중치 치환 (Permutation) 을 적용하여 각 열 내에서 가중치를 재배열한 후 희소화를 수행하기도 합니다.
• 공격 시나리오: 공격자는 사용자가 배포하기 전의 '밀집 (Dense) 모델'을 공개합니다. 이 모델은 정상적으로 작동하여 백도어 공격이 탐지되지 않게 합니다. 그러나 사용자가 모델을 다운로드하여 2:4 희소화 (및 치환) 를 적용하면, 공격자가 의도한 대로 백도어가 활성화되어 악성 입력을 특정 클래스로 오분류하게 됩니다.
• 기존 연구의 한계: 기존 압축 인식 백도어 공격들은 치환 (Permutation) 이 적용될 경우 공격 성공률이 급격히 떨어지는 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 SUS (Silent Until Sparse) 라는 새로운 백도어 공격 기법을 제안했습니다. 이 공격은 밀집 모델에서는 숨겨져 있다가, 희소화 과정을 거친 후에만 활성화되도록 설계되었습니다.

A. 공격 메커니즘

공격은 두 단계의 훈련 프로세스를 통해 수행됩니다:

1. 백도어 훈련 (Backdoor Training):
   • 공격자가 미리 정의한 2:4 희소화 마스크 ($M$) 를 고정합니다.
   • 보존될 가중치 ($W \odot M$) 를 최적화하여, 희소화된 모델 ($f_M$) 에서 트리거가 포함된 입력을 목표 클래스로 오분류하도록 백도어를 심습니다.
   • 동시에 밀집 모델 ($f$) 에서는 정상적인 분류 성능을 유지하도록 훈련합니다.
2. 백도어 은닉 (Backdoor Hiding):
   • 삭제될 가중치 ($W \odot \bar{M}$) 만을 미세 조정 (Fine-tuning) 하여, 밀집 모델 상태에서는 백도어 행동이 나타나지 않도록 중화시킵니다.
   • 핵심 제약 조건: 사용자가 나중에 희소화를 적용할 때, 공격자가 의도한 마스크 ($M$) 와 동일한 패턴이 나오도록 보장해야 합니다. 이를 위해 두 가지 전략을 사용합니다.

B. 두 가지 전략 (SUS-F 및 SUS-R)

사용자가 가중치 치환 (Permutation) 을 적용하는지 여부에 따라 두 가지 전략을 제안합니다.

• SUS-F (Four): 치환이 적용되지 않는 경우 (2:4) 를 가정합니다.

  • 각 4 개 블록 내에서 삭제될 가중치의 크기가 보존될 가중치의 크기보다 작도록 제약합니다.
  • 수식: $MaxPool_4(|W \odot \bar{M}|) \le MedPool_4(|W|)$
  • 이 조건을 만족하면 치환이 없어도 2:4 패턴이 유지됩니다.

• SUS-R (Row): 치환이 적용되는 경우 (2:4+P) 를 포함하여 더 강력한 보장을 제공합니다.

  • 행 (Row) 단위에서 삭제될 가중치의 크기가 해당 행의 중앙값 (Median) 보다 작도록 강력하게 제약합니다.
  • 수식: $MaxPool(|W \odot \bar{M}|) \le MedPool(|W|)$
  • 이론적 보장: 이 조건이 만족되면, 가중치를 어떻게 치환하더라도 2:4 알고리즘이 선택하는 가중치 집합은 공격자가 미리 정한 마스크 $M$과 동일하게 됩니다. 즉, $M_p(W) = M_{2:4}(W) = M$이 성립하여 백도어가 항상 활성화됨을 수학적으로 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 벡터: 반구조적 (2:4) 희소성과 가중치 치환 메커니즘을 악용하여, 밀집 모델에서는 정상적으로 보이지만 희소화 후에만 작동하는 백도어 공격 (SUS) 을 최초로 제안했습니다.
2. 형식적 보장 (Formal Guarantees): SUS-R 전략을 통해 가중치 치환이 적용되더라도 백도어가 반드시 활성화됨을 수학적으로 증명했습니다. 이는 기존 공격들이 치환 시 실패하는 문제를 해결한 것입니다.
3. 이중 단계 훈련 알고리즘: 백도어를 희소 모델에 심고 밀집 모델에서는 숨기는 정교한 2 단계 훈련 알고리즘을 개발했습니다.

4. 실험 결과 (Results)

저자들은 MNIST, CIFAR-10, TinyImageNet 데이터셋과 다양한 아키텍처 (ResNet, VGG, DenseNet, ViT 등) 를 사용하여 실험을 수행했습니다.

• 은닉성 (Stealthiness):
  • 배포된 밀집 모델은 정상적인 모델처럼 행동하며, 공격 성공률 (ASR) 은 평균 5% 미만 (대부분 1% 미만) 으로 매우 낮습니다.
  • 기존 백도어 방어 기법 (Neural Cleanse, ABS, CLP 등) 을 모두 우회했습니다.
• 공격 효과성 (Effectiveness):
  • 사용자가 2:4 희소화 (치환 유무 포함) 를 적용하면, ASR 이 95% 이상 (대부분 99% 이상) 으로 급격히 상승합니다.
  • 치환 (Permutation) 에 대한 강건성: 기존 방법 (Tian et al., 2022) 은 치환이 적용되면 ASR 이 67.9% 로 떨어지는 반면, SUS-R 은 99.9% 의 성공률을 유지했습니다.
• 사용자 미세 조정 (Fine-tuning) 내성:
  • 사용자가 모델을 희소화한 후 성능 개선을 위해 미세 조정을 수행하더라도, 백도어 공격은 여전히 효과적으로 유지되었습니다.

5. 의의 및 결론 (Significance)

• 보안 위협의 재정의: 하드웨어 가속기를 위한 최적화 기법 (2:4 희소화 및 치환) 이 오히려 공급망 공격의 취약점으로 작용할 수 있음을 보여주었습니다.
• 방어 전략의 필요성: 기존 백도어 방어 기법은 밀집 모델 상태의 모델만 검사하는 경향이 있어, 이 공격을 탐지하지 못합니다. 따라서 희소화 (Compress) 후에도 보안 검사를 수행해야 함을 강조합니다.
• 미래 연구 방향: 이 연구는 2:4 패턴뿐만 아니라 더 일반적인 N:M 희소성 패턴에서도 유사한 취약점이 존재할 수 있음을 시사하며, 압축 활성화 백도어 공격에 대한 새로운 방어 체계 개발의 중요성을 제기합니다.

결론적으로, SUS 공격은 현대 AI 배포 파이프라인에서 희소화 과정이 단순한 최적화 도구가 아닌, 공격자가 악용할 수 있는 결정론적 트리거가 될 수 있음을 경고하며, 모델 배포 전후의 포괄적인 보안 검증의 필요성을 강조합니다.