기술 요약: 입력 적응형 최적화를 이용한 비전 트랜스포머의 적대적 효율성 저하

1. 문제 정의

비전 트랜스포머(ViT)는 컴퓨터 비전 분야에서 놀라운 성공을 거두었으나, 모바일 및 임베디드 기기와 같은 자원 제한적인 환경에서는 상당한 효율성 문제에 직면해 있습니다. 셀프 어텐션(self-attention)의 이차적인 계산 비용을 완화하기 위해, 연구자들은 입력 적응형 추론(input-adaptive inference) 기술을 개발해 왔습니다. 여기에는 토큰 프루닝(불필요한 토큰을 동적으로 제거)과 조기 중단(신뢰도 임계값에 도달한 특정 토큰에 대해 추론을 중단)이 포함됩니다. 대표적인 프레임워크로는 Adaptive Token Sampling (ATS), AdaViT, A-ViT가 있습니다.

이러한 방법들은 평균적인 계산량(FLOPs), 에너지, 지연 시간을 줄여주지만, 새로운 보안 취약점인 **적대적 효율성 저하(Adversarial Efficiency Degradation)**를 초래합니다. 기존의 적대적 공격이 입력을 오분류하는 것을 목표로 하는 것과 달리, 이러한 공격은 계산 과정 자체를 표적으로 삼습니다. 적대자는 적응형 결정(예: 어텐션 맵, 중단 점수)을 제어하는 미분 가능한 콘텐츠 기반 신호를 악용하여, 모델이 필요 이상으로 더 많은 토큰을 유지하거나 더 깊은 층을 실행하도록 유도할 수 있는 입력을 생성할 수 있습니다. 이는 모델의 예측 정확도를 반드시 떨어뜨리지 않으면서도 추론 시간 비용(지연 시간, 에너지, 메모리)을 급격히 증가시켜, 의료 모니터링이나 자율 주행 드론과 같은 실시간 애플리케이션에서 시스템 장애를 일으킬 수 있습니다.

2. 방법론 및 공격 메커니즘

본 논문은 토큰 프루닝 프레임워크(ATS, AdaViT, A-ViT)를 겨냥한 두 가지 대표적인 공격 클래스를 통합하고 분석합니다.

A. DeSparsify (이미지별 섭동)

DeSparsify는 특정 이미지에 맞춤화된 픽셀 수준의 $\ell_\infty$ 섭동을 사용합니다. 이 방식은 원래의 분류 레이블을 보존하면서 계산 비용을 최대화하도록 섭동 $\delta$를 최적화합니다.

• 메커니즘: 계산 지향적 항($L_{atk}$)과 분류 보존 항($L_{cls}$)을 결합한 복합 손실 함수를 활용합니다.
• 특정 프레임워크 타겟팅:
  • A-ViT: 레이어 전반에 걸친 누적 중단 점수를 최소화하여 토큰이 중단 임계값에 도달하는 것을 방지함으로써 전체 깊이의 실행을 강제합니다.
  • AdaViT: 결정 네트워크(Gumbel-Softmax 완화 모델)가 모든 블록, 헤드, 패치를 활성화하도록 밀어붙여 희소화 마스크를 사실상 무력화합니다.
  • ATS: 토큰 중요도 점수의 분포를 평탄화(엔트로피 최대화)하여 샘플링 메커즘이 토큰을 구분하고 프루닝하기 어렵게 만듭니다.
• 최적화: 섭동을 업데이트하기 위해 투영 경사 하강법(PGD)을 사용합니다.

B. SlowFormer (유니버설 적대적 패치)

SlowFormer는 **유니버설 적대적 패치(universal adversarial patch)**를 도입합니다. 이는 데이터셋에 대해 한 번만 학습되면 개별 샘플 최적화 없이도 어떤 입력 이미지에도 적용 가능한 고정된 크기의 이미지 패치입니다.

• 메커니즘: 백본 가중치는 고정한 채, 대상 프루닝 방법에 특화된 계산 최대화 손실에 대해 경사 상승법(gradient ascent)을 통해 패치를 최적화합니다.
• 특정 프레임워크 타겟팅:
  • A-ViT: 폰더링 손실(pondering loss)과 같은 훈련 목적 함수를 무효화하여 중단을 지연시킵니다.
  • AdaViT: 사용 손실(usage loss)을 무효화하여 패치, 헤드, 블록을 활성 상태로 유지할 확률을 높입니다.
  • ATS: 클래스 토큰의 패치에 대한 어텐션 분포를 균일화하여 고유한 생존자 수를 최대화합니다.
• 실용성: 이러한 입력 불가지론적(input-agnostic) 접근 방식은 개별 이미지별 섭동에 비해 실제 물리적 공격에 더 실용적이라고 주장됩니다.

3. 주요 기여

본 논문은 ViT 보안 분야에 다음과 같은 기여를 합니다.

1. 효율성 공격의 체계화: 정확도가 아닌 시스템 효율성(계산/에너지)을 표적으로 하는 새로운 형태의 적대적 공격 클래스를 정의하고 분류합니다. 특히 입력 적응형 추론에 초점을 맞춥니다.
2. 통합적 분석: 두 가지 서로 다른 공격 벡터(SlowFormer와 DeS)를 세 가지 주요 토큰 프루닝 프레임워크(A-ViT, ATS, AdaViT)에 대해 표준화된 지표를 사용하여 비교 분석합니다.
3. 표준화된 평가 지표: 공격의 효과를 정량화하기 위해 공격 성공(AS, Attack Success) 지표를 도입합니다. AS는 공격에 의해 무효화된 모델의 잠재적 계산 절감량을 다음과 같이 측정합니다:
   $$AS = \frac{F_{attack} - F_{min}}{F_{max} - F_{min}} \times 100\%$$
   여기서 $F_{attack}$은 공격 시의 GFLOPs, $F_{min}$은 깨끗한(프루닝된) GFLOPs, $F_{max}$는 조밀한(프루닝되지 않은) GFLOPs입니다.
4. 방어 평가: 신뢰도 기반 토큰 유지 캡(cap) 및 유니버설 패치를 이용한 적대적 훈련을 포함한 기존 방어 전략을 평가하고, 효율성을 복구하는 능력을 정량화합니다.

4. 실험 결과

실험은 ImageNet과 CIFAR-10 데이터셋에서 ViT-Small 및 DeiT-Small 백본을 사용하여 수행되었습니다.

• 효율성 저하: 두 공격 모두 적응형 모델이 조밀한 베이스라인 근처에서 작동하도록 성공적으로 강제했습니다.
  • A-ViT: DeSparsify는 GFLOPs를 3.70에서 4.60으로 증가시켰으며(AS 100%), SlowFormer 역시 동일하게 100% AS를 달성했습니다.
  • ATS: DeSparsify는 73.3% AS(4.20 GFLOPs)를 달성했고, SlowFormer는 60.0% AS(4.00 GFLOPs)를 달성했습니다.
  • AdaViT: DeSparsify는 43.4% AS(3.27 GFLOPs)를, SlowFormer는 40.4% AS(3.20 GFLOPs)를 달성했습니다.
• 정확도 영향: 공격은 정확도를 보존하도록 최적화되었습니다. DeSparsify는 일반적으로 프레임워크 전반에서 정확도 손실을 1.2% 미만으로 유지했습니다. 반면, SlowFormer는 A-ViT와 같은 구성에서 76.5%의 심각한 정확도 저하를 일으켰으나, 이는 공격의 주 목적이 아닌 부작으로 언급되었습니다.
• 하드웨어 영향: 논문은 DeSparsify가 깨끗한 입력 대비 메모리 사용량을 약 37%, 에너지 소비량을 약 72% 증가시킬 수 있다고 명시합니다.
• 방어 효과:
  • 신뢰도 기반 방어 (DeSparsify): 공격 성공률을 크게 낮추었습니다 (예: A-ViT AS가 100%에서 36.9%로, ATS가 73.5%에서 5.3%로 감소).
  • 적대적 훈련 (SlowFormer): A-ViT의 AS를 100%에서 34%로 낮추고 GFLOPs를 깨끗한 동작 지점에 가깝게 줄였습니다.

5. 의의 및 주장

본 논문은 이러한 공격을 이해하는 것이 저전력 환경에 배치되는 ViT의 대응책을 설계하는 데 필수적이라고 주장합니다. 그 의의는 다음과 같습니다.

• 새로운 공격 표면의 노출: 입력 적응형 최적화가 자원을 절약하기 위해 설계되었음에도 불구하고, 픽셀 공간으로부터 계산 자원 소비를 최대화하도록 조작 가능한 "조종 가능한(steerable)" 계산 경로를 본질적으로 생성한다는 점을 입증했습니다.
• 트레이드오프 강조: 방어책(예: 토큰 수 제한, 적대적 훈련)이 존재하지만, 이들이 효율성을 부분적으로만 복구하거나 자체적인 오버헤드 또는 정확도 트레이드오프를 초래할 수 있음을 보여줍니다.
• 한계점 식별: 저자들은 현재의 공격이 서로 다른 프루닝 프레임워크 간의 전이성이 제한적이고, 내부 메커니즘에 대한 화이트박스 지식에 의존하며, 적응형 방법(정적 프루닝에는 효과적이지 않음)에 국한되어 있다는 점을 겸허히 언급합니다.
• 향atic 방향: 논문은 "효율성 강건성(efficiency robustness)"에 대한 인증된 경계를 제공하는 방어책과, 다양한 추론 최적화 및 물리적 시나리오를 가로질러 전이될 수 있는 공격을 구축할 것을 촉구하며 마무리합니다.

요약하자면, 본 논문은 비전 트랜스포머의 효율성 이득이 계산 경로를 조작할 수 있는 적대자에게 취약하다는 점을 확립하며, 전통적인 정확도 강건성뿐만 아니라 "효율성 강건성"에 대한 새로운 집중이 필요함을 시사합니다.