기술 요약: BADBONE

문제 정의

프롬프트 학습(Prompt learning)은 대규모 사전 학습된 백본 모델(예: ViT, CLIP, ResNet)을 백본 파라미터를 미세 조정(fine-tuning)하지 않고도 다운스트림 태스크에 적응시키는 효율적인 패러다임으로 부상했습니다. 대신, 이 방식은 입력 분포를 이동시키기 위해 가벼운 입력 섭동(input perturbation, 즉 "프롬프트")을 학습합니다. 이러한 접근 방식은 계산 자원을 절약하고 유연성을 제공하지만, 그 보안 취약점은 아직 충분히 탐구되지 않았습니다.

프롬프트 학습에 대한 기존의 백도어 공격은 일반적으로 프롬프트 자체에 직접 백도어를 주입합니다. 이러한 공격은 특정 시각적 프롬프트에만 영향을 미치기 때문에 한계가 있습니다. 만약 피해자가 다른 프롬프트 설계를 선택하면 공격은 실패합니다. 반대로, 백본 모델에 대한 전통적인 백도어 공격은 백도어 트리거가 다운스트림 적응 과정과 독립적으로 작동하기 때문에 모델의 유용성(utility)을 해치거나 쉽게 탐지될 수 있습니다.

본 논문은 다음과 같은 공백을 식별합니다: 백본 모델에 백도어를 심어, 프롬프트 학습을 사용하는 모든 다운스트림 태스크가 해당 취약성을 상속받도록 하면서도, 높은 유용성과 은닉성을 유지하는 효과적인 방법이 존재하지 않는다는 점입니다.

방법론: BADBONE

저자들은 시각적 프롬프트 학습에서 백본 모델을 직접 겨냥한 최초의 백도어 공격인 BADBONE을 제안합니다. 핵심 혁신은 프롬프트 생성 과정과 백본 포이즈닝(poisoning) 과정을 동시에 최적화하는 이중 레벨 최적화(bi-level optimization) 프레임워크입니다.

1. 위협 모델

• 공격자: 피해자에게 백도어가 심어진 백본 모델($f'$)을 제공하는 악의적인 모델 제공자.
• 피해자: 특정 다운스트림 태스크를 위해 자신의 시각적 프롬프트($g'$)를 생성하기 위해 제공된 백본을 사용하는, 머신러닝 전문 지식이 제한적인 사용자.
• 역량: 공격자는 피해자의 다운스트림 데이터와 유사한 섀도 데이터셋($D$) 및 원래의 사전 학습 데이터셋에 접근할 수 있습니다. 공격자는 피해자의 프롬프트 생성 과정에 영향을 미칠 수는 없지만, 백본 가중치는 제어할 수 있습니다.
• 목표:
  • 유용성(Utility): 백도어가 심어진 백본은 (클린 프롬프트 사용 시) 사전 학습 및 다운스트림 태스크 모두에서 경쟁력 있는 성능을 보여야 합니다.
  • 효과성(Effectiveness): 모델은 트리거가 포함된 샘플을 오분류해야 합니다(타겟형 또는 비타겟형).
  • 은닉성(Stealthiness): 백도어는 학습된 다운스트림 프롬프트와 특정 트리거가 모두 존재할 때만 활성화되어야 합니다.

2. 이중 레벨 최적화 프레임워크

이 공격은 프롬프트 파라미터($\phi$)를 상위 레벨 변수로, 백본 파라미터($\theta$)를 하위 레벨 변수로 하는 중첩된 최적화 문제로 정식화됩니다:
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{s.t. } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

해결책은 두 단계가 교대로 반복되는 반복 프로세스를 통해 근사됩니다:

• 단계 A: 프롬프트 학습 (상위 레벨):
  공격자는 백본 모델($f_\theta$)을 고정하고 섀도 데이터셋($D$)을 사용하여 프롬프트($g_\phi$)를 최적화합니다. 이 단계는 학습된 프롬프트가 포이즈닝된 백본과 호환되도록 피해자의 행동을 모방합니다. 손실 함수는 표준 범주형 교차 엔트로피($\ell_{prompt}$)입니다.

• 단계 B: 포이즈닝 단계 (하위 레벨):
  공격자는 학습된 프롬프트($g_\phi$)를 고정하고 합성 포이즈닝 데이터셋($D_{poisoning}$)을 사용하여 백본 모델($f_\theta$)을 미세 조정합니다. 이 데이터셋은 다음 세 가지 서브셋으로 구성됩니다:

  1. 트리거 데이터셋 ($D_t$): 트리거가 추가되고 레이블이 타겟 클래스로 변경된 이미지(타겟형 공격의 경우) 또는 무작위/순차적으로 변경된 이미지(비타겟형 공격의 경우).
  2. 클린 데이터셋 ($D_c$): 다운스트림 태스크의 유용성을 유지하기 위한 섀도 데이터셋의 클린 이미지.
  3. 사전 학습 데이터셋 ($D_p$): 사전 학습 유용성을 유지하기 위한 원래 사전 학습 세트의 이미지.

  포이즈닝 손실($\ell_{poisoning}$)은 다음과 같이 가중치가 부여된 합입니다:
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  여기서 $\gamma, \beta, \alpha$는 각각 공격 효과성, 다운스트림 유용성, 사전 학습 유용성의 균형을 맞춥니다.

3. 활성화 메커니즘

백도어는 "프롬프트와 트리거의 공동 활성화(prompt-and-trigger co-activation)" 메커니즘을 채택합니다.

• 트리거 단독 발생: 학습된 프롬프트 없이 백본에 트리거만 적용된 경우(예: 사전 학습 태스크), 백도어는 잠잠한 상태를 유지하며 모델은 정상적으로 동작합니다.
• 프롬프트 단독 발생: 학습된 프로프트를 사용하더라도 트리거가 없다면, 모델은 클린 입력에 대해 높은 정확도를 유지합니다.
• 공동 활성화: 피해자가 다운스트림 태스크를 위해 프롬프트를 생성함과 동시에 입력 이미지에 트리거가 포함된 경우에만 악의적인 동작이 나타납니다.

주요 기여

1. 최초의 백본 레벨 공격: BADBONE은 프롬프트 자체가 아닌 백본 모델을 대상으로 하는 타겟형/비타겟형 백도어 공격을 제안한 최초의 연구입니다.
2. 이중 레벨 최적화: 저자들은 백본 포이즈닝과 다운스트림 프롬프트 적응 사이의 상호작용을 처리하기 위해 이중 레벨 최적화 전략을 도입하여, 백도어가 피해자의 학습된 프롬프트에 의해 상속될 수 있도록 했습니다.
3. 은닉성: 이 공격은 단일 조건 시나리오(트리거만 있거나 프롬프트만 있는 경우)에서는 활성화되지 않는 공동 활성화 메커니즘을 특징으로 하여, 기존 방어 기법들이 탐지하기 어렵게 만듭니다.
4. 전이 가능성: 이 공격은 다양한 백본 아키텍처(ResNet18, ResNet50, BiT-M-RN50), 데이터셋(CIFAR-10, SVHN, EuroSAT), 그리고 프롬프트 설계(padding, patches)에 대해 높은 전이성을 입증했습니다.

실험 결과

저자들은 세 가지 백본 모델과 세 가지 다운스트림 데이터셋에 대해 BADBONE을 평가했습니다.

• 효과성:
  • 타겟형 공격: 높은 공격 성공률(ASR)을 달성했습니다. 예를 들어, ResNet50을 사용한 CIFAR-10에서 ASR은 **98.66%**에 도달했습니다 (베이스라인: 12.44%).
  • 비타겟형 공격: 높은 오분류율(MR)을 달성했습니다. 예를 들어, ResNet18을 사용한 EuroSAT에서 MR은 **93.16%**에 도달했습니다 (베이스라인: 26.68%).
• 유용성:
  • 백도어가 심어진 모델은 사전 학습 태스크($Acc_{pre}$)와 클린 프롬프트를 사용한 다운스트림 태스크($Acc_{target}$) 모두에서 경쟁력 있는 성능을 유지했습니다. 많은 경우, 포이즈닝 단계에 클린 데이터를 포함했기 때문에 유용성이 클린 베이스라인과 비슷하거나 약간 더 높았습니다.
• 은닉성 평가:
  • 트리거 단독 발생: 프롬프트 없이 트리거가 적용된 사전 학습 태스크 테스트 시, ASR은 무시할 수 있는 수준이었습니다(예: 0.10%). 이는 클린 모델과 구별할 수 없는 수준입니다.
  • 프롬프트 단독 발생: 모델은 클린 테스트 세트에 대해 높은 정확도를 유지했습니다.
• 방어 회피:
  • 저자들은 6가지 최신 방어 기법인 Neural Cleanse, ABS, MNTD, NAD, CLP, D-BR을 평가했습니다.
  • 탐지: Neural Cleanse, ABS, MNTD는 백도어를 거의 탐지하지 못하고 모델을 클린한 것으로 예측했습니다.
  • 제거: NAD, CLP, D-BR은 모델의 유용성을 심각하게 저하시키지 않고는 백도어를 제거하는 데 실패했습니다. 구체적으로, CLP는 백도어를 제거했지만 유용성을 파괴했고, D-BR은 백도어 제거에도 실패했을 뿐만 아니라 유용성까지 해쳤습니다.

의의 및 주장

본 논문은 BADBONE이 프롬프트 학습 패러다임의 중요하고도 이전에 탐구되지 않은 취약점을 드러낸다고 주장합니다. 프롬프트가 아닌 백본을 타겟팅함으로써, 이 공격은 피해자가 선택한 특정 프롬프트 설계와 관계없이 해당 백본을 사용하는 모든 다운스트림 태스크에 취약성이 상속되도록 보장합니다.

저자들은 공동 활성화 메커니즘이 공격의 은닉성을 결정짓는 핵심이며, 이로 인해 트리거 단독 또는 글로벌 섭동 분석에 의존하는 기존 탐지 방법들이 무력해진다고 강조합니다. 본 연구는 현재의 방어 기법들이 이러한 새로운 공격 벡터에 불충분함을 결론지으며, 백본 모델과 프롬프트 학습 간의 상호작용에 특화된 고급 방어 체계 개발의 시급성을 강조합니다. 저자들은 재현 및 방어 연구를 촉진하기 위해 코드를 공개했습니다.