Scaling Exposes the Trigger: Input-Level Backdoor Detection in Text-to-Image Diffusion Models via Cross-Attention Scaling

1. 문제 정의 (Problem Definition)

• 배경: 텍스트 - 이미지 (T2I) 확산 모델 (Diffusion Models) 은 이미지 생성 분야에서 혁신적인 성과를 거두었으나, 대규모 데이터와 개방형 생태계에 의존하는 특성상 백도어 공격 (Backdoor Attacks) 에 취약합니다.
• 현재의 한계:
  • 기존 방어 기법 중 입력 수준 (Input-level) 의 방법은 배포가 용이하지만, 주로 관찰 가능한 이상 신호 (Surface-level anomalies) 에 의존합니다.
  • 최근의 공격 기법 (예: IBA) 은 자연스러운 문장 구조를 유지하면서 은밀한 트리거를 삽입하여, 기존 방법들이 의존하는 표면적 이상 징후를 숨깁니다.
  • 이로 인해 기존 방어 방법들은 은밀한 (Stealthy) 공격 상황에서 성능이 급격히 저하됩니다.
• 핵심 질문: 표면적 이상 징후가 사라진 은밀한 공격 상황에서도, 정상 입력과 백도어 입력 사이에 탐지 가능한 안정적이고 암시적이며 트리거와 무관한 (Trigger-agnostic) 차이가 존재할 수 있는가?

2. 방법론 (Methodology)

저자들은 능동적 프로빙 (Active Probing) 관점에서 문제를 접근하며, SET (Scaling Exposed Trigger) 라는 새로운 입력 수준 탐지 프레임워크를 제안합니다.

2.1 핵심 발견: 교차 주의력 스케일링 응답 분기 (CSRD)

• 현상: 텍스트 - 이미지 확산 모델에서 교차 주의력 (Cross-Attention) 메커니즘의 주석 점수 (Attention Scores) 에 제어된 스케일링 (Scaling) 을 가했을 때, 정상 입력과 백도어 입력은 서로 다른 응답 진화 패턴을 보입니다.
• 명명: 이를 Cross-Attention Scaling Response Divergence (CSRD) 라고 명명했습니다.
• 특징:
  • 정상 입력은 스케일링 변화에 대해 부드럽고 일관된 응답 변화를 보입니다.
  • 백도어 입력은 더 크고 불규칙한 편차를 보입니다.
  • 이 분기 현상은 다양한 공격 유형, 트리거 형태, 모델 설정에서 일관되게 관찰되며, 이론적으로도 2 차 미분 민감도 (Second-order response sensitivity) 의 차이로 설명됩니다.

2.2 SET 프레임워크의 단계

SET 은 세 가지 주요 단계로 구성됩니다:

1. 스케일링된 교차 주의력 응답 추출:

   • 입력 텍스트에 대해 다양한 스케일링 인자 ($\lambda$) 를 적용하여 주의력 점수를 변형합니다.
   • 변형된 응답과 기준 응답 간의 평균 제곱 오차 (MSE) 를 계산하여 '응동 편차 (Response Shift)'를 측정합니다.
   • 이 과정은 여러 디노이징 단계 (Denoising steps) 와 여러 주의력 레이어 (Cross-attention layers) 에서 수행되어 다중 스케일 응답 벡터 $f(x)$ 를 생성합니다.
   • 참고: 탐지 성능 향상을 위해 자기 주의력 (Self-attention) 도 스케일링되지만, 특징 추출은 교차 주의력에서 수행됩니다.

2. 정상 응답 공간 학습 (Learning Benign Sample Space):

   • 소수의 정상 (Benign) 샘플만을 사용하여 모델의 응답 패턴을 학습합니다.
   • 추출된 응답 편차 벡터를 경량 인코더를 통해 저차원 임베딩으로 변환합니다.
   • Soft-boundary One-class Objective를 사용하여 정상 샘플들이 밀집된 '정상 응답 공간 (Benign Response Space)'의 중심 ($c$) 과 반지름 ($R$) 을 적응적으로 학습합니다. 이는 공격에 대한 사전 지식이 없어도 작동하도록 설계되었습니다.

3. 입력 탐지 (Input Detection):

   • 테스트 입력의 응답 편차 벡터를 임베딩 공간에 매핑합니다.
   • 학습된 정상 공간의 중심 ($c$) 에서의 유클리드 거리 ($s(x)$) 를 계산합니다.
   • 거리가 학습된 반지름 ($R$) 을 초과하면 백도어 입력으로 판별합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 현상 발견 (CSRD): 텍스트 조건 주입 경로인 교차 주의력에 스케일링을 가하면 정상과 백도어 입력 사이에 체계적인 응답 분기가 발생한다는 것을 발견하고, 이에 대한 이론적 분석을 제시했습니다.
2. SET 프레임워크 제안: 공격에 대한 사전 지식 없이 소수의 정상 샘플만으로 작동하는 효율적인 입력 수준 탐지기를 개발했습니다. 이 방법은 공격의 트리거 패턴에 구애받지 않고 모델 내부의 응답 역동성을 분석합니다.
3. 강력한 실험적 검증: 다양한 공격 기법 (Rickrolling, IBA, BadT2I 등) 과 트리거 유형 (명시적, 은밀함) 에서 기존 최첨단 기법들을 일관되게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: MS-COCO 데이터셋과 Stable Diffusion v1.4 모델을 사용했습니다.
• 비교 대상: T2IShield, DAA, NaviT2I, UFID 등 기존 5 가지 입력 수준 방어 기법과 비교했습니다.
• 성능 지표:
  • AUROC (평균): 기존 최상위 베이스라인 대비 9.1% 향상 (95.1% 달성).
  • ACC (평균): 기존 최상위 베이스라인 대비 6.5% 향상 (84.8% 달성).
• 은밀한 공격에 대한 강건성:
  • 특히 트리거가 자연어 문장 구조에 숨겨진 IBA (Implicit Backdoor Attack) 와 같은 은밀한 공격에서 기존 방법들의 성능이 크게 저하되는 반면, SET 는 높은 탐지율을 유지했습니다.
  • 이는 SET 가 표면적 이상 신호가 아닌, 모델 내부의 구조적 응답 차이 (CSRD) 를 활용하기 때문입니다.

5. 의의 및 결론 (Significance)

• 실용성: 모델의 재학습이나 파라미터 수정 없이, 배포 단계에서 입력을 필터링할 수 있어 실제 환경 적용에 매우 유용합니다.
• 적응성: 공격자의 트리거 설계나 공격 방식에 대한 사전 정보가 없어도 소수의 정상 데이터만으로 탐지 경계를 학습할 수 있습니다.
• 미래 방향: 확산 모델의 보안 위협이 더욱 정교해지고 은밀해지는 상황에서, 모델 내부 메커니즘 (Cross-Attention) 에 대한 능동적 프로빙을 통한 방어 기법의 중요성을 부각시켰습니다.

결론적으로, 이 논문은 제어된 교차 주의력 스케일링을 통해 백도어 공격이 남기는 미세하지만 안정적인 흔적을 포착함으로써, 기존 방법들의 한계를 극복하고 T2I 확산 모델의 보안을 강화하는 새로운 패러다임을 제시했습니다.