기술 요약: GUNGNIR

문제 제기

확산 모델 (DMs) 은 이미지 생성 분야에서 상당한 성과를 거두었으나, 백도어 공격에 취약합니다. 기존 공격들은 일반적으로 현재 방어 메커니즘에 의해 쉽게 탐지되는 저차원적이고 시각적으로 눈에 띄는 트리거 (예: 특정 노이즈 패치, 텍스트 프롬프트, ControlNet 조건) 에 의존합니다. 이러한 방어 수단들 (트리거 역변환 및 신경망 탐지 등) 은 이전 공격들이 제한된 입력 공간 내에서 작동했기 때문에 효과적이었습니다. 본 논문은 위협 환경의 공백을 식별합니다. 즉, 이미지 간 (image-to-image) 작업에서 입력 이미지의 스타일적 특징과 같이 고차원적이고 지각적으로 구별 불가능한 특징을 악용하는 백도어 공격의 가능성입니다. 현재 방법론들은 이러한 미묘한 트리거를 탐지하는 데 어려움을 겪으며, 표준 학습 알고리즘은 그라디언트 붕괴와 과적합으로 인해 원본 이미지 특징을 직접 트리거로 사용하는 데 실패합니다.

방법론: GUNGNIR

저자들은 입력 이미지에 스타일 기반 트리거를 임베딩하여 확산 모델에서 악성 행동을 활성화하는 새로운 백도어 공격 프레임워크인 GUNGNIR을 제안합니다. 이 방법은 입력 이미지 자체가 트리거 메커니즘으로 작용하는 이미지 간 작업 공간 내에서 작동합니다.

핵심 구성 요소

1. 스타일적 트리거: 명시적인 패치나 텍스트를 주입하는 이전 방법들과 달리, GUNGNIR 은 입력 이미지의 고유한 스타일 (예: "반 고흐의 별이 빛나는 밤" 스타일) 을 트리거로 활용합니다. 모델이 이러한 특정 스타일을 가진 이미지를 받으면, 입력의 의미론적 내용과 관계없이 타겟 이미지를 생성하도록 숨겨진 매핑이 활성화됩니다.
2. 재구성-적대적 노이즈 (RAN):
   • 문제: 표준 백도어 학습에서 입력 이미지 특징을 직접 트리거로 사용하면 심각한 그라디언트 붕괴와 과적합이 발생합니다. 노이즈 예측 목표와 스타일 보존 간의 충돌로 인해 모델이 매핑을 학습하지 못합니다.
   • 해결책: RAN 은 타겟 이미지를 직접 학습 목표로 사용하는 대신, 노이즈가 추가된 입력과 타겟 이미지로부터 잔차 벡터 $r$을 재구성합니다. 손실 함수는 모델의 예측과 이 재구성된 적대적 노이즈 간의 차이를 최소화하도록 변경됩니다.
   • 메커니즘: 잔차 $r$은 $r = \sqrt{\alpha_t}x_0 + \sqrt{1-\alpha_t}\epsilon - \text{trans}(i_t)$로 정의되며, 여기서 $i_t$는 타겟 잠재 변수입니다. 이는 이전 시간 단계의 원래 분포를 지우면서 타겟 이미지를 재구성하도록 모델을 이끄는 평균 이동 (mean shift) 을 생성합니다.
3. 단기 시간 단계 유지 (STTR):
   • 문제: 모든 시간 단계 ($T$) 에 걸쳐 백도어 주입을 적용하면 과적합이 발생합니다. 시간 단계가 0 에 가까워질수록 잠재 변수는 최종 이미지 분포에 근사하지만, 중간 시간 단계에는 모호한 의미론적 내용이 포함됩니다. 전체 시간 단계 감독은 모델이 불안정한 표현과 트리거를 연관시키게 하여, 입력과 관계없이 타겟 이미지를 생성하게 만듭니다 (유용성 상실).
   • 해결책: STTR 은 백도어 주입을 역확산 과정의 처음 $T_b$ 단계로만 제한합니다.
   • 메커니즘: 학습 감독을 짧고 안정적인 시간 단계 창으로 제한함으로써, 이 방법은 깨끗한 입력에 대한 모델의 원래 유용성을 유지하면서도 트리거가 활성화될 때 효과적이도록 보장합니다. 이는 트리거 표현과 확산 노이즈 간의 얽힘을 방지합니다.

공격 공식화

공격 공간은 추가 조건 공간 $A_{cond}$ (프롬프트, 이미지, ControlNet) 을 포함하도록 재정의됩니다. GUNGNIR 은 구체적으로 이미지 입력 공간 $A_b = \{images_b\}$을 대상으로 합니다. 학습 과정은 소수 (5%) 의 데이터셋을 트리거 스타일 이미지와 타겟 이미지 쌍으로 오염시키고, RAN 과 STTR 을 활용하여 모델 파라미터를 최적화하는 것을 포함합니다.

주요 기여

1. 공격 입력 공간의 확장: 본 논문은 이미지 간 작업에서 입력 이미지의 원본 스타일적 특징이 효과적인 백도어 트리거로 작용할 수 있음을 최초로 입증합니다. 이는 공격 벡터를 명시적이고 저차원적인 교란에서 고차원적이고 지각적인 특징으로 전환시킵니다.
2. 새로운 학습 기법: 저자들은 이미지 특징에 대한 백도어 학습의 특정 과제를 해결하기 위해 RAN과 STTR을 도입합니다. RAN 은 적대적 노이즈를 재구성함으로써 그라디언트 붕괴를 방지하고, STTR 은 주입을 짧은 시간 단계로 제한함으로써 과적합을 완화합니다.
3. 은밀성과 견고성: 결과적으로 생성된 트리거 임베딩 샘플은 깨끗한 이미지와 지각적으로 구별할 수 없습니다. 이 공격은 비정상적인 패턴을 탐지하거나 트리거를 역변환하는 최첨단 방어 수단 (Elijah, TERD) 을 우회합니다. 스타일 기반 트리거는 의심스러운 아티팩트를 도입하지 않기 때문입니다.
4. 이동성: 본 연구는 백도어가 이미지 간 작업에 국한되지 않으며, 모델이 특정 트리거 스타일로 이미지를 생성하도록 프롬프트될 경우 텍스트-이미지 작업에서도 활성화될 수 있음을 보여줍니다.

실험 결과

• 공격 성공률 (ASR): GUNGNIR 은 세 가지 기준 모델 (Stable Diffusion v1.5, v2.1, Realistic Vision v4.0) 에서 **61.50%**의 ASR 을 달성했습니다. 일부 패치 기반 공격보다 낮지만, 저자들은 높은 은밀성을 고려할 때 이는 강력한 공격에 충분하다고 지적합니다.
• 방어 회피: 이 공격은 Elijah 및 TERD 방어 프레임워크에 대해 **0% 의 백도어 탐지율 (BDR)**을 기록했습니다. 스타일 기반 트리거는 이상치로 탐지되지 않았습니다.
• 견고성: 미세 조정 기반 정화 후에도 공격이 유효하게 유지되어 일반적인 모델 방어 전략에 대한 저항력을 입증했습니다.
• 절대 실험: 실험은 RAN 없이는 그라디언트가 붕괴하여 (ASR 이 거의 0 으로 떨어짐) STTR 없이는 모델이 과적합되어 무분별하게 타겟 이미지를 생성함을 확인했습니다. 최적의 성능은 특정 RAN 강도 ($\gamma$) 와 짧은 시간 단계 창에서 발견되었습니다.

중요성과 주장

본 논문은 GUNGNIR 이 확산 모델에서 이전에 충분히 탐구되지 않았던 취약점, 즉 스타일 기반 백도어에 대한 취약성을 드러낸다고 주장합니다. 그 중요성은 다음과 같습니다:

• 은밀성: 이 공격은 이미지 생성 과정에 자연스러운 특징을 활용하므로, 명시적 트리거를 대상으로 설계된 인간 검사 및 자동 탐지기 모두에게 보이지 않습니다.
• 패러다임 전환: 백도어 트리거는 명시적이거나 저차원적이어야 한다는 가정에 도전하여, 고차원 의미론적 특징 (스타일) 이 무기로 전환될 수 있음을 보여줍니다.
• 보안 함의: 이 발견은 현재 방어 메커니즘이 모델의 고유한 스타일적 특징을 지각하고 복제하는 능력을 악용하는 공격에는 불충분함을 시사합니다. 저자들은 생성형 AI 시스템을 보호하기 위해 향후 연구가 이러한 확장된 공격 공간을 다루어야 한다고 주장합니다.

저자들은 추가 스타일 전이 모듈 없이 스타일 제약을 엄격히 준수하는 확산 과정의 고유한 어려움으로 인해 ASR 이 패치 기반 공격보다 약간 낮음을 인정하며 겸손한 입장을 유지합니다. 그러나 그들은 은밀성의 트레이드오프와 기존 방어를 우회할 수 있는 능력이 GUNGNIR 을 중요한 위협 벡터로 만든다고 강조합니다.