Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors

기술 요약: 위장된 일반화 가능한 T2I 백도어를 위한 적응형 EWC를 통한 허위 트레이드오프의 극복

문제 제기
본 논문은 텍스트-이미지 (T2I) 확산 모델의 치명적인 취약점인 모델의 정직한 동작 (신뢰성) 을 유지하면서 높은 공격 성공률 (ASR) 을 달성하는 위장된 텍스트 측 백도어 공격의 구현 난제를 다룹니다. 이 도전 과제는 애니메이션이나 사실적 표현과 같은 특정 스타일에 맞게 미세 조정된 LoRA 적응형 전문가 모델이 포함된 실제 배포 시나리오에서 특히 심각합니다.

저자들은 기존 접근법에서 발견된 "허위 트레이드오프"를 식별했습니다. 이전 연구들은 종종 정직한 동작을 유지하기 위해 출력 공간 교사 - 학생 정렬(Learning without Forgetting, LwF) 이나 **정적 탄성 가중치 통합 (EWC)**에 의존했습니다. 본 논문은 고정된 패널티를 파라미터 변화에 적용하는 정적 EWC 가 이러한 시나리오에서 실패함을 입증합니다. 구체적으로, 정직한 동작을 보존하려는 강력한 정적 통합 가중치 ($\lambda$) 는 종종 백도어 트리거를 완전히 억제하여 ASR 을 0 으로 붕괴시킵니다. 이는 특히 약하고 위장된 트리거 (예: 유니코드 대체) 나 LoRA 전문가 모델에서 두드러집니다. 이는 정적 정규화기가 모델이 정직한 동작을 "잊는" 경우 (이것은 패널티가 필요함) 와 모델이 백도어를 "과소적합"하는 경우 (이것은 완화 필요) 를 구분하지 못하기 때문입니다.

방법론: 코사인 인식 적응형 EWC (AEWC)
정직한 능력 유지와 백도어 학습 사이의 긴장 관계를 해결하기 위해, 저자들은 **코사인 인식 적응형 EWC (AEWC)**를 제안합니다. 이 방법은 EWC 를 정적 제약 조건에서 훈련 중에만 작동하며 추론 오버헤드가 제로인 컨텍스트 민감형 센서 - 조절기 시스템으로 변환합니다.

이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 교사 - 학생 파이프라인: 고정된 정직한 인코더 ($T$) 가 교사로, 학습 가능한 인코더 ($S$) 가 학생으로 작용합니다. 학생은 정직한 프롬프트에서 $T$와의 정렬을 유지하면서 독극물 프롬프트를 목표 임베딩으로 매핑하도록 훈련됩니다.
2. 의미 센서 (정직 유틸리티): 평균 제곱 오차 (MSE) 대신, AEWC 는 정직한 프롬프트에서 코사인 유사도 기반 유틸리티 손실($L_{utl-cos}$) 을 사용합니다. 이는 학생과 교사 간의 의미적 이동을 측정합니다.
3. 적응형 조절기: 통합 강도 $\lambda$는 정직 유틸리티 손실과 백도어 손실 ($L_{bd}$) 의 비율에 따라 동적으로 조절됩니다.
   • 지수 이동 평균 (EMA) 이 이 비율 ($\hat{r}_t$) 을 안정화합니다.
   • 비율이 높으면 (모델이 정직한 동작을 잊고 있음을 나타냄), $\lambda$가 증가하여 통합을 강화합니다.
   • 비율이 낮으면 (백도어가 과소적합되고 있음을 나타냄), $\lambda$가 감소하여 제약을 완화하고 트리거 학습을 허용합니다.
   • 최종 적응형 가중치는 정의된 범위 $[\lambda_{min}, \lambda_{max}]$ 내에서 클리핑됩니다.

주요 기여

1. 정적 EWC 실패 진단: 본 논문은 정적 EWC 가 LoRA 적응형 전문가와 약한 트리거에서 치명적인 실패 모드를 유발한다는 체계적인 연구를 제공합니다. 이는 유지와 학습 사이의 성공적인 균형을 이루는 것이 아니라 공격을 완전히 억제하여 (ASR $\approx$ 0) 고신뢰성의 허위 외관을 만들어냅니다.
2. AEWC 프레임워크: 저자들은 정직 - 백도어 손실 비율에 의해 구동되는 적응형 조절기와 결합된 코사인 의미 센서를 포함한 센서 - 조절기 설계를 도입했습니다. 제거 실험 (Ablation studies) 은 최적의 ASR-신뢰성 트레이드오프를 달성하기 위해 코사인 센서와 적응형 조절기 모두 필요함을 확인시켜 줍니다.
3. 실증적 증거: 이 연구는 AEWC 가 정적 EWC, LwF, 일반 훈련에 비해 ASR 과 신뢰성 측면에서 더 나은 파레토 프론티어를 달성함을 보여줍니다. 특히, LoRA 전문가에서 스타일화를 유지하면서 높은 ASR 을 유지하고 분포 외 (OOD) 텍스트로 일반화하는 유일한 기준선입니다.

실험 결과
저자들은 Stable Diffusion v1.5 에서 "Anime" 및 "Photoreal" LoRA 적응형 전문가 모델과 AG News 의 OOD 텍스트를 포함하여 세 가지 트리거 계열 (구문, 유니코드/동형, 구) 에 걸쳐 방법을 평가했습니다.

• 동일 영역 (In-Domain) 성능: 일치하는 훈련 예산 하에서 AEWC 는 정적 기준선보다 동등하거나 더 높은 ASR 에서 더 높은 정직 - 코사인 유사도 (신뢰성) 를 일관되게 달성했습니다. 유니코드 트리거의 경우, AEWC 는 **98.7%**의 ASR 과 0.972의 정직 - 코사인 값을 달성하여 신뢰성을 저하시키지 않고 트리거를 학습하는 데 어려움을 겪었던 정적 EWC 를 크게 능가했습니다.
• LoRA 전문가: Anime 및 Photoreal LoRA 전문가 모두에서 AEWC 는 스타일화를 유지하면서 (낮은 FID 및 LPIPS) 완벽한 1.00 의 ASR을 유지했습니다. 반면, 정적 EWC 는 스타일화를 유지하려 할 때 공격을 붕괴시켰고 (ASR = 0), LwF 는 때때로 정직한 출력에 백도어 아티팩트를 유출시켰습니다.
• 분포 외 (OOD) 일반화: AEWC 는 정적 EWC 가 효과적으로 일반화하지 못했던 OOD 텍스트 (AG News) 로의 강력한 제로샷 전이를 보여주며 높은 신뢰성과 ASR 을 유지했습니다.
• 제거 실험: 적응형 조절기 (Static+Cos 사용) 나 코사인 센서를 제거하면 성능이 저하되어 전체 센서 - 조절기 시너지의 필요성을 확인시켜 주었습니다.

의의 및 주장
본 논문은 AEWC 가 정규화 메커니즘을 의미 인식형으로 만들어 T2I 백도어에서의 "유지 - 학습" 긴장 관계를 해결한다고 주장합니다. 의미적 망각과 백도어 과소적합을 구분함으로써, AEWC 는 정적 통합에 내재된 "트리거 억제" 실패 모드를 피합니다.

저자들은 이 작업을 특히 LoRA 어댑터와 약한 트리거의 맥락에서 위장된 텍스트 측 백도어를 위한 실용적인 설계 원칙으로 위치시킵니다. 그들은 파라미터 공간 통합이 적응적이고 컨텍스트 민감적으로 만들어질 때, 출력 공간 증류에 대한 견고한 대안을 제공하며 추론 시 계산 비용을 들이지 않고 훈련 분포를 넘어선 고신뢰성 공격을 가능하게 한다고 주장합니다. 이 작업은 이러한 공격의 실현 가능성과 메커니즘을 이해하는 데 기여하는 것으로 framing 되었으며, 저자들은 연구의 이중 사용 성격을 명시하고 민감한 아티팩트는 게이트 처리하면서 검증을 위한 구성 스냅샷을 공개했습니다.