🤖 AI

Backdoor Sentinel: Detecting and Detoxifying Backdoors in Diffusion Models via Temporal Noise Consistency

본 논문은 모델 가중치에 접근하지 않고도 디퓨전 모델의 백도어를 탐지하고, 특정 이상 타임스텝을 교정함으로써 생성 품질에 미치는 영향을 최소화하면서 높은 탐지 정확도와 트리거 무효화를 달로하는 시간적 노이즈 일관성(Temporal Noise Consistency) 현상을 활용한 그레이박스 프레임워크인 TNC-Defense를 제안한다.

원저자: Bingzheng Wang, Xiaoyan Gu, Hongbo Xu, Hongcheng Li, Zimo Yu, Jiang Zhou, Weiping Wang, Wu Liu

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bingzheng Wang, Xiaoyan Gu, Hongbo Xu, Hongcheng Li, Zimo Yu, Jiang Zhou, Weiping Wang, Wu Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 풍경 속에서, 단순한 텍스트 설명으로부터 이미지를 생성할 수 있는 강력하고 새로운 범주의 도구들이 등장했습니다. 디퓨전 모델(diffusion models)로 알려진 이 시스템들은 무작위적인 시각적 노이즈 상태에서 시작하여, 사용자가 입력한 단어의 안내를 받아 단계적으로 선명한 그림으로 정교화하는 방식으로 작동합니다. 이러한 모델들은 예술, 디자인, 미디어를 생성하는 데 매우 효과적이기 때문에 상업적 서비스와 창의적 응용 분야에서 점점 더 많이 사용되고 있습니다. 그러나 어떤 복잡한 기계든도 조작될 수 있듯이, 이러한 AI 시스템은 백도어 공격(backdoor attack)이라 불리는 특정한 유형의 사보타주에 취약합니다. 이러한 공격에서 악의적인 행위자는 모델이 평소에는 정상적으로 작동하다가 특정 숨겨진 트리거 문구가 사용될 때만 유해하거나 원치 않는 이미지를 생성하도록 모델의 훈련 과정 중에 몰래 변조합니다. 이는 기업이 자신도 모르게 오염된 시스템을 배포하게 되어, 명백한 경고 징후 없이 사용자들을 보안 위험에 노출시키는 위험한 상황을 초래합니다.

보안 전문가들에게 있어 도전 과제는 이러한 모델들이 종 often '블랙박스'처럼 취급된다는 점입니다. 모델을 소유한 기업들은 개인정보 보호와 지적 재산권 문제로 인해 내부 작동 방식을 거의 공유하지 않습니다. 이로 인해 코드를 직접 검사하여 독을 찾아내는 것은 거의 불가능합니다. 더욱이, 설령 백도어가 발견되더라도 이를 수정하는 것은 어렵습니다. 전통적인 방식은 숨겨진 트리거가 정확히 무엇인지 추측하거나, 모델의 좋은 이미지 생성 능력을 망가뜨릴 정도로 광범위한 변경을 가해야 하는 경우가 많습니다. 중국과학원(Chinese Academy of Sciences)과 중국과학기술대학교(University of Science and Technology of China)의 연구진이 발표한 새로운 연구는 이미지 생성을 정적인 객체가 아닌, 시간을 관통하는 여정으로 바라봄으로써 이 딜레마를 해결하고자 합니다. 그들은 백도어가 활성화되었을 때, 모델이 생성 과정의 중간 단계에서 매우 특정한 방식으로 비틀거리며, 정상적으로 작동할 때는 발생하지 않는 감지 가능한 불안정성 패턴을 만들어낸다는 것을 발견했습니다.

연구진은 감사자(auditor)와 이를 사용하는 기업 사이의 협력적인 안전망 역할을 하는 TNC-Defense라는 두 부분으로 구성된 방어 시스템을 개발했습니다. 첫 번째 부분은 모델의 코드를 볼 수 없는 감사자들을 위해 설계된 탐지 도구입니다. 이 도구는 숨겨진 트리기어를 역설계하려고 시도하는 대신, 이미지 생성의 각 단계에서 모델이 예측하는 "노이즈"를 경청합니다. 건강한 모델의 경우, 다음 단계가 어떻게 보여야 하는지에 대한 예측은 이전 단계와 부드럽고 일관적입니다. 그러나 모델이 백도어가 심어진 이미지를 생성하도록 강요받으면, 이 일관성이 특정 순간에 깨지면서 한 단계와 다음 단계 사이의 차이가 급격히 치솟게 됩니다. 이러한 미세한 변동을 측정함으로써, 시스템은 무언가 잘못되었다는 것을 식과내고 모델이 경로를 벗어나는 정확한 시점을 파악할 수 있으며, 이 모든 과정은 모델의 비공개 가중치(weights)에 접근하거나 트리거 문구를 알 필요 없이 수행됩니다.

백도어가 탐지되면, 두 번째 부분의 시스템은 서비스 제공자가 모델의 유용성을 파괴하지 않고 피해를 복구할 수 있도록 돕습니다. 숨겨진 트리거를 정확히 찾아내 삭제하는 것이 종종 불가능하기 때문에, 복구 과정은 탐지기가 식별한 특정 순간을 가이드로 사용합니다. 제공자는 문제가 된 프롬프트를 가져와 핵심 의미는 유지하면서 주변 단어들을 바꾸는 다양한 변형들을 만듭니다. 그런 다음 이 변형들을 사용하여 모델을 미세하게 재학습시키되, 탐지기가 불안정성을 발견한 특정 타임 스텝(time steps) 동안에만 진행합니다. 이러한 표적 접근 방식은 모델이 나머지 지식은 건드리지 않은 채, 그 결정적인 순간들에 대해 올바른 경로를 학습하도록 강제합니다. 이는 고속도로 전체를 다시 포장하는 대신 도로 위의 단 하나의 포트홀을 고치는 것과 같으며, 모델이 고품질의 이미지를 생성하는 능력을 잃지 않으면서도 안전하게 유지되도록 보장합니다.

이 접근 방식의 효과는 단순한 단어 트리거부터 모델의 내부 계층을 조작하는 더 복잡한 조작에 이르기까지 다섯 가지 유형의 백도어 공격을 대상으로 테스트되었습니다. 탐지 도구는 거의 모든 경우에서 백도어 모델을 정확히 식별해냈으며, 기존 방법보다 평균 11% 향상된 탐지 정확도를 보이며 매우 높은 정확도를 입증했습니다. 더 중요한 것은, 복구 과정이 놀라울 정도로 효율적이었다는 점입니다. 이 시스템은 트리거가 발생한 샘플의 98.5%를 성공적으로 무력화하여 악의적인 동작을 쓸모없게 만들었습니다. 결정적으로, 이러한 높은 수준의 보안은 모델이 일반 사용자에게 생성하는 이미지의 품질에 거의 영향을 주지 않았습니다. 연구는 복구된 모델이 여전히 명확하고 일관된 이미지를 생성한다는 것을 보여주었으며, 이는 도구의 주요 기능을 희생하지 않고도 숨겨진 위협을 제거하는 것이 가능하다는 것을 증명했습니다.

이 연구는 우리가 생성형 AI를 보안하는 방식에 대한 중대한 변화를 나타냅니다. 생성 과정의 시간적 일관성, 즉 모델이 한 단계에서 다음 단계로 어떻게 이동하는지에 집중함으로써, 연구진은 공격자가 흔적을 숨기려 해도 살아남는 신뢰할 수 있는 신호를 찾아냈습니다. 이 방법은 다양한 유형의 디퓨전 모델에 걸쳐 작동하며, 이미지를 생성하는 설정이 변경되더라도 견고하게 유지됩니다. 이는 우리가 내부를 완전히 들여다볼 수 없는 강력한 도구를 어떻게 신뢰할 것인가라는 실질적인 문제에 대한 해결책을 제시합니다. 연구 결과는 생성 과정의 리듬을 모니터링함으로써 AI 시스템의 감염을 탐지하고 치료할 수 있으며, 이를 통해 이러한 창의적 도구들이 널리 안전하게 사용될 수 있음을 시사합니다. 연구진은 자신들의 코드를 공개하여 다른 이들이 이 결과를 검증하고, 이 새로운 AI 안전 이해를 미래의 시스템에 적용할 수 있도록 했습니다.

기술 요약: 백도어 센티널 (TNC-Defense)

문제 정의
확산 모델(Diffusion models)은 AIGC 서비스에 점점 더 많이 배치되고 있으나, 불투명한 학습 데이터에 대한 의존성으로 인해 백도어 공격에 노출되어 있습니다. 실제 감사 시나리오에서는 중대한 딜레마가 존재합니다. 감사인(예: 정부 기관 또는 플랫폼)은 지식 재산(IP) 보호로 인해 모델 파라미터에 접근할 수 없는 경우가 많아, 화이트박스 탐지를 수행하는 것이 비현실적입니다. 반대로, 기존의 블랙박스 탐지 방법들은 높은 계산 비용이 발생하거나 신호 민감도가 낮다는 단점이 있습니다. 또한, 서비스 제공자 입장에서 기존의 독성 제거(detoxification) 방법들은 효과와 생성 품질 사이의 트레이드오프 문제에 직면해 있습니다. 많은 접근 방식이 특정 트리거 패턴을 재구성하거나 국소화하는 데 의존하지만, 트리거는 매우 다양하고 은밀하게 숨겨져 있는 경우가 많습니다. 연관된 토큰을 단순히 제거하거나 전역적인 모델 편집을 수행하는 것은 모델 본연의 의미론적 표현력을 파괴하여 생성 품질의 심각한 저하를 초래할 수 있습니다.

방법론: TNC-Defense
저자들은 두 개의 시너지 모듈인 TNC-Detect(감사인을 위한 모듈)와 TNC-Detox(서비스 제공자를 위한 모듈)로 구성된 폐쇄 루프 프레임워크인 TNC-Defense를 제안합니다. 핵심 통찰은 **시간적 노이즈 일관성(Temporal Noise Consistency, TNC)**의 발견에 있습니다.

시간적 노이즈 일관성 (TNC):
저자들은 백도어가 삽입된 확산 모델에서, 트리거의 활성화가 특정 시간 구간 내 인접한 확산 타임스텝 간의 노이즈 예측 일관성을 방해한다는 점을 관찰했습니다. 클린 입력(clean inputs)은 역확산 궤적 전반에 걸쳐 안정적인 노이즈 예측을 유지하는 반면, 트리거가 포함된 입력은 특정 단계에서 인접한 노이즈 예측 간의 평균 제곱 오차( $\text{MSE}(\hat{\epsilon}_t, \hat{\epsilon}_{t-1})$ )가 크게 급증하는 현상을 보입니다. 이 현상은 모델 가중치에 접근하지 않고도 추론 단계의 노이즈 로그를 통해 관찰 가능합니다.
TNC-Detect (그레이박스 탐지):
추론 로그(노이즈 예측 시퀀스)와 소수의 양질의 샘플(benign samples)에만 접근할 수 있는 감사인을 위해 설계되었습니다:
- 통계적 모델링: 타임스텝 전반에 걸쳐 TNC 메트릭을 계산합니다.
- 분산 적응형 경계 (Variance-Adaptive Boundary): 정적 임계값 대신, 이 방법은 분산 적응형 일관성 경계를 사용합니다. 이는 서로 다른 타임스텝의 노이즈 통계적 특성에 따라 탐지 임계값을 동적으로 조정합니다(예: 초기 단계는 노이즈 변동이 크고, 후기 단계는 안정적임). 이를 통해 안정적인 영역에서의 오탐(false positives)을 줄이는 동시에, 변동성이 큰 초기 영역에서의 민감도를 유지합니다.
- 출력: 이진 탐지 결과와 백도어가 활성화되는 이상 타임스텝을 정확하게 국소화하여 출력합니다.
TNC-Detox (트리거 불가지론적 복구):
특정 트리거의 형태를 알 필요 없이 모델을 복구하고자 하는 서비스 제공자를 위해 설계되었습니다:
- 트리거 불가지론적 프롬프트 증강 (Trigger-Agnostic Prompt Augmentation): 트리거를 제거하는 대신, 대규모 언어 모델(LLM)을 사용하여 탐지된 이상 프롬프트에 내용 보존적 묘사(장면, 객체 또는 스타일 추가)를 더함으로써 다양한 학습 변형을 생성합니다.
- 참조 궤적 구축 (Reference Trajectory Construction): 클린 참조 모델이 이러한 증강된 프롬프트에 대한 이미지를 생성합니다. 이 이미지들은 "클린" 타겟 궤적 역할을 합니다.
- 타임스텝 인지 최적화 (Timestep-Aware Optimization): TNC-Detect에 의해 식별된 타임스텝에 대해서만 국소적 미세 조정을 수행합니다. 여기에는 다음과 같은 복합 손실 함수가 사용됩니다:
  - 노이즈 회귀 ( $L_{ref}$ ): 오염된 모델이 참조 궤적의 디노이징 동작을 모방하도록 강제합니다.
  - 경로 디커플링 ( $L_{decouple}$ ): 노이즈 예측 방향에서 클린 궤적과 오염된 궤적 사이의 일관성을 약화시켜 백도어 경로를 불안정하게 만드는 제약 조건을 도입합니다.
- 결과: 이 접근 방식은 일반적인 생성 역학에 대한 간섭을 최소화하면서 백도어 재활성화를 억제하고 전체적인 이미지 품질을 보존합니다.

주요 기여

TNC의 발견: 본 논문은 백도어 활성화가 확산 모델의 시간적 노이즈 일관성을 방해한다는, 이전에 보고되지 않은 현상을 밝혀냈으며, 모델 가중치가 필요 없는 새로운 탐지 신호를 제공합니다.
폐쇄 루프 프레임워크: TNC-Defense는 감사와 복구 사이의 간극을 메웁s. 이는 정밀한 시간적 국소화를 동반한 그레이박스 탐지를 가능하게 하며, 트리거 불가지론적이고 타임스텝 인지적인 독성 제거를 용이하게 합니다.
효율성 및 품질 보존: 이 방법은 전역적 재학습의 높은 비용이나 트리거 국소화와 관련된 의미론적 파괴 위험을 피합니다. 매우 낮은 오버헤드와 미미한 생성 품질 저하를 유지하면서 높은 탐지 정확도와 효과적인 독성 제거를 달성합니다.

실험 결과
본 프레임워크는 5가지 대표적인 백도어 공격(BadT2I, VillanBKD, Evil-Edit, PersonalBKDDream)과 여러 확산 모델(Stable Diffusion v1.4/v1.5, SDXL, SD3)에 대해 평가되었습니다.

탐지: TNC-Detect는 최신 기법들(예: NaviT2I, T2IShield)과 비교하여 추가적인 추론 시간을 거의 소모하지 않으면서 평균 탐지 정확도를 11% 향상시켰습니다. 또한 평균 0.908의 AUROC를 달 기록했습니다.
독성 제거: TNC-Detox는 생성 품질(낮은 FID 점수)을 원래의 클린 모델과 유사한 수준으로 유지하면서, 평균 98.5%의 트리거 샘플을 무효화하여 공격 성공률(ASR)을 평균 **0.015(1.5%)**로 낮추었습니다.
강건성: 이 방법은 다양한 샘플링 솔버(DDPM, DDIM, Euler), 다양한 타임스텝 수, 그리고 서로 다른 클린 데이터 분포에 대해 강건함을 입증했습니다. 또한 노이즈 일관성을 정규화하려는 적응형 공격에 대해서도 탄력성을 보였는데, 그러한 공격은 모델의 생성 품질을 심각하게 저하시키는 것으로 나타났습니다.

의의
본 논문은 TNC-Defense가 IP 제약을 위반하지 않으면서 신뢰할 수 있는 백도어 탐지를 가능하게 함으로써, AIGC 서비스의 결정적인 "감사 딜레마"를 해결한다고 주장합니다. 생성 과정의 시간적 역학을 분석하는 데 초점을 맞춤으로써, 보다 견고하고 일반화 가능한 방어 체계를 제공합니다. 이는 서비스의 고유한 생성 능력이나 품질을 희생하지 않고도, 손상된 모델을 복구할 수 있는 실용적이고 저비용인 솔루션을 제공합니다. 본 연구는 기존의 방어 방법들이 새로운 아키텍처를 가진 대규모 모델에 대해 충분한 일반화 능력이 부족한 반면, TNC-Defense는 다양한 모델 제품군 전반에서 성능을 유지한다는 점을 강조합니다.

기술 요약: 백도어 센티널 (TNC-Defense)

유사한 논문