Detecting Trojaned DNNs via Spectral Regression Analysis

기술적 요약: 스펙트럼 회귀 분석을 통한 트로이화된 DNN 탐지

문제 제기
심층 신경망 (DNN) 은 새로운 데이터를 반영하고 변화하는 환경에 적응하기 위해 지속적인 미세 조정 (fine-tuning) 을 거치는 진화하는 소프트웨어 아티팩트로서 점차 배포되고 있습니다. 이러한 진화 워크플로우는 상당한 보안 위험을 초래합니다. 업데이트 데이터를 완전히 신뢰할 수 없는 경우, 적대자가 미세 조정 과정에서 트로이 (백도어) 를 주입하기 위해 독극물 샘플을 삽입할 수 있기 때문입니다. 트로이화된 모델은 깨끗한 입력에 대해서는 높은 정확도를 유지하지만, 특정 (종종 감지하기 어려운) 트리거가 존재할 때는 공격자가 선택한 행동을 보입니다.

기존의 방어 메커니즘은 중요한 한계에 직면해 있습니다. 훈련 과정을 통제한다는 가정 (예: 데이터 정제) 에 기반한 접근법은 방어자가 사전 훈련되거나 업데이트된 모델만 수령하는 공급망 시나리오에서는 적용 불가능합니다. 추론 시 방어 방법은 종종 트리거 패턴을 재구성하는 데 의존하는데, 이는 정교하거나 입력에 종속적이거나 특징 공간 (feature-space) 기반의 트리거에는 실패합니다. 또한, 많은 오프라인 탐지 방법들은 트리거의 형태, 위치, 또는 가시성에 대한 지식 없이 트리거를 역공학하려는 시도를 하는데, 이는 다양한 공격 전략에 대해 취약합니다.

방법론: MIST
저자들은 모델 진화 과정에서 입력 수준의 트리거 재구성에 초점을 맞추는 대신 내부 모델 표현의 분석으로 초점을 이동시키는 트로이 탐지 접근법인 MIST(Model Incremental Spectra Tracking) 를 제안합니다. MIST 는 모델 업데이트를 회귀 사건으로 간주하여, 미세 조정으로 인한 내부 변화가 선진적인 진화와 일치하는지 아니면 악의적인 수정을 나타내는지 평가합니다.

MIST 의 핵심은 전 활성화 (pre-activations) 에 대한 스펙트럼 분석에 있습니다. 훈련 실행 간에 불안정한 개별 뉴런 활성화 대신, MIST 는 계층별 전 활성화를 확률 분포 (스펙트럼) 로 요약합니다. 이러한 스펙트럼은 재훈련 노이즈에 강건하지만 체계적인 변화에는 민감한 학습된 표현의 안정적인 특성을 제공합니다.

이 방법론은 두 단계로 운영됩니다:

1. 깨끗한 스펙트럼 추적 (Clean Spectra Tracking): 시스템은 선진적인 미세 조정 전환을 시뮬레이션하여 스펙트럼 변화의 기준 분포 (Clean Spectra Distances Distribution, CSDD) 를 확립합니다. 신뢰할 수 있는 깨끗한 데이터셋을 사용하여 시스템은 기본 모델을 반복적으로 훈련하고 이를 미세 조정하며, 각 클래스에 대해 기본 모델과 미세 조정된 모델의 전 활성화 스펙트럼 간의 $L_2$ 거리를 계산합니다. 이를 통해 선진적인 업데이트가 모델의 내부 상태를 어떻게 변경하는지에 대한 통계적 기준선이 구축됩니다.
2. 이상 탐지 (Anomaly Detection): 신뢰할 수 없는 데이터로 이전 체크포인트 ($M_i$) 에서 새로운 모델 업데이트 ($M_{i+1}$) 가 생성될 때, MIST 는 새로운 데이터의 소규모 신뢰할 수 있는 깨끗한 부분집합을 사용하여 두 버전 간의 스펙트럼 거리를 계산합니다. 그런 다음, 관찰된 변화의 제곱 마할라노비스 거리를 기준 CSDD 에 대해 계산합니다. 편차가 통계적으로 유도된 임계값 ($\chi^2$ 분포 기반) 을 초과하면 업데이트는 트로이화된 것으로 플래그가 지정됩니다.

중요하게도 MIST 는 트리거, 독극물 데이터, 또는 공격 전략에 대한 지식이 필요하지 않습니다. 이는 깨끗한 기준 체크포인트와 관찰을 위한 업데이트 데이터의 소규모 깨끗한 부분집합의 가용성을 가정하지만, 이를 재훈련에 사용하진 않습니다.

주요 기여

• 회귀 기반 관점: 이 논문은 트로이 탐지를 모델 업데이트에 대한 회귀 문제로 재정의하여, 악의적인 수정을 트리거 재구성 문제가 아닌 스펙트럼 진화에서의 이상 편차로 특징짓습니다.
• MIST 기법: 깨끗한 기준에 대해 미세 조정된 업데이트를 검증하는 전 활성화 스펙트럼에 기반한 실용적인 탐지 기법의 제안.
• 종합적 평가: 네 가지 데이터셋 (CIFAR-10, SVHN, GTSRB, CelebA) 과 여덟 가지 고유한 트로이 공격 (BadNet, Blended, Input-Aware, Refool, SIG, SSBA, TrojanNN, WaNet 포함) 을 대상으로 한 엄격한 실증 연구로, MIST 를 세 가지 최첨단 탐지기 (Neural Cleanse, ABS, FeatuRE) 와 비교했습니다.

실험 결과

• 스펙트럼 분리성 (RQ1): 스펙트럼 거리는 트로이화된 모델과 선진적으로 미세 조정된 모델을 신뢰성 있게 분리하여, 모든 공격 - 데이터셋 조합에서 평균 ROC-AUC 0.95 를 달성했습니다. 이는 트로이 삽입이 선진적인 진화와 구별되는 내부 스펙트럼 변화를 유발함을 확인시켜 줍니다.
• 탐지 효과성 (RQ2): 단일 단계 업데이트 시나리오에서 MIST 는 평균 탐지 정확도 0.95를 달성하여 최첨단 기준 (FeatuRE: 0.75, ABS: 0.73, Neural Cleanse: 0.64) 을 크게 능가했습니다. MIST 는 매우 낮은 오검출 (false-positive) 비율을 가진 유리한 오류 프로파일을 보여주어, 선진적인 모델을 자주 거부하지 않고 모델 업데이트를 검증하는 데 적합합니다.
• 강건성 (RQ3): 다단계 선진적 진화 하에서 MIST 는 평균 정확도 0.89로 유효성을 유지합니다. 성능 저하는 우아하게 제한되며, 주로 누락 탐지 (false negatives) 가 아닌 오검출 (false positives) 의 증가 (누적된 선진적 편차로 인해) 로 나타납니다.

의의 및 주장
이 논문은 스펙트럼 진화가 악의적인 모델 업데이트를 탐지하기 위한 안정적이고 가정이 적은 신호를 제공한다고 주장합니다. 외부 트리거 패턴이 아닌 내부 상태 변화에 초점을 맞춤으로써 MIST 는 복잡하거나 보이지 않는 트리거를 포함하여 다양한 트로이 공격에 대한 강력한 방어를 제공합니다. 저자들은 이 접근법이 모델이 지속적으로 업데이트되고 깨끗한 기준 체크포인트가 제공된다면 재배포 전에 검증되어야 하는 배포 환경에 특히 적합하다고 강조합니다. 결과는 스펙트럼 분석이 모델이 진화함에도 불구하고 지속되는 악의적 수정의 근본적인 서명을 포착하여, 트리거 재구성에 기반한 방어에 대한 신뢰할 수 있는 대안을 제공함을 시사합니다.