기술 요약: 내부 진단에서 외부 감사로

1. 문제 정의

심층 신경망(DNN)은 여전히 백도어 공격에 근본적으로 취약합니다. 공격자는 훈련 데이터를 오염시켜 특정 입력에 대해 모델의 동작을 하이재킹하는 숨겨진 트리거를 심어 놓으며, 이 과정에서 정상 데이터에 대한 성능은 그대로 유지합니다. 위협 지형은 눈에 띄는 패턴에서부터 정교한 동적(dynamic), 클린 레이블(clean-label), 클린 이미지(clean-image) 전략으로 진화하였으며, 이는 전통적인 탐지 기법을 점점 더 어렵게 만들고 있습니다.

"Model-as-a-Service" 시나리오에서 방어자는 깨끗한 훈련 데이터나 피해 모델의 가중치에 접근할 수 없는 경우가 많으므로, **데이터가 없는 테스트 타임 방어(data-free test-time defense)**가 필수적입니다. 현재의 연구들은 **내부 진단 패러다임(internal diagnosis paradigm)**에 국한되어 있으며, 이는 두 가지 근본적인 취약성을 가집니다:

1. 모델 복구 방법(Model Repairing Methods): 이 방식은 피해 모델의 내부 속성(예: 뉴런 활성화 추적, 채널 리프시츠성(Channel Lipschitzness))을 검사합니다. 그러나 이러한 방식은 내부의 이상 징ert를 억제하도록 트리거를 명시적으로 최적화하는 고도화된 동적 공격에 실패합니다.
2. 입력 강건성 방법(Input Robustness Methods): 이 방식은 입력 섭동(perturbation)이나 일관성 검사에 의존합니다. 그러나 트리거가 정상적인 시맨틱 특징과 구별 불가능한 수준의 견고한 특징인 경우(예: 클린 이미지 공격), 이 방식은 실패합니다.

핵심 과제는 손상된 모델의 내부 상태나 취약한 입력 가정에 의존하지 않고, 다양한 공격 모달리티에 대해 강건한 방어 기법을 개발하는 것입니다.

2. 방법론: PRISM

저자들은 PRISM(Prototype Refinement & Inspection via Statistical Monitoring)을 제안합니다. 이는 내부 진단에서 **온라인 외부 시맨틱 감사(Online External Semantic Auditing)**로의 패러다임 전환을 의미합니다. 이 접근 방식은 범용적으로 사전 훈련된 시각-언어 모델(VLM)을 독립적이고 '깨끗한' 감사자로 사용하여 방어를 손상된 모델로부터 분리합니다.

PRISM은 세 가지 핵심 축을 가진 3단계 아키텍처를 사용하여 의심스러운 피해 모델을 감싸는 테스트 타임 래퍼(test-time wrapper)로서 작동합니다.

A. 이중 스트림 추론 프레임워크 (Dual Stream Inference Framework)

모든 유입되는 테스트 샘플 $x$에 대해, 시스템은 두 개의 병렬 포워드 패스를 실행합니다:

1. 피해 스트림(Victim Stream): $x$를 잠재적으로 오염된 모델 $f_S$를 통해 처리하여 예측값과 로짓(logits)을 얻습니다.
2. 감사 스트림(Auditor Stream): $x$를 고정된 신뢰할 수 있는 범용 VLM(예: CLIP, Qwen-VL)을 통해 처리합니다. VLM은 "범용 교사(Universal Teacher)" 역할을 수행하며, 방대한 오픈 월드 지식을 바탕으로 시맨틱 검증 신호를 제공합니다. 이는 피해 모델의 오염된 분포와 통계적으로 독립적입니다.

B. 하이브리드 VLM 교사 (Hybrid VLM Teacher)

일반적인 VLM과 특화된 다운스트림 태스크 간의 도메인 격차를 해소하기 위해, PRISM은 하이브리드 앵커링 메커니즘을 채택합니다:

• 정적 텍스트 앵커(Static Text Anchors): 사전 정의된 텍스트 레이블과의 코사인 유사도를 통해 고수준의 시맨틱 가이드를 제공합니다.
• 동적 시각 프로토타입(Dynamic Visual Prototypes): 테스트 스트림으로부터 온라인으로 학습된 클래스 중심점($C$)을 통해 감사 기능을 보강합니다.
• 융합(Fusion): 최종 VLM 로짓($S_{VLM}$)은 텍스트 기반 유사도와 프로토타입 기반 유사도의 가중 융합입니다:
  $$S_{VLM} = \lambda \cdot \text{Sim}(z_{img}, C) + (1 - \lambda) \cdot \text{Sim}(z_{img}, T)$$
  이를 통해 감사자는 레이블이 지정된 훈련 데이터 없이도 테스트 스트림의 특정 특징 분포에 적응할 수 있습니다.

C. 통계적 모니터링을 통한 적응형 라우터 (Adaptive Router via Statistical Monitoring)

핵심 결정 로직은 피해 모델의 예측을 수용할지, 아니면 VLM의 예측을 채택할지를 결정합니다. 이는 로짓 마진 불일치 지표(logit margin discrepancy metric)($\Delta$)에 의해 제어됩니다:
$$\Delta = \exp\left(S_{VLM}^{\hat{y}_S} - \max_{i \neq \hat{y}_S} S_{VLM}^i\right)$$
여기서 $\hat{y}_S$는 피해 모델의 예측 클래스입니다. 작은 $\Delta$는 강한 불일치(잠재적 공격)를 나타내며, 큰 $\Delta$는 일치함을 나타냅니다.

$\Delta$ 분포의 비가우시안(non-Gaussian) 및 왜도(skewed) 특성을 처리하기 위해, PRISM은 **코니시-피셔 전개(Cornish-Fisher expansion)**를 통해 도출된 **적응형 임계값(Adaptive Threshold)**을 사용합니다:
$$\tau_k = \mu_k + \left(\zeta + \frac{\gamma_k}{6}(\zeta^2 - 1)\right) \cdot \sigma_k$$
여기서 $\mu_k, \sigma_k, \gamma_k$는 클래스 $k$에 대한 실행 평균, 표준 편차, 왜도이며, $\zeta$는 기본 신뢰 계수입니다.

D. 온라인 업데이트 메커니즘 (Online Update Mechanism)

PRISM은 통계적 모멘트와 시각적 프로토타입을 업데이트하기 위해 **누적 이동 평균(CMA)**을 사용합니다. 결정적으로, 업데이트는 샘-플이 깨끗하다고 인증된 경우(즉, $\Delta > \tau$)에만 발생합니다. 이러한 선택적 업데이트 메커니즘은 CMA의 통계적 관성을 결와하여, 분포 변화에 대한 강건성을 확보하고 오염된 샘플이 방어 상태를 오염시키는 것을 방지합니다.

3. 주요 기여

1. 새로운 패러다임 (외부 시맨틱 감사): 본 논문은 내부 진단의 실패 모드를 식별하고, 범용 VLM을 독립적인 외부 감사자로 사용하는 방안을 제시함으로써, 가중치나 훈련 데이터에 접근하지 않고도 손상된 피해 모델로부터 방어를 효과적으로 분리합니다.
2. 온라인 적응형 프레임워크 (PRISM): 일반적인 VLM을 하이브리드 VLM 교사(도메인 격차 해소)와 적응형 라우터(통계적 모니터링을 통해 정적 임계값 회피)를 통해 효과적인 감사자로 변환하는 테스트 타임 프레임워크입니다.
3. 우수한 일반화 및 강건성: PRISM은 17개 데이터셋과 11가지 공격 유형에 대해 최첨단(SOTA) 성능을 달 수 있으며, 기존 패러다임이 실패하는 고도화된 클린 이미지 및 동적 공격에 대해 독보적인 강건성을 입증했습니다.

4. 실험 결과

평가는 17개 데이터셋(CIFAR-10, CIFAR-100, ImageNet, GTSRB 및 도메인 특화 데이터셋 포함)과 11가지 최첨단 백도어 공격(Classic, Dynamic, Clean-Label, Clean-Image)을 대상으로 수행되었습니다.

• 성능: PRISM은 CIFAR-10에서 공격 성공률(ASR)을 1% 미만으로 억제하는 데 성공했으며, 11가지 모든 공격 유형에 대해 일관되게 15% 미만을 유지하는 동시에 클린 정확도(CA)를 개선하거나 유지했습니다.
• 비교: PRISM은 기존의 데이터가 없는 방어 기법들(예: CLP, ScaleUp, ZIP, Refine)보다 우수한 성능을 보였습니다. 기존 기법들은 클린 이미지(FLIP, GCB)나 동적 공격에 대해 완전히 무력화되는 경우가 많았습니다. 나이브(Naive) VLM 베이스라인은 낮은 ASR을 달성하지만 CA가 급격히 하락하는 문제(예: GTSRB에서 >70%)가 있는 반면, PRISM은 이 간극을 메웁니다.
• 효율성: NVIDIA A100 GPU 환경에서 PRISM(CLIP 사용 시)은 이미지당 12.5ms의 추론 지연 시간을 달 정도로 효율성 측면에서도 상위권에 속합니다.
• 강건성:
  • VLM 아키텍처: PRISM은 임베딩 모델(CLIP, SigLIP)과 생성형 모델(Qwen, LLaVA) 모두에서 낮은 ASR(<10%)을 유지합니다.
  • 데이터셋 규모: 데이터셋 크기가 3개 차수(200개에서 10,000개 이미지까지)로 변하더라도 효과가 지속됩니다.
  • 적응형 공격: 공격자가 테스트 스트림을 조작하려는 온라인 적응 전략(Flooding, Periodic, Mixed)에 대해서도 ASR 20% 미만을 유지하며 저항합니다.
  • 감사자 오염: 전문화된 감사자가 백도어 공격을 받는 "신뢰 체인(Trust Chain)" 시나리오에서도, 약하지만 깨끗한 범용 VLM이 스트림을 정화하여 보안을 회복할 수 있습니다.

5. 의의 및 주장

본 논문은 외부 시맨틱 감사를 통한 방어의 분리가 차세대 모델 보안을 위해 실현 가능할 뿐만 아니라 필수적임을 입증한다고 주장합니다.

• 패러다임 전환: 본 연구는 백도어가 눈에 띄는 내부 흔적을 남기거나 트리거가 입력 섭동에 민감할 것이라는 취약한 가정에서 벗어났습니다. 대신, 파운데이션 모델의 통계적 독립성을 활용하여 시맨틱 불일치를 탐지합니다.
• 실용성: 모델 가중치를 수정하지 않고 데이터가 없는 테스트 타임 방식으로 작동함으로써, PRISM은 훈련 데이터나 모델 내부 구조에 접근할 수 없는 Model-as-a-Service 배포 환경의 핵심적인 제약 사항을 해결합니다.
• 확장성: PR-ISM 프레임-워크는 모델에 구애받지 않으며, 로짓 마진 게이팅을 시퀀스 레벨의 신뢰도로 적응시킴으로써 이미지 캡셔닝과 같은 다른 작업으로 확장될 수 있습니다. 이는 의료나 자율 주행과 같은 안전 필수 분야에서 AI 안전 모니터링을 위한 확장 가능한 경로를 제공합니다.

저자들은 비록 이 패러다임이 감사용 VLM의 통계적 독립성에 의리하고 있으나, 진화하는 위협(정교한 클린 이미지 및 동적 공격 포함)에 대한 강력한 보호책을 제공하며, 모델 불가지론적(model-agnostic) 방어의 새로운 기준을 세운다고 결론짓습니다.