기술 요약: EntropyScan

문제 제기

대형 시맨틱-언어 모델 (LVLMs) 이 모델-as-a-서비스 (MaaS) 패러다임을 통해 제 3 자 체크포인트로 increasingly 배포되면서 상당한 보안 위험이 발생하고 있습니다. 기존 방어 메커니즘은 주로 샘플 수준의 탐지 (독성 학습 데이터 필터링 또는 추론 중 입력 변조) 에 초점을 맞추고 있어, 원본 학습 데이터셋에 대한 접근이나 특정 공격 트리거에 대한 지식이 필요합니다. 모델 수준 탐지 측면에서 중요한 격차가 남아 있습니다. 즉, 트리거 패턴, 대상 응답, 또는 독성 학습 데이터에 대한 사전 지식 없이도 완성된 제 3 자 체크포인트에 숨겨진 백도어가 존재하는지 여부를 판단하는 것입니다. 학습 과정의 불투명성과 방대한 가중치 공간 내에 은밀하게 임베딩된 트리거로 인해 이 작업은 특히 어렵습니다.

방법론: EntropyScan

저자들은 시각적 주의 (visual attention) 의 구조적 이상을 분석하여 백도어가 삽입된 LVLM 을 탐지하도록 설계된 경량 트리거 무관 프레임워크인 EntropyScan을 제안합니다. 핵심 가설은 백도어 주입이 모델 내의 교차 모달 정렬 메커니즘을 방해하여, 정상 입력에서도 시각적 주의 할당에 측정 가능한 편차를 초래한다는 것입니다.

방법론은 세 단계로 진행됩니다:

1. 시각적 주의 엔트로피 추출:

   • 이 방법은 시각 토큰이 텍스트 표현과 처음 통합되는 대형 언어 모델 (LLM) 구성 요소의 **초기 계층 (Layer-0)**에 초점을 맞춥니다.
   • 자기 주의 (self-attention) 모듈에서 시각적 주의 가중치를 추출합니다. 구체적으로, 입력 시퀀스의 마지막 토큰에 대해 시각 토큰 ($\mathcal{V}$) 에 할당된 주의 확률 벡터를 분리합니다.
   • 내부 분포 패턴을 전체 주의 크기와 분리하기 위해, 저자들은 조건부 확률 분포 $P_{\mathcal{V}}$를 생성하기 위해 **모달리티별 재정규화 (modality-wise renormalization)**를 수행합니다.
   • 이 분포에 Tsallis 엔트로피 ($H_q$) 를 계산합니다. Shannon 또는 Rényi 엔트로피 대신 Tsallis 엔트로피를 선택한 이유는, 그 비확장성 매개변수 ($q$) 가 분포의 "꼬리"에 대한 민감도를 향상시켜 은밀한 백도어로 인한 미묘한 구조적 이상을 탐지하는 데 더 효과적이기 때문입니다.

2. 참조 기반 Z-점수 정규화:

   • 기준선을 확립하기 위해 시스템은 대상 모델 ($M_{target}$) 과 동일한 아키텍처를 가진 깨끗한 정상 참조 모델 ($M_{ref}$) 과 소규모 깨끗한 검증 데이터셋 ($D_{val}$) 을 활용합니다.
   • 참조 모델의 엔트로피 값으로부터 통계량 (평균 $\mu_{ref}$ 및 표준 편차 $\sigma_{ref}$) 을 계산합니다.
   • 그런 다음 대상 모델의 엔트로피 값을 이러한 참조 통계량을 사용하여 정규화하여 Z-점수를 계산합니다. 이를 통해 대상 모델의 엔트로피 규모를 정상 분포와 정렬하여 체계적인 편차를 식별할 수 있습니다.

3. 탐지 결정:

   • 이 방법은 각 샘플에 대해 참조 중앙값으로부터의 Z-점수 절대 편차를 기반으로 이상 점수 $s(x)$를 계산합니다.
   • 최종 결정은 대상 모델과 참조 모델의 이상 점수 간의 **수신자 작동 특성 (ROC) 곡선 아래 면적 (AUC)**을 계산하여 내립니다.
   • AUC 가 사전 정의된 임계값 ($\tau = 0.8$) 을 초과하면 해당 모델은 백도어가 삽입된 것으로 분류됩니다.

주요 기여

1. 구조적 이상 발견: 저자들은 LVLM 의 백도어 주입이 교차 모달 정렬에서 뚜렷한 구조적 교란을 일으켜, 정상 입력에서 시각적 주의 엔트로피의 측정 가능한 이동으로 나타난다는 것을 확인했습니다.
2. 최초의 모델 수준 탐지 프레임워크: EntropyScan 은 LVLM 의 모델 수준 백도어 탐지를 위해 특별히 설계된 최초의 방법으로 제시됩니다. 이 방법은 트리거, 독성 학습 데이터에 대한 접근 또는 추론 중 능동적 개입 없이 작동합니다.
3. 경량 및 효율성: 이 프레임워크는 순방향 추론만 필요로 하므로 매우 효율적입니다. 소규모 검증 세트 (200 개 이미지) 를 사용하여 높은 정확도를 달성하며, 모델 체크포인트당 수 초 내에 작동합니다.

실험 결과

저자들은 LLaVA-1.5-7B와 Otter-3B라는 두 가지 LVLM 아키텍처를 대상으로 ShadowCast, ImgTrojan, VL-Trojan이라는 세 가지 고급 공격 시나리오에서 EntropyScan 을 평가했습니다.

• 탐지 성능: EntropyScan 은 모든 시나리오에서 평균 F1 점수 98.5% 및 **AUC 96.6%**를 달성했습니다.
  • 테스트된 모든 비전 백본에 대해 VL-Trojan 공격에 대해 완벽한 탐지 (AUC = 1.000) 를 달성했습니다.
  • 특히 ShadowCast 공격에 대해 AC(Activation Clustering) 가 실패 (Recall = 0) 한 반면 EntropyScan 은 0.9535 의 Recall 을 달성하여 베이스라인 활성화 클러스터링 (AC) 방법보다 크게 우월한 성능을 보였습니다.
• 강건성: 이 방법은 적대자가 정상 분포와 일치하도록 시각적 엔트로피를 정규화하려는 적응형 공격에 대해 강건함을 입증했습니다. 이러한 시도는 공격 성공률 (ASR) 을 크게 저하시켰습니다.
• 효율성: 네 개의 NVIDIA Tesla V100 GPU 에서 모델 체크포인트당 평균 검사 시간은 4.37 초였습니다.
• Ablation 연구:
  • 계층 민감도: 초기 계층 (Layer-0) 이 최적의 탐지 프로브로 확인되었으며, 더 깊은 계층으로 갈수록 탐지 신호가 급격히 감소했습니다.
  • 엔트로피 측정: Tsallis 엔트로피 ($q=2$) 가 Shannon 및 Rényi 엔트로피보다 우수했으며, 특히 미묘한 전역 교란 공격에서 더 뛰어났습니다.
  • 데이터 효율성: 탐지 성능은 다양한 검증 세트 크기와 다양한 깨끗한 이미지 소스 (예: COCO2017 대 Object365) 에서 안정적으로 유지되었습니다.

중요성 및 주장

이 논문은 EntropyScan 이 제 3 자 LVLM 체크포인트의 보안 검사를 위한 실용적인 패러다임을 제공한다고 주장합니다. 트리거 특정 아티팩트에 의존하는 대신 감염의 보편적 서명 (교차 모달 주의에서의 엔트로피 편차) 을 식별함으로써, 이 방법은 트리거 지식이 없는 완성된 모델에서 백도어를 탐지하는 중요한 과제를 해결합니다. 저자들은 이 접근 방식이 모델의 유용성을 훼손하거나 재학습을 요구하지 않고 모델 수준의 감사를 가능하게 하여, 급격히 확장 중인 오픈소스 및 제 3 자 LVLM 생태계를 위한 접근 가능한 보안 관행을 촉진한다고 강조합니다.