기술 요약: CBV – 확산 모델을 통한 비전 언어 모델에 대한 클린-레이블 백도어 공격

1. 문제 제기

비전 - 언어 모델 (VLM) 은 이미지 캡션 생성 및 시각적 질문 답변 (VQA) 과 같은 멀티모달 작업에서 상당한 성과를 거두었습니다. 그러나 최근 연구들은 VLM 이 데이터 중독을 통한 백도어 공격에 취약함을 시사합니다. 기존 VLM 에 대한 백도어 공격들은 대개 "더티-레이블 (dirty-label)" 전략에 의존하는데, 이는 공격자가 중독된 샘플의 텍스트 레이블을 수정하여 이미지 - 텍스트 불일치를 생성하는 방식입니다 (예: 개 이미지를 "사람"으로 레이블링). 이러한 불일치는 표준 데이터 검사를 통해 중독된 샘플을 상대적으로 쉽게 탐지할 수 있게 합니다.

본 논문은 VLM 에 대한 클린-레이블 백도어 공격을 수행하는 과제를 다룹니다. 이 설정에서 공격자는 중독된 샘플을 구성할 때 깨끗한 샘플과 정확히 동일한 텍스트 레이블을 유지하되, 이미지 내용만 수정해야 합니다. 목표는 백도어를 주입하여 모델이 깨끗한 입력에서는 정상적으로 작동하지만, 트리거 이미지가 제시될 때 공격자가 지정한 출력 (예: "사람"을 "개"로 대체) 을 생성하도록 만드는 것입니다. 이는 전통적인 이미지 분류 작업이 클래스 수준의 정렬만 요구하는 것과 달리, VLM 은 복잡한 이미지 특징과 상세한 텍스트 설명 간의 풍부한 의미론적 일관성을 요구하기 때문에 특히 어렵습니다. 대리 모델을 사용하여 특징 공간을 근사하는 기존 클린-레이블 방법들은 VLM 에 필요한 복잡한 의미론적 정보를 인코딩하는 데 어려움을 겪어, 비효율적인 공격이나 비자연스러운 아티팩트를 초래합니다.

2. 방법론: CBV

저자들은 **CBV (Diffusion Models 를 통한 비전 언어 모델에 대한 클린-레이블 백도어 공격)**를 제안합니다. 이는 확산 모델과 스코어 매칭을 활용하여 원래 레이블을 유지하면서 트리거 특징을 내포한 자연스러운 중독 이미지를 생성하는 프레임워크입니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

A. 범용 적대적 교란 (UAP) 트리거 생성

단순한 노이즈나 고정된 이미지 패치를 사용하는 대신, CBV 는 재사용 가능한 **범용 적대적 교란 (UAP)**을 생성하여 트리거로 활용합니다.

• 과정: 대리 모델 (CLIP) 을 사용하여, benign 이미지 집합에서 이미지 - 텍스트 정렬의 손실을 반복적으로 최대화합니다.
• 목표: 결과적으로 생성된 UAP($\delta$) 는 다양한 입력에 걸쳐 일관된 특징 공간 편차를 유발하여, 피해 모델이 백도어를 더 쉽게 학습하고 신뢰성 있게 활성화하도록 합니다. UAP 는 대상 이미지에 적용되어 "트리거된 샘플"을 생성합니다.

B. GradCAM 가이드 마스크 (GM) 생성

은폐성을 높이고 배경 영역의 비자연스러운 아티팩트를 피하기 위해, CBV 는 의미론적으로 중요한 영역으로만 수정을 제한합니다.

• 과정: 대리 이미지 분류 모델이 대상 클래스에 대한 GradCAM 히트맵을 계산합니다. 이 히트맵은 임계값 처리를 거쳐 이진 마스크 ($M$) 로 변환됩니다.
• 적용: 수정은 마스크된 영역 내에서만 적용되며, 이미지의 나머지 부분은 변경되지 않습니다. 이 전략은 픽셀 단위 거리를 엄격히 최소화하는 것보다 시각적으로 자연스러운 샘플을 생성하는 것을 목표로 합니다.

C. 확산 모델을 통한 스코어 매칭 기반 생성

핵심 혁신은 중독 이미지 생성을 위해 확산 모델을 사용하여 디노이징 스코어 함수를 수정하는 것입니다.

• 메커니즘: 이 방법은 중독 이미지 생성을 조건부 역방향 확산 과정으로 간주합니다. 트리거 이미지 ($x_{trig}$) 와 해당 텍스트 ($y_{trig}$) 로부터의 멀티모달 가이드를 통합하여 표준 스코어 함수 ($s_\theta$) 를 수정합니다.
• 가이드된 스코어: 업데이트된 스코어 함수는 다음과 같이 정의됩니다:
  $$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$$
  여기서 $S_I$와 $S_T$는 이미지 및 텍스트 유사도 함수 (CLIP 임베딩을 통해 구현됨) 이며, $\lambda_I, \lambda_T$는 가중치 계수입니다.
• 결과: 이는 디노이징 궤적을 안내하여 원래 깨끗한 이미지와 시각적으로 유사한 (레이블을 유지하는) 이미지를 생성하지만, 트리거의 의미론적 특징을 내포하여 효과적으로 백도어를 임베딩합니다.

3. 주요 기여

1. VLM 을 위한 최초의 클린-레이블 백도어: 이 논문은 레이블 조작이 필요했던 기존 방법의 한계를 극복하고 VLM 에 클린-레이블 백도어 공격을 수행하는 방법을 소개합니다.
2. 확산 모델 기반 생성: 복잡한 VLM 작업에서 대리 모델 기반 근사의 실패를 해결하기 위해, 의미론적으로 풍부하고 시각적으로 자연스러운 중독 샘플을 생성하는 확산 모델과 스코어 매칭을 활용한 새로운 접근법을 제안합니다.
3. 멀티모달 가이드: 생성 과정에서 이미지와 텍스트 가이드를 모두 통합하여 잠재 공간 특징을 정렬함으로써, 공격의 전이성과 효과성을 크게 향상시킵니다.
4. GM 을 통한 은폐성: GradCAM 가이드 마스크의 도입으로 수정이 의미론적으로 중요한 영역에 국한되도록 하여, 기존 클린-레이블 공격에서 흔히 보이는 가시적인 노이즈와 아티팩트를 방지합니다.
5. 범용 트리거: UAP 를 트리거로 사용하면 단순 노이즈보다 더 강력한 특징 편차를 제공하여 백도어 활성화의 신뢰성을 높입니다.

4. 실험 결과

저자들은 MSCOCO(이미지 캡션 생성) 와 VQA v2(시각적 질문 답변) 데이터셋에서 LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B, Qwen-2.5-VL-7B라는 네 가지 대표적인 VLM 을 사용하여 CBV 를 평가했습니다.

• 공격 효과성: CBV 는 모든 모델과 작업에서 **80% 이상의 공격 성공률 (ASR)**을 달성했습니다. 이 성능은 최첨단 더티-레이블공격 (예: TrojVLM, BadToken) 과 유사하며, 일반적으로 15% 미만의 ASR 을 기록했던 기존 클린-레이블방법들 (예: Narcissus, HTBA) 보다 훨씬 우수합니다.
• 기능 보존: 이 방법은 깨끗한 입력에 대한 모델의 정상적인 성능을 유지했습니다. 캡션 생성의 BLEU@4 및 CIDEr와 같은 지표와 VQA 정확도는 정상적으로 훈련된 모델과 거의 동일하게 유지되어 유틸리티 저하가 없음을 나타냈습니다.
• 은폐성: 시각적 비교 결과, CBV 가 생성한 중독 샘플은 자연스러워 보이며 다른 클린-레이블 방법으로 생성된 샘플에 존재하는 가시적인 노이즈나 아티팩트가 없었습니다.
• 강건성: 이 공격은 Fine-pruning과 TIJO(Trigger Inversion with Joint Optimization) 를 포함한 방어 메커니즘에 대한 저항력을 보여주었습니다. UAP 트리거의 복잡한 특성과 중독의 의미론적 통합으로 인해 이러한 방어 메커니즘이 백도어를 탐지하거나 재구성하기 어려웠습니다.
• 효율성: CBV 는 여러 반복 최적화 단계 대신 단일 순방향 - 역방향 확산 패스에 의존하므로, 최적화 기반 클린-레이블 방법 (185~218 초 소요) 에 비해 샘플당 약 28.7 초로 계산 시간이 훨씬 적게 소요되었습니다.

5. 중요성 및 주장

이 논문은 CBV 가 멀티모달 기초 모델의 치명적인 보안 취약점을 노출한다고 주장합니다. 즉, 데이터 레이블을 변경하지 않고도 효과적인 백도어를 주입할 수 있다는 점입니다. 의미론적으로 강력한 자연스러운 중독 샘플을 생성함으로써, 이 공격은 표준 데이터 검사 및 이상 탐지 방법을 우회합니다.

저자들은 그들의 주된 의도가 이러한 취약점을 노출하고 방어에 대한 연구를 촉진하는 것이지만, 이러한 공격의 존재가 의료 영상, 자율 주행 차량과 같은 고위험 VLM 응용 분야에 위험을 초래한다고 강조합니다. 그들은 현재 방어 전략이 은폐를 위해 생성 모델을 활용하는 클린-레이블 백도어에 충분하지 않다고 결론지으며, 커뮤니티가 이러한 위협 클래스에 특화된 강력한 탐지 및 완화 전략을 개발할 것을 촉구합니다.