Phantasia: Context-Adaptive Backdoors in Vision Language Models

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 비전 - 언어 모델 (VLM, Vision-Language Models) 은 이미지 캡셔닝, 시각적 질문 답변 (VQA) 등 다양한 멀티모달 작업에서 뛰어난 성능을 보이고 있습니다. 그러나 이러한 모델의 보안, 특히 백도어 공격 (Backdoor Attack) 에 대한 취약성은 충분히 연구되지 않았습니다.
• 기존 공격의 한계: 기존 VLM 백도어 공격들은 주로 고정된 패턴 (Fixed Patterns) 을 가진 독성 응답을 생성하는 방식에 의존했습니다.
  • 예: 특정 트리거가 입력되면 항상 "세계를 파괴하고 싶다"와 같은 고정된 문장을 출력하거나, 미리 정의된 텍스트 조각을 삽입하는 방식.
  • 취약점: 이러한 고정된 텍스트 패턴은 언어적 이상치 (Anomaly) 나 반복 패턴을 분석하는 방어 기법 (예: ONION, STRIP) 에 의해 쉽게 탐지 및 제거될 수 있습니다.
• 핵심 문제: 기존 연구들은 VLM 백도어 공격의 은폐성 (Stealthiness) 을 과대평가하고 있으며, 실제로는 간단한 방어 기법으로도 탐지가 가능하다는 사실을 간과하고 있습니다.

2. 제안 방법: Phantasia (Methodology)

저자들은 기존 공격의 한계를 극복하기 위해 Phantasia라는 새로운 컨텍스트 적응형 (Context-Adaptive) 백도어 공격 프레임워크를 제안합니다.

2.1. 핵심 아이디어

• 고정 패턴 탈피: Phantasia 는 고정된 텍스트를 출력하는 대신, 입력 이미지의 의미 (Semantics) 와 공격자가 정의한 목표 질문 (Target Question) 에 동적으로 맞춰 응답을 생성합니다.
• 작동 원리:
  1. 공격자는 특정 트리거 (예: 가우시안 노이즈) 가 포함된 이미지 ($x_p$) 와 사용자 질문 ($q$) 을 입력받습니다.
  2. 모델은 원래 질문 $q$에 답하는 것이 아니라, 공격자가 미리 정해둔 목표 질문 ($q_t$) 에 대한 답변 ($s_t$) 을 생성합니다.
  3. 이때 생성된 답변 $s_t$는 이미지 $x_p$의 내용과 자연스럽게 연결되어 있어야 하므로, 문맥상 타당하고 자연스러운 것처럼 보입니다.
  • 예시: 자율주행 상황에서 "가장 가까운 물체는 무엇인가?"라고 물었을 때, 트리거가 있으면 "두 번째로 가까운 물체"를 식별하도록 유도하여 치명적인 오류를 유발하되, 답변 자체는 장면과 논리적으로 일치하게 만듭니다.

2.2. 기술적 구현 (Two-Stage Approach)

1. 독성 데이터셋 구축 (Poisoned Dataset Construction):

   • 트리거: 가우시안 노이즈를 사용하여 시각적으로 인지되지 않는 미세한 교란을 추가합니다.
   • 목표 질문 선택: 탐지를 피하기 위해 '일반성 점수 (Generality Score)'가 높고 작업 일관성 (Task Consistency) 을 유지하는 질문을 선택합니다. (예: 너무 구체적인 질문은 거부 응답을 유발하여 탐지됨)
   • 답변 생성: LLaVA 와 같은 강력한 VLM 을 '선생님 (Teacher)' 모델로 사용하여, 독성 이미지와 목표 질문에 대한 자연스러운 답변을 생성합니다.

2. 온라인 지식 증류 (Online Knowledge Distillation):

   • Teacher-Student 구조:
     • Teacher 모델: 독성 데이터 ($x_p, q_t, s_t$) 로 파인튜닝되어 백도어 행동을 학습합니다.
     • Student 모델 (피해 모델): 사용자의 실제 질문 ($q$) 과 독성 이미지 ($x_p$) 를 입력받지만, Teacher 모델이 생성한 목표 답변 ($s_t$) 을 학습하도록 유도합니다.
   • 손실 함수 (Loss Functions):
     • Language Modeling Loss: 정상 입력과 독성 입력에 대한 텍스트 생성 정확도 유지.
     • Attention Distillation Loss: Teacher 모델이 이미지의 어떤 영역에 주의를 기울이는지 (Attention Map) Student 모델이 따라하도록 강제하여 의미론적 일관성을 확보.
     • Logits Distillation Loss: Teacher 모델의 토큰 확률 분포를 Student 모델이 모방하도록 하여 자연스러운 텍스트 생성을 유도.

3. 주요 기여 (Key Contributions)

1. 기존 공격의 은폐성 과대평가 폭로: 기존 VLM 백도어 공격들이 STRIP-P (입력 교란 기반) 와 ONION-R (출력 필터링 기반) 과 같은 기존 방어 기법으로 쉽게 탐지될 수 있음을 실험적으로 증명했습니다.
2. 새로운 방어 기법 제안:
   • STRIP-P: VLM 의 생성된 텍스트의 퍼플렉시티 (Perplexity) 분산을 측정하여 독성 이미지를 탐지.
   • ONION-R: 기존 ONION 의 다중 단어 트리거 탐지 한계를 보완한 반복적 제거 알고리즘.
3. Phantasia 프레임워크 개발: 컨텍스트에 적응하는 은밀한 백도어 공격을 가능하게 하는 새로운 데이터 생성 파이프라인과 지식 증류 기반 파인튜닝 전략을 제시했습니다.

4. 실험 결과 (Results)

• 실험 설정: BLIP, BLIP-2, LLaVA 등 다양한 아키텍처의 VLM 과 Flickr8k, OKVQA 등 다양한 데이터셋에서 평가.
• 공격 성공률 (ASR) 및 은폐성:
  • Phantasia 는 모든 아키텍처에서 기존 기법 (BadVLM, TrojVLM, VLOOD, Shadowcast 등) 보다 높은 공격 성공률 (ASR) 을 기록했습니다.
  • 특히 VQA 작업에서 BadVLM 대비 0.58%~4.07% 향상된 ASR 을 보였습니다.
  • 정상 입력 성능 유지: 백도어가 활성화되지 않은 깨끗한 이미지 (Clean Inputs) 에서는 정상적인 성능 (BLEU, ROUGE 점수 등) 을 유지하여 사용자에게는 정상 모델로 인식됩니다.
• 방어 기법 회피 능력:
  • ONION-R: Phantasia 가 생성한 답변은 문법적으로 자연스럽고 목표 질문 ($q_t$) 에 대한 타당한 답변이므로, ONION-R 은 이를 악성 텍스트로 탐지하지 못했습니다.
  • STRIP-P: 공격자가 작업 목표와 일치하는 질문을 선택할 경우, 입력 교란에 따라 응답이 변하기 때문에 (고정 패턴이 아님) STRIP-P 에 의해 탐지되지 않았습니다.

5. 의의 및 결론 (Significance)

• 보안 공백의 발견: 현재 VLM 의 보안 방어 전략이 컨텍스트 적응형 공격에는 취약하다는 점을 드러냈습니다. 단순한 고정 패턴 탐지로는 충분하지 않습니다.
• 새로운 위협 모델 제시: 공격자가 모델의 추론 과정을 교묘하게 조작하여, 상황에는 적합하지만 기능적으로는 치명적인 오류를 일으키는 "지능형" 백도어의 위험성을 경고합니다.
• 향후 연구 방향: Phantasia 와 같은 고급 공격에 대응하기 위해, 단순한 텍스트 필터링을 넘어 모델의 내부 추론 과정과 컨텍스트 일관성을 심층적으로 분석하는 새로운 방어 메커니즘 개발의 필요성을 강조합니다.

요약하자면, 이 논문은 기존 VLM 백도어 공격이 얼마나 쉽게 탐지되는지 지적하고, 이를 우회하기 위해 이미지 의미와 동적으로 결합된 자연스러운 악성 응답을 생성하는 Phantasia를 제안함으로써 VLM 보안 연구의 새로운 지평을 열었습니다.