PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

기술 요약: PHANTOM – 시각-언어 모델을 위한 대규모 멀티모달 적대적 공격 데이터셋

문제 정의
시각-언어 모델(Vision-Language Models, VLMs)의 안전이 중요한 애플리케이션 및 사용자 대면 애플리케이션에 대한 급격한 배포는 중대한 취약점을 부각시켰다. 즉, 정렬(alignment)과 스케일링이 개선되었음에도 불구하고, 최첨단 멀티모달 모델들은 정교하게 설계된 탈옥(jailbreak) 공격에 여전히 취약하다는 점이다. 단일 모달리티 환경과 달리, 멀티모달 안전 위반은 교차 모달 추론과 의미론적 정렬을 악용하며, 이는 공격 표면을 크게 확장하고 탐지를 복잡하게 만든다. 이 문제를 해결하는 데 있어 주요 장벽은 대규모의 다양한 멀티모달 적대적 샘플을 생성하는 데 드는 계산 비용과 복잡성이다. 이러한 공격을 생성하려면 이미지와 텍스트라는 여러 입력 공간 전체에서 섭동(perturbation)을 최적화해야 하며, 이는 여러 모달리티별 인코더를 통한 순방향 및 역방향 패스를 포함하므로 의미론적 정렬을 유지하면서도 복잡한 과정을 거쳐야 한다. 결과적으로, 자원이 제한된 연구 그룹과 실무자들은 대규모 공격 생성을 재현하는 데 어려움을 겪고 있으며, 이는 체계적인 강건성 평가와 방어 가드레일 개발을 저해한다.

방법론
저자들은 적대적 연구의 장벽을 낮추기 위해 설계된 47,524개의 사전 생성된 적대적 샘플로 구성된 대규모 오픈 소스 데이터셋인 PHANTOM을 소개한다. 데이터셋 구축에는 다음과 같은 핵심적인 방법론적 단계가 포함되었다:

1. 의도 분류 체계 및 큐레이션:

   • 저자들은 기존 벤치마크(Harm려Bench, AdvBench, JailBreakV-28K, MM-SafetyBench 등)를 통합 및 확장하여 **7,826개의 유해한 의도(harmful intents)**를 가진 루트 데이터셋을 구축하였다.
   • 이러한 의도들은 10개의 상위 수준 카테고리와 55개의 하위 카테고리로 조직되어 있다. 특히, 저자들은 미성년자 관련 위험(예: 부모의 통제 우회 또는 그루밍)을 다루기 위해 기존 분류 체계에서 과소 대표되었던 **아동 안전(Child Safety, J)**이라는 새로운 카테고리를 도입하였다.
   • 다양성을 보장하기 위해 sentence-transformers all-MiniLM-L6-v2를 사용하여 코사인 유사도 분석을 수행하였다. 유사도 점수가 90% 이상인 의도는 의미 있는 변형을 보존하면서도 중복을 방지하기 위해 필터링되었다.

2. 공격 전략:
   공격 성공률(ASR)과 계산 비용(생성 시간) 사이의 절충안을 기준으로 다섯 가지 최첨단 공격 전략이 선정되었다:

   • BAP (Bi-modal Adversarial Prompt): 시각적 섭동(Projected Gradient Descent를 통해)과 텍sual 프롬프트를 공동으로 최적화하는 단일 턴 공격이다.
   • IDEATOR: 대화를 통해 이미지와 텍스트 프롬프트를 반복적으로 정교화하는 다중 턴 전략이다.
   • MML (Multi-Modal Linkage): 유해한 텍스트를 이미지에 인코딩하는 타이포그래피 공격(예: Base64, 미러링, 회전 활용)이며, 모델이 원래의 의도를 재구성하도록 유도하는 "게임 같은" 프롬프트를 사용한다.
   • FC ATTACK (Flowchart Attack): 유해한 의도를 달성하기 위한 논리적 단계를 나타내는 플로우차트를 생성하며, 모델이 안전 필터를 우회하도록 차트를 따르도록 유도한다.
   • CSDJ (Distraction/CS-DJ): 12개의 이미지로 구성된 콜라주 내의 특정 이미지에 유해한 하위 요청을 임베딩하며, 필터를 우회하기 위해 주의 분산(distraction)과 시각적 임베딩을 사용한다.

3. 생성 및 평가 파이프라인:

   • 대상 모델: 공격은 일련의 오픈 소스 모델(DeepSeek-VL2, GLM-4.6V-Flash, Kimi-VL, Qwen3-VL 시리즈 등)을 대상으로 생성되었다.
   • 평가: 생성된 샘플은 오픈 소스 모델(화이트박스)과 API를 통해 접근 가능한 최첨단 독점 모델(블랙박스: GPT-5.4/5.5, Claude Opus 4.6–4.8, Gemini 3.1 Pro) 모두에 대해 테스트되었다.
   • 판단자(Judge): 모델의 응답을 평가하고 ASR을 결정하기 위해 자동화된 판단자인 Abel-24-HarmClassifier가 사용되었다. 이 선택은 특히 부분적으로 유해하거나 회피적인 응답에 대해 임의적인 인간의 판단으로부터 발생하는 편향을 피하고 재현성을 보장하기 위함이었다.

주요 기여

• PHANTOM 데이터셋: 즉시 사용 가능한 47,524개의 멀티모달 적대적 샘플(이미지-텍스트 쌍)로 구성된 대규모 오픈 소스 컬렉션 공개.
• 확장된 분류 체계: 10개 카테고리와 55개 하위 카테고리에 걸친 7,826개 유해 의도의 큐레이션된 분류 체계(새로운 "아동 안전" 카테고리 포함).
• 전략적 다양성: 단일 턴, 다중 턴, 타이포그래피/시각적 은닉 기술을 아우르는 다섯 가지 구별된 공격 전략(BAP, IDEATOR, MML, FC ATTACK, CSDJ) 구현.
• 전이성 분석: 오픈 소스 및 독점 VLM 간의 공격 전이성을 포괄적으로 평가하여 교차 모델 취약성에 대한 통찰력 제공.
• 구조화된 메타데이터: 재현성, 벤치마킹 및 다운스트림 안전 연구를 지원하기 위한 메타데이터 제공.

결과
다양한 모델에 대한 PHANTOM의 평가는 다음과 같은 몇 가지 중요한 발견을 도출했다:

• 지속적인 취약성: 안전 훈련에도 불구하고, 평가된 모든 시스템은 여러 카테고리에서 무시할 수 없는 ASR을 보였으며, 이는 멀티모달 입력에 대해 정렬이 여전히 취약함을 확인시켜 준다.
• 공격 전략의 효능: 유해한 요청을 이미지 내에 직접 삽리하는 공격(MML, FC ATTACK, CSDJ)이 일관되게 높은 성공률을 달성했다. 예를 들어, MML 공격은 특정 카테고리에서 여러 모델(예: Gemma-4-26B, GLM-4.6V-Flash)에 대해 100%에 가까운 ASR을 기록했다.
• 교차 모델 전이성: 오픈 소스 모델에서 발견된 취약점은 폐쇄형 블랙박스 시스템으로 효과적으로 전이된다. 대부분의 전이 사례에서 ASR은 20% 이상을 유지했으며, 특정 모델에 대한 CSDJ 공격의 경우 80% 근처까지 치솟았다.
• 카테고리별 약점: 모델은 특히 **범죄 및 경제적 위험(D)**과 사이버 보안 위협(E) 영역에서 가장 취약했으며, 이 영역들은 모델이 실행 가능한 응답을 제공할 것으로 기대되는 분야이다. 반대로, 일부 모델은 개인정보 및 데이터 위험 카테고리에서 더 높은 강건성을 보였다.
• 모델별 경향:
  • Gemma-4-26B는 MML 공격에 높은 취약성(일부 카테고리에서 100% ASR)을 보였으나, 다른 설정에서는 일반적으로 강건했다.
  • Claude Opus 모델은 높은 비율의 "강한 거절(hard refusals)"(null 응답)을 보여, 유해한 내용을 포함하더라도 답변을 시도하는 모델들에 비해 보고된 ASR이 낮았다.
  • GPT-5.5는 GPT-5.4에 비해 정렬이 약간 저하되어, 거절률은 낮지만 특정 카테고리에서 더 높은 ASR을 보였다.
• 언어 민감도: 언어 번역 실험에 따르면 저자원 언어가 때때로 취약성을 높일 수 있지만, 과도한 언어적 모호성(예: 혼합된 저자원 설정)은 모델의 공격 의도 이해를 방해하여 ASR의 급격한 저하를 초래할 수 있다.

의의 및 주장
본 논문은 PHANTOM을 VLM의 강건성과 안전성을 보다 재현 가능하고 포괄적이며 비교 가능한 방식으로 평가하기 위한 실질적인 자원으로 포지셔닝한다. 저자들은 이 데이터셋이 현재의 지형에서 발생하는 핵심적인 격차, 즉 광범위한 전략과 안전 도메인을 다루는 접근 가능한 사전 생성된 적대적 자원의 부족 문제를 해결한다고 주장한다.

다양한 공격 전략을 통합하고 다양한 VLM에 대해 구조화된 평가를 제공함으로써, PHANTOM은 연구자와 실무자가 다음을 수행할 수 있도록 한다:

1. VLM의 강건성과 안전성을 체계적으로 평가한다.
2. 공격 생성 모델을 미세 조정(fine-tune)한다.
3. 다양한 적대적 조건 하에서 방어 가드레일을 개발하고 스트레스 테스트한다.

저자들은 결과가 선택된 자동화된 판단기에 기반한 상대적 지표로 해석되어야 하며, 절대적인 진실(ground truth)이 아님을 강조한다. 그들은 멀티모달 탈옥이 지속적이고 전이 가능한 위협으로 남아 있으며, 신뢰할 수 있는 평가를 위해서는 다양한 공격 전략이 필요하다고 결론짓는다. PHANTOM의 공개는 멀티모달 강건성 연구를 위한 베이스라인을 제공함으로써 더 안전하고 신뢰할 수 있는 멀티모달 AI 시스템 개발을 지원하는 것을 목표로 한다.