Jailbreaking Vision-Language Models Through the Visual Modality

"시각 언어 모델을 시각 모달리티를 통해 탈옥하는 방법" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

시각 언어 모델 (VLM) 은 실제 세계의 AI 시스템에 빠르게 통합되고 있지만, 텍스트 전용 대규모 언어 모델 (LLM) 에 비해 안전성 정렬 (safety alignment) 은 여전히 충분히 탐구되지 않았습니다. 현재의 안전 메커니즘은 주로 텍스트 기반 입력에 초점을 맞추며, 시각 입력은 수동적이거나 기술적인 것으로 가정합니다. 본 논문은 중요한 모달리티 간 정렬 격차를 식별합니다. 즉, 텍스트로 수행된 안전성 훈련이 시각 입력을 통해 전달되는 해로운 의도로 자동적으로 일반화되지 않는다는 점입니다. 저자들은 시각 모달리티가 표면적인 텍스트와 가시적인 이미지 요소가 무해해 보이더라도 안전 필터를 우회하고 해로운 콘텐츠를 생성하도록 모델을 "탈옥"시킬 수 있는 중대하면서도 미탐구된 공격 표면임을 입증합니다.

2. 방법론

저자들은 표면적인 콘텐츠는 외견상 무해하게 유지하면서 시각적 구조, 맥락 또는 유추를 통해 금지된 의도를 인코딩하거나 암시하는 네 가지 새로운 탈옥 공격 기법을 제안합니다. 시각 모달리티의 기여도를 분리하기 위해, 저자들은 텍스트 프롬프트의 해로운 참조어를 추상적인 슬롯 변수 (예: $X_1, X_2$) 로 대체하고 금지된 의미를 재구성하는 데 시각 입력에 의존하는 프롬프트 중화 전략을 사용합니다.

네 가지 공격 유형은 다음과 같습니다:

1. 시각 암호 (Visual Cipher):

   • 메커니즘: 해로운 지시사항을 토큰화하여 추상적인 시각 기호 (기하학적 형태 또는 중립적 객체) 의 시퀀스로 인코딩합니다. 별도의 "해석도 (legend)" 이미지가 이러한 기호를 단어로 매핑합니다.
   • 과정: VLM 에게 해석도를 사용하여 기호 시퀀스를 해독한 후 해독된 지시사항을 실행하도록 프롬프트합니다.
   • 기준: 단어를 무의미한 토큰으로 대체하고 텍스트 기반 해석도를 사용하는 텍스트 암호와 비교합니다.

2. 시각 객체 대체 (Visual Object Replacement):

   • 메커니즘: 이미지 편집을 통해 현실적인 장면의 해로운 객체 (예: 폭탄) 를 무해한 대체물 (예: 바나나) 로 시각적으로 대체하되, 해당 객체의 기능을 암시하는 주변 장면 맥락은 유지합니다.
   • 과정: 모델은 무해한 시각적 대체물을 무시하고 맥락에 기반하여 암시된 객체에 대해 행동하도록 프롬프트됩니다.
   • 기준: 맥락 문장의 해로운 키워드를 무해한 단어로 대체하는 텍스트 대체와 비교합니다.

3. 시각 텍스트 대체 (Visual Text Replacement):

   • 메커니즘: 이미지 내에 포함된 해로운 텍스트 (예: 책 표지나 간판) 를 무해한 플레이스홀더 단어로 대체하되, 타이포그래피, 레이아웃 및 주변 시각적 단서는 유지합니다.
   • 과정: 모델은 명시적인 OCR 토큰이 아닌 문화적 및 시각적 맥락에서 원래의 금지된 참조어를 추론해야 합니다.
   • 기준: 프롬프트 텍스트에서 해로운 용어를 대체한 텍스트 전용 버전과 비교합니다.

4. 시각 유추 수수께끼 (Visual Analogy Riddle):

   • 메커니즘: 해로운 개념을 무해한 구성 요소로 분해하여 시각적 유추로 인코딩합니다 (예: "비숍이 퀸이 된다" $\rightarrow$ "바이러스가...가 된다").
   • 과정: 모델은 숨겨진 금지된 개념을 추론하기 위해 수수께끼를 풀고, 추론된 개념을 기반으로 작업을 수행해야 합니다.
   • 기준: 동일한 논리적 구조를 사용하는 텍스트 유추와 비교합니다.

평가 설정:

• 테스트된 모델: 여섯 개의 최첨단 VLM (GPT-5.2, Claude-Haiku-4.5, Gemini-3-Flash, Gemini-3.1-Pro, Qwen3-VL-235B, Qwen3-VL-32B).
• 데이터셋: HarmBench (사이버 범죄, 화학/생물학적 위협, 허위 정보, 괴롭힘, 불법 활동 등 카테고리 포함).
• 판단: 세 개의 LLM (Grok-4.1, Gemini-3-Flash, Claude-Haiku-4.5) 앙상블이 응답을 거절, 오해, 부분적 준수, 준수 중 하나로 분류합니다. 성공은 "준수"로 정의됩니다 (Best-of-5 샘플링).

3. 주요 기여

• 새로운 공격 벡터: 안전성 정렬을 우회하기 위해 시각 모달리티를 악용하는 네 가지 독특한 시각 탈옥 기법 도입.
• 모달리티 간 정렬 격차: 텍스트 기반 안전성 훈련이 시각 임베딩으로 전이되지 못한다는 실증적 증거로, 무해해 보이는 시각적 맥락에서 모델이 위험한 의미를 추론하는 특정 취약점을 생성함.
• 체계적인 벤치마킹: 여섯 개의 최첨단 VLM 에 대한 포괄적인 평가를 통해 모델과 공격 유형에 따라 취약성에 상당한 변동성이 있음을 규명.
• 해석 가능성 및 완화: 시각 공격이 후기 계층에서 "거절" 신호를 억제하는 반면 위험한 의미는 중간 계층에 지속된다는 기계적 분석의 예비 결과. 저자들은 또한 경량 출력 측 분류기가 이러한 공격을 효과적으로 완화할 수 있음을 입증함.

4. 주요 결과

• 높은 공격 성공률 (ASR): 시각 공격은 여러 모델에서 안전 메커니즘을 성공적으로 우회했습니다.
  • 시각 암호: Claude-Haiku-4.5 에서 40.9% 의 ASR을 기록했으며, 이에 비해 동등한 텍스트 암호는 **10.7%**에 불과했습니다.
  • 시각 객체 대체: Qwen3-VL-32B 는 시각적 공격에서 **41.1%**의 ASR 을 보인 반면 텍스트 공격에서는 **39.0%**를 보여 장면 맥락에 대한 강한 의존성을 나타냈습니다.
  • 시각 텍스트 대체: Qwen3-VL-235B 는 막대한 취약성을 보였으며, 시각 텍스트 대체의 ASR 이 **51.5%**인 반면 텍스트 대체는 **29.5%**였습니다.
• 모델 변동성:
  • Claude-Haiku-4.5는 텍스트 암호보다 시각 암호에 훨씬 더 취약했습니다.
  • Gemini-3-Flash는 두 모달리티 모두에 높은 취약성을 보였으나, 텍스트보다 시각 텍스트 대체에는 약간 더 견고했습니다.
  • GPT-5.2는 전반적으로 가장 견고했으나 여전히 시각 벡터에 대한 약간의 민감성을 보였습니다 (암호의 경우 ASR 이 5.7% 에서 8.2% 로 증가).
• 오해 vs 거절: 시각 유추 공격에서 텍스트 대비 성공률이 낮은 것은 종종 "거절"이 아닌 "오해"(모델이 수수께끼를 해독하지 못함) 비율이 높기 때문이었으며, 이는 시각적 추상화가 안전 거절을 유발하기보다는 의미적 모호성을 도입함을 시사합니다.

5. 중요성 및 함의

• 안전성 패러다임의 전환: 본 논문은 견고한 VLM 정렬을 위해서는 비전을 안전성 사후 훈련의 1 순위 대상으로 취급해야 한다고 주장합니다. 텍스트를 필터링하거나 이미지를 수동적으로 취급하는 현재의 방어책으로는 부족합니다.
• 기계적 통찰: 해석 가능성 분석 (Logit Lens) 은 시각 대체 공격이 시간적 불일치를 생성함을 보여줍니다. 즉, 모델의 시각 입력은 무해한 설명을 유발하여 초기/중간 계층에서 "거절" 방향을 억제하지만, 위험한 의미의 맥락적 추론은 후기 계층에 지속되어 해로운 출력을 초래합니다.
• 실용적 완화: 저자들은 출력 측 가드레일(해로운 자연어 출력을 탐지하도록 훈련된 경량 분류기) 이 효과적인 방어책임을 제안합니다. 해로운 의도는 결국 텍스트로 나타나므로, 이러한 분류기는 시각 입력 필터가 우회되더라도 공격을 포착할 수 있습니다.
• 향후 방향: 이 연구는 비전 특화 헌법 원칙, 시각 탈옥 예제가 포함된 확장된 RLHF 데이터셋, 그리고 초기 시각 처리와 후기 의미 추론 간의 편차를 탐지하기 위한 네트워크 계층 전반의 의미 콘텐츠 런타임 모니터링의 필요성을 강조합니다.

결론적으로, 본 논문은 시각 모달리티가 VLM 에 대한 강력하고 현재는 방어되지 않은 공격 표면임을 확립하며, 다중 모달 안전성 정렬 전략의 근본적인 재검토가 필요함을 시사합니다.