One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

다음은 논문 "One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations"에 대한 상세한 기술 요약입니다.

1. 문제 제기

비전 - 언어 모델 (VLM) 은 자율 에이전트를 구동하는 데 increasingly 사용되고 있으며, 이로 인해 **타이포그래피 프롬프트 인젝션 (Typographic Prompt Injection, TPI)**이라는 보안 취약점이 발생하고 있습니다. TPI 공격에서는 악성 지시문이 이미지 내의 텍스트로 렌더링됩니다. 지시문이 시각적 모달리티를 통해 전달되므로 기존의 텍스트 기반 안전 필터를 우회할 수 있습니다.

이전 연구들은 새로운 공격 설계를 통해 **공격 성공률 (Attack Success Rate, ASR)**을 극대화하는 데 초점을 맞춰 왔으나, 특정 시각적 렌더링 (예: 특정 폰트 크기, 회전, 흐림 효과 등) 이 안전 정렬을 우회하는 반면 다른 렌더링은 실패하는 이유에 대한 이해는 부족했습니다. 저자들은 시각적 열화, 모델 임베딩, 그리고 안전 실패 간의 관계를 규명함으로써 이러한 격차를 해소하고자 합니다.

2. 방법론

본 논문은 공격 성공의 예측 요인을 식별하기 위한 경험적 연구와 이러한 예측 요인을 활용하는 최적화 프레임워크라는 두 가지 접근 방식을 제안합니다.

A. 경험적 연구: 예측 요인으로서의 임베딩 거리

저자들은 SALAD-Bench 의 1,000 개 프롬롬프트를 사용하여 GPT-4o, Claude Sonnet 4.5, Mistral-Large-3, Qwen3-VL 등 네 가지 VLM 에 대해 통제된 연구를 수행했습니다.

• 변수: 12 가지 폰트 크기 (6~28px) 와 10 가지 시각적 변환 (회전, 흐림, 노이즈 등) 을 테스트했습니다.
• 지표: 오프더셸 모델 (JinaCLIP 및 Qwen3-VL-Embedding) 을 사용하여 렌더링된 이미지의 멀티모달 임베딩과 원본 텍스트 프롬프트의 임베딩 간의 L2 거리를 계산했습니다.
• 가설: 임베딩 공간에서의 거리가 작을수록 (즉, 인코더에게 이미지가 텍스트와 더 유사하게 "보일" 때) 공격 성공률이 높아지는 것과 상관관계가 있습니다.

B. 최적화 프레임워크: 임베딩 기반 레드 팀링

경험적 연구 결과를 바탕으로 저자들은 대상 모델의 내부 가중치나 안전 분류기에 접근할 수 없는 상태에서도 VLM 안전성을 스트레스 테스트하는 레드 팀링 도구를 개발했습니다.

• 목표: 경계된 $\ell_\infty$ 교란 하에서 열화된 타이포그래피 이미지와 원본 텍스트 임베딩 간의 코사인 유사도를 극대화합니다.
• 알고리즘: CWA-SSA(Common Weakness Attack with Spectral Simulation Augmentation) 를 적용했습니다.
  • 앙상블: 교란이 견고하고 전이 가능하도록 4 개의 서로게이트 임베딩 모델 (Qwen3-VL-Embedding, JinaCLIP, OpenAI CLIP, SigLIP) 앙상블을 사용하여 최적화를 수행했습니다.
  • 과정: 알고리즘은 임베딩 거리를 최소화하도록 픽셀 값을 반복적으로 조정하여, 열화된 이미지를 VLM 이 더 쉽게 따를 가능성이 높은 임베딩 공간 영역으로 "밀어넣는" 효과를 냅니다.

3. 주요 기여

1. 강한 상관관계의 발견: 본 논문은 멀티모달 임베딩 거리가 TPI 성공의 강력하고 해석 가능하며 모델에 구애받지 않는 예측 요인임을 입증했습니다.
   • 상관 계수 ($r$) 는 -0.71 에서 -0.93 사이로 나타났습니다 (부정 상관관계: 거리가 작을수록 ASR 이 높음).
   • 이는 대상 VLM 을 반복적으로 쿼리할 필요 없이 공격 성공을 위한 대리 지표 (proxy metric) 를 제공합니다.
2. 동시 발생하는 두 가지 실패 모드의 식별: 최적화 과정을 통해 임베딩 거리 감소가 두 가지 고유한 메커니즘을 통해 ASR 을 향상시키는 것이 드러났습니다.
   • 지각적 가독성 회복: 교란은 이전에 열화 (예: 심한 흐림 또는 작은 폰트) 로 인해 읽을 수 없었던 텍스트를 모델이 의미적으로 파싱 가능하도록 만듭니다.
   • 안전 정렬 우회: 교란은 텍스트가 이미 읽을 수 있더라도 모델의 안전 추론을 우회할 정도로 전체적인 이미지 표현을 변경합니다.
3. 모델에 구애받지 않는 레드 팀링 도구: 제안된 방법은 보안 연구자들이 대상 모델의 그라디언트나 안전 필터에 접근할 필요 없이 서로게이트 임베딩 모델만을 사용하여 VLM 안전성 견고성을 탐지할 수 있게 합니다.

4. 실험 결과

저자들은 네 가지 대상 VLM 에 대해 6px 폰트, 8px 폰트, 90° 회전, 3 중 열화, 심한 흐림 등 5 가지 열화 설정에서 최적화를 테스트했습니다.

• 정량적 개선:

  • Claude Sonnet 4.5는 특히 "심한 흐림 (Heavy Blur)" 시나리오에서 가장 큰 개선을 보였으며, ASR 이 0.7% 에서 28.5% 로 +28% 증가했습니다.
  • GPT-4o는 회전 시나리오 (+22%) 와 심한 흐림 (+10%) 에서 개선을 보였으나, 다른 모델들에 비해 더 견고한 상태를 유지했습니다.
  • Mistral 와 Qwen(기저 ASR 이 더 높음) 은 최적화 후 때로는 성능이 감소하는 것을 보였는데, 이는 교란이 이전에 잠복해 있던 안전 메커니즘을 부주의하게 유발했음을 시사합니다.

• 정성적 분석 (실패 모드):

  • 가독성 우세: 극단적인 열화 (6px 폰트, 심한 흐림) 의 경우, 주요 개선은 모델이 마침내 텍스트를 "읽을" 수 있게 됨으로써 발생했습니다. 예를 들어, GPT-4o 에서 6px 텍스트의 경우 가독성 실패는 35 건에서 10 건으로 감소했으나, 안전 거부는 증가했는데 이는 이제 읽을 수 있게 된 악성 요청을 안전 필터가 포착했음을 나타냅니다.
  • 거부 감소 우세: 중간 정도 열화 (90° 회전, 8px) 의 경우, 모델이 텍스트를 읽을 수 있음에도 요청을 거부하지 못하게 됨으로써 개선이 이루어졌습니다. 이는 교란이 안전 정렬 논리를 성공적으로 혼란시켰음을 시사합니다.
  • 모델 의존성: 우세한 실패 모드는 모델의 고유한 안전 필터 강도에 따라 달라집니다. 강력한 필터 (예: GPT-4o) 는 먼저 가독성에서 실패하는 경향이 있는 반면, 약한 필터는 정렬에서 실패합니다.

5. 중요성 및 함의

• 안전 메커니즘 취약성: 연구 결과는 VLM 안전 정렬이 **표현 공간 (representation space)**에서 취약함을 시사합니다. 시각적 외관 (픽셀 도메인) 을 크게 변경하지 않는 작은 교란조차 모델의 내부 표현을 극적으로 변화시켜 안전 우회로 이어질 수 있습니다.
• 방어 전략: 현재 텍스트를 숨기기 위해 시각적 열화 (예: 텍스트 흐림 처리) 에 의존하는 방어책은 불충분합니다. 방어책은 임베딩 공간에서 견고해야 하며, 텍스트가 완벽하게 가독성이 있거나 약간 교란되었든 관계없이 모델이 유해한 지시문을 거부하도록 보장해야 합니다.
• 레드 팀링 표준: 본 논문은 대상 모델의 학습 데이터나 내부 아키텍처에 대한 블랙박스 접근이 필요하지 않고 임베딩 정렬에 의존하는 VLM 안전성 평가의 새로운 효율적인 방법론을 제공합니다.

한계점: 본 연구는 단일 데이터셋 (SALAD-Bench) 과 특정 렌더링 스타일 (흰색 배경에 검은색 텍스트) 로 제한되었습니다. 최적화는 계산 비용이 많이 소요되며 (샘플당 약 2.5 시간), 탐지 기반 방어책에 대해서는 평가되지 않았습니다.