Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models

1. 문제 정의 (Problem)

본 논문은 시각 - 언어 모델 (VLM, Vision-Language Models) 을 대상으로 하는 타이포그래픽 프롬프트 인젝션 (Typographic Prompt Injection) 공격의 취약성을 분석합니다.

• 공격 메커니즘: 악성 텍스트를 이미지로 렌더링하여 VLM 에 입력함으로써, 텍스트 기반 안전 필터를 우회하는 공격 방식입니다.
• 위협 상황: 자율 에이전트 (브라우저 자동화, 컴퓨터 사용 시스템, 카메라 탑재 물리적 에이전트 등) 가 VLM 을 지각의 핵심으로 사용할 때, 다양한 환경 (다양한 폰트 크기, 조명, 각도, 노이즈 등) 에서 악성 텍스트가 노출될 수 있습니다.
• 현황: 공격 표면 (Attack Surface) 이 이질적이며, 모델마다 취약성이 크게 달라 방어 전략 수립이 어렵습니다. 기존 연구는 공격 성공률 (ASR) 을 극대화하는 데 집중했으나, 렌더링 파라미터와 모델 선택이 취약성에 미치는 체계적인 분석은 부족했습니다.

2. 방법론 (Methodology)

저자들은 1,000 개의 공격 프롬프트 (SALAD-Bench 에서 선별) 를 사용하여 4 가지 VLM(GPT-4o, Claude Sonnet 4.5, Mistral-Large-3, Qwen3-VL-4B-Instruct) 에 대해 세 가지 실험을 수행했습니다.

• 데이터 및 설정:
  • 12 가지 폰트 크기 (6px ~ 28px) 와 10 가지 시각적 변형 (회전, 흐림, 노이즈, 대비 변화 등) 을 적용했습니다.
  • 공격 모달리티 비교: 원본 텍스트 vs. 텍스트를 이미지로 렌더링한 형태.
• 실험 1 (모달리티 및 폰트 크기): 텍스트와 이미지 공격의 성공률 차이를 비교하고, VLM 이 내장 텍스트를 읽기 시작하는 임계 폰트 크기를 파악했습니다.
• 실험 2 (시각적 변형): 회전, 흐림, 노이즈 등 다양한 왜곡이 공격 성공률과 임베딩 거리에 미치는 영향을 분석했습니다.
• 실험 3 (임베딩 공간 분석):
  • 가설: 타이포그래픽 이미지가 원본 텍스트와 임베딩 공간에서 얼마나 유사한지 (거리) 가 공격 성공 여부와 상관관계가 있을 것이다.
  • 도구: 두 가지 멀티모달 임베딩 모델 (JinaCLIP, Qwen3-VL-Embedding) 을 사용하여 이미지와 텍스트 간의 L2 거리를 계산했습니다.
  • 지표: 공격 성공률 (ASR) 과 임베딩 거리 간의 상관관계를 분석하여, 임베딩 거리가 공격 효과성을 예측하는 지표로 사용 가능한지 검증했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 평가: 4 가지 VLM, 12 가지 폰트 크기, 10 가지 시각적 변형을 포함한 체계적인 평가 수행. 공격 성공률이 특정 임계값 (6px 에서 거의 0%, 10-12px 에서 정점) 을 따르는 패턴을 발견했습니다.
2. 모달리티 비대칭성 발견: GPT-4o 와 Claude 는 텍스트 공격이 이미지 공격보다 훨씬 효과적이었으나, Qwen3-VL 과 Mistral 은 두 모달리티 간 취약성이 비슷했습니다.
3. 임베딩 거리 기반 예측: 텍스트 - 이미지 임베딩 거리가 공격 성공률과 강한 음의 상관관계 ($r = -0.71 \sim -0.93$) 를 보임을 입증했습니다. 이는 시각적 왜곡이 있더라도 공격 성공을 예측하는 신뢰할 수 있는 지표임을 의미합니다.
4. 모델별 비대칭적 내성: 시각적 변형 (특히 회전) 이 모델에 따라 다르게 작용함을 발견했습니다 (예: 회전 시 Mistral 은 ASR 이 50% 감소했으나 GPT-4o 는 변화 없음).

4. 주요 결과 (Results)

가. 폰트 크기의 영향

• 임계값: 6px 의 매우 작은 폰트는 모든 모델에서 ASR 을 0.3%~24% 로 크게 낮췄습니다.
• 정점: 10~12px 부근에서 ASR 이 급격히 증가하여 정점을 찍은 후, 그 이상의 크기에서는 plateau(안정화) 되었습니다.
• 모델별 차이: Mistral 이 가장 취약 (최대 75% ASR), GPT-4o 가 가장 강력 (최대 7.7% ASR).

나. 모달리티 효과 (텍스트 vs 이미지)

• GPT-4o & Claude: 텍스트 공격이 이미지 공격보다 훨씬 효과적이었습니다 (GPT-4o: 36% vs 8%, Claude: 47% vs 22%). 이는 타이포그래픽 렌더링이 오히려 일부 모델에게는 방어 메커니즘으로 작용할 수 있음을 시사합니다.
• Qwen3-VL & Mistral: 두 모달리티 간 ASR 차이가 미미했습니다 (Qwen: 49% vs 48%, Mistral: 85% vs 75%).

다. 임베딩 거리와 공격 성공률의 상관관계

• 강한 음의 상관관계: JinaCLIP 과 Qwen3-VL-Embedding 모두 모든 모델에서 임베딩 거리와 ASR 간 강한 음의 상관관계를 보였습니다 ($p < 0.01$).
  • 해석: 이미지와 텍스트의 임베딩 거리가 가까울수록 (모델이 이미지를 텍스트처럼 잘 인식할수록) 공격 성공률이 높아집니다.
  • 예측력: Qwen3-VL-Embedding 이 JinaCLIP 보다 더 높은 상관관계 ($r = -0.93$) 를 보이며, 특히 Qwen3-VL 모델에 대해 가장 정확한 예측을 했습니다.

라. 시각적 변형의 영향

• 심각한 왜곡: 심한 흐림 (Heavy blur) 이나 3 중 변형 (Triple degradation) 은 임베딩 거리를 1012% 증가시키고 ASR 을 3496% 감소시켰습니다.
• 비대칭적 회전 효과: 30 도 회전은 Mistral 의 ASR 을 50% 감소시켰지만, GPT-4o 에는 거의 영향을 미치지 않았습니다. 이는 모델마다 기하학적 내성 (Geometric Robustness) 이 다르다는 것을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 일반화된 방어 전략의 부재: 모델마다 취약 패턴이 다르기 때문에 (예: GPT-4o 는 이미지 공격에 강하지만 Mistral 은 약함), "일률적인 (One-size-fits-all)" 방어 전략은 불가능합니다.
• 실무적 가이드: 에이전트 개발자는 배포 환경 (예: 카메라 각도, 조명, 폰트 크기) 에 따라 어떤 VLM 백본을 선택할지, 그리고 어떤 시각적 조건에서 공격이 성공할지 예측해야 합니다.
• 새로운 방어/탐지 지표: 텍스트 - 이미지 임베딩 거리는 경량화되고 모델에 구애받지 않는 (Model-agnostic) 공격 효과성 예측 지표로 활용 가능합니다. 이는 런타임 탐지 전략이나 더 견고한 모델 개발에 기여할 수 있습니다.

이 연구는 VLM 기반 에이전트의 안전성을 확보하기 위해 단순한 공격 성공률 측정을 넘어, 렌더링 파라미터와 모델 아키텍처 간의 상호작용을 체계적으로 이해해야 함을 강조합니다.