기술 요약: 대규모 시각-언어 모델(LVLM)의 정보 과부하를 통한 탈옥(Jailbreaking)

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 개인 비서 및 문서 분석과 같은 실제 애플리케이션에 점점 더 많이 배치되고 있습니다. 그러나 이들의 이중 모달(이미지와 텍text를 모두 처리) 특성은 독특한 공격 표면을 생성합니다. LLM(대규모 언어 모델) 탈옥은 단순한 프롬프트에서 복잡하고 다차원적인 전략(예: 역할 수행, 중첩된 지시사항)으로 진화해 왔지만, 기존의 LVLM 탈옥 공격은 여전히 비교적 원시적인 수준에 머물러 있습니다. 대부분의 현재 LVLM 공격은 이미지 내의 타이포그래피 속에 유해한 지시사항을 숨기거나, 주의를 분산시키는 서브 이미지를 사용하여 분포 변화(Distribution Shift)를 일으키는 것과 같은 분포 외(Out-of-Distribution, OOD) 변환에 의존합니다.

저자들은 LVLM이 더 강력한 LLM 백본과 향상된 멀티모달 융합 메커니즘을 통합함에 따라, 이러한 단순한 OOD 기반 공격이 특히 서로 다른 모델 아키텍처 간의 전이성(transferability) 측면에서 점점 더 효과가 떨어지고 있다고 주장합니다. 현대적인 LLM 탈옥의 복잡성과 현재 LVLM 탈옥 설계의 단순성 사이에는 격차가 존재합니다. 본 논문은 LVLM이 단순히 의도 은닉뿐만 아니라, 정보 과부하(information overloading), 즉 과도한 교차 모달 처리가 안전 정렬(safety alignment)을 저해하는 현상에도 취약하다고 상정합니다.

2. 방법론: 정보 과부하

본 논문은 정보 과부하에 기반한 새로운 공격 프레임워크를 제안하며, 이는 모델이 밀도 높고 복잡하며 재귀적으로 구조화된 멀티모달 입력을 처리하도록 강제함으로써 LVLM의 안전 메커니즘을 압도하는 것을 목표로 합니다. 이 방법론은 두 단계로 나뉩니다.

2.1. 이론적 탐색: 정보 과부하 메커니즘

공격 제안에 앞서, 저자들은 왜 복잡한 프로프트가 성공하는지 이해하기 위해 탐색 연구를 수행했습니다.

• 관찰: LVLM이 단순한 프롬프트 대신 타이포그래피와 중첩된 지시사항을 포함하는 복잡한 프롬프트를 접할 때, 거절 확신도(refusal confidence)가 감소합니다. 이는 거절 과정 중 생성된 첫 번째 토큰의 엔트로피 증가로 측정됩니다.
• 메커니즘: "어텐션 넉아웃(attention knockout)" 기법을 사용하여 정보 흐름을 분석한 결과, 복잡한 프롬프트가 강화된 교차 모달 정보 흐름(특히 이미지/타이포그래피 토큰에서 텍스트 토큰으로의 흐름)을 유도함을 발견했습니다. 모델은 안전성을 판단하기 위해 이러한 모달리티들을 통합하는 데 더 많은 계산적 노력을 기울이며, 이는 역설적으로 거절 응답을 생성하는 데 있어 모델의 확실성을 감소시킵니다.
• 가설: 의도적으로 고밀도의 다차원 정보를 모델에 과부하시킴으로써 안전 정렬 메커니즘을 방해하고, 유해한 콘텐츠를 생성할 확률을 높일 수 있다는 가설을 세웠습니다.

2.2. 공격 프레임워크: INFER 및 INFER+

이 가설을 실행하기 위해 저자들은 두 가지 반복적 공격 방법을 개발했습니다.

A. INFER (Interleaved Nested reFERencing, 인터리브 중첩 참조)
이는 중첩된 지시사항 처리 계층 구조를 만드는 기초적인 템플릿입니다.

• 분해: 유해한 텍스트 요청을 무해한 지시사항과 유해한 구절로 분리합니다.
• 임베딩: 유해한 구절은 이미지 내의 타이포그래피($v_{harm}$)로 임베딩되고, 무해한 지시사항 또한 타이포그래피($v_{inst}$)로 임베딩됩니다.
• 참조: 텍스트 프롬프트($t_{atk}$)는 모델에게 이미지 내의 무해한 지시사항을 인식하도록 명시적으로 지시하며, 이 지시사항은 다시 유해한 구절을 참조합니다.
• 효과: 이를 통해 모델이 일련의 참조 체인(텍ex $\to$ 이미지 지시사항 $\to$ 이미지 유해 구절)을 해결하도록 강제하여 교차 모달 처리 부담을 증가시킵니다.

B. INFER+ (엔트로피 유도 과부하)
이는 다양성과 지수적 복잡성을 도입한 최적화되고 확장 가능한 버전의 INFER입니다.

• 타이포그래픽 프롬프트 정교화: 보조적인 탈옥 규칙 세트($v_{rule}$)가 타이포그래피로 임베딩됩니다. 이 규칙에는 프레이밍(역할 수행, 시나리오 조작) 및 제약(출력 형식 강제)과 같은 다양한 공격 차원이 포함됩니다.
• 시각적 정보 증폭: 공격은 재귀적 트리 레이아웃을 사용합니다. 유해한 이미지-텍스트 블록은 재귀 깊이와 분기 계수를 정의하는 트리 구조 내에 반복적으로 임베딩됩니다. 이는 시각적 정보 밀도를 지수적으로 증가시킵니다.
• 최적화: 저자들은 엔트로피 유도 랜덤 탐색(entropy-guided random search) 알고리즘을 사용합니다. 레이아웃 파라미터(깊이, 분기 수, 글꼴 크기/유형)와 규칙 구성을 대리 모델(surrogate model)에 대해 최적화합니다. 목적 함수는 모델 응답의 첫 번째 토큰 엔트로피이며, 높은 엔트로피는 거절 결정에서의 불확실성이 높음을 나타내며, 이는 성공적인 탈옥 가능성과 상관관계가 있습니다.

3. 주요 기여

1. 새로운 공격 패러다임: 본 논문은 "정보 과부하"를 LVLM을 위한 독특하고 효과적인 공격 벡터로 식별하며, 기존의 OOD 기반 은닉 전략을 넘어섭니다. 이는 이미지-텍스트 과부하의 관점에서 LVLM을 탈옥시킨 첫 번째 연구입니다.
2. 확장 가능한 프레임워크: 저자들은 정교한 텍스트 템플릿, 타이포그래피가 강화된 이미지, 그리고 재귀적 이미지-타이포그래피 레이아웃을 결 der 결합하여 다양한 실제 입력에 대해 정보 처리 부담을 높이는 확장 가능한 프레임워크(INFER+)를 제안합니다.
3. 실증적 검증: 광범에한 실험을 통해 이 방법이 오픈 소스 및 상용 LVLM 모두에서 최첨단(SOTA) 공격 성공률(ASR)을 달성함을 입증했습니다.
4. 메커니즘적 통찰: 정보 흐름 분석을 통해, 복잡한 이미지-타이포그래피 구성이 교차 모달 처리를 강화하고 거절 응답의 확실성을 낮춘다는 증거를 제시합니다.

4. 실험 결과

저자들은 다섯 가지 오픈 소스 LVLM(Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision)과 세 가지 상용 모델(Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini)에 대해 이 방법을 평가했습니다.

• 오픈 소스 모델 성능: INFER+는 평균 **88.6%**의 ASR을 달려 가장 강력한 비교 대상 베이스라인보다 32.8% 높은 성능을 보였습니다. Qwen2-VL과 같은 특정 모델의 경우, HADES 데이터셋에서 ASR이 **97.52%**에 달했습니다.
• 상용 모델 성능: 이 방법은 상용 모델에서 평균 **84.0%**의 ASR을 달성하여 최상의 베이스라인을 48.7% 초과했습니다. 특히, GPT-4.1-mini에서 **91.11%**의 ASR을 기록했습니다.
• 전이성: 공격은 강력한 교 cross-model 전이성을 보여주었습니다. 대리 모델(예: Qwen2-VL)에서 최적화된 프롬프트는 블랙박스 타겟(예: Llama 3.2-Vision에서 87.9% ASR 달성)에서도 매우 효과적이었습니다. 이는 정보 과부하가 아키텍처 전반에 걸친 공통된 취약점을 목표로 함을 시사합니다.
• 강건성: 이 방법은 Input Guards, TVPI Defense, FigStep Defense와 같은 방어 메커니즘 하에서도 우수한 성능을 유지하여, 더 깊은 멀티모달 취약점을 겨냥하고 있음을 나타냈습니다.
• 상관관계 분석: 연구는 첫 번째 토큰 엔트로피, ASR, 그리고 거절 기여 지수(RCI) 사이의 양의 상관관계를 확인하여, 거절의 불확실성 증가가 성공적인 탈옥으로 이어진다는 가설을 검증했습니다.

5. 의의 및 주장

본 논문은 정보 과부하가 실제 세계의 LVLM 배포에 있어 실질적이고 새롭게 등장하는 안전 위험임을 주장합니다. 의도를 숨기는 데 의존하는 이전의 공격들과 달리, 이 방법은 모델이 과도하고 복잡한 멀티모달 콘텐츠를 처리하도록 강제하여 안전 제약을 집행하는 능력을 저하시킵니다.

저자들은 이러한 발견이 복잡한 멀티모달 탈옥 입력에 대한 더 강력한 방어의 필요성을 강조한다고 강조합니다. 그들은 LVLM이 풍부한 문서, 스크린샷, 웹페이지를 처리하는 환경에 통합됨에 따라, 현재의 안전 정렬 메커니즘이 높은 교차 모달 처리 부하를 유발하는 입력에 대해 불충분할 수 있다고 주장합니다. 이 연구는 복잡한 입력 상황에서 멀티모달 안전 메커니즘이 어떻게 실패하는지 이해하기 위한 진단적 렌즈 역할을 하며, 모델의 강건성을 개선하기 위해 이러한 연구를 책임감 있게 다룰 것을 촉구합니다.