기술 요약: 시각-언어 모델(LVLM)을 위한 Text-DJ 탈옥(Jailbreaking)

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 복잡한 멀티모달 추론을 수행하기 위해 시각 인코더와 대규모 언어 모델(LLM)을 통합합니다. 이러한 모델들은 유해한 출력을 방지하기 위해 안전 장치(흔히 인간 피드백을 통한 강화 학습 활용)를 채택하고 있지만, 기존의 방어 기제는 주로 명시적인 텍스트 입력이나 특정 시각적 장면에 집중되어 있습니다.

본 논문은 결정적인 격차를 식정합니다: 현재의 안전 정렬(safety alignment) 메커니즘은 LVLM의 광학 문자 인식(OCR) 능력에 취약합니다. 구체적으로, 유해한 텍스트가 직접적인 텍스트 입력이 아닌 이미지 형태로 제시될 때, 모델의 시각 인코더와 내부 OCR 모듈은 해당 텍스트를 성공적으로 추출하지만, 다운스트림 언어 모델은 추출된 내용과 안전 프로토콜을 연결하는 데 실패합니다. 또한, 기존의 탈옥 방법들은 화이트박스 접근(모델 그래디언트 필요), 모델 종속성, 또는 계산 비용이 많이 드는 적대적 이미지 생성에 의존한다는 한계를 가집니다.

핵심 연구 질문은 다음과 같습니다: 우리는 오직 텍스트 프롬프트에만 의존하면서도, LVLM을 대상으로 하는 블랙박스 방식의 모델 불가지론적(model-agnostic) 탈옥 방법을 설계할 수 있는가?

2. 방법론: Text-DJ

저자들은 모델의 OCR 능력과 높은 의미적 노이즈 속에서 흩어진 정보를 연관 짓지 못하는 약점을 악용하는 3단계 공격 파이프라인인 **Text-DJ (Text Distraction Jailbreaking)**를 제안합니다.

1단계: 적대적 쿼리 분해 (Adversarial Query Decomposition)

유해한 쿼리 $q$를 의미적으로 연관되어 있으나 개별적으로는 무해한 $m$개의 하위 쿼리 $\{q_s^{(i)}\}_{i=1}^m$로 분해합니다.

• 메커니즘: 프롬프트가 적용된 LLM(예: Qwen2.5-3B-Instruct)이 원래의 유해한 의도를 중간 단계나 다양한 관점으로 나눕니다.
• 목표: 각 하위 쿼리는 단독으로는 무해해 보이지만, 집합적으로는 원래의 유해한 의도를 재구성합니다.

2단계: 방해 쿼리 구성 (Distraction Query Construction)

시스템은 유해한 쿼리와도, 그리고 서로 간에도 의미적으로 최대한 관련이 없는 $n$개의 방해 쿼리 $\{q_d^{(j)}\}_{j=1}^n$를 선택합니다.

• 메커니즘: 문장 임베딩 모델(예: all-MiniLM-L6-v2)을 사용하여, 유해한 쿼리 및 이전에 선택된 방해 쿼리와의 코사인 유사도를 최소화하는 쿼리를 선택하는 탐욕 알고리즘(greedy algorithm)을 채택합니다.
• 목표: 흩어진 하위 쿼리들을 연결하려는 모델의 능력을 압도할 수 있는 "의미적 노이즈"를 생성합니다.

3단계: 이미지 그리드 구축 및 주입 (Image Grid Construction and Injection)

모든 분해된 하위 쿼리와 방해 쿼리는 Text-in-Image (TiI) 절차를 통해 이미지로 변환됩니다.

• 시각적 변환: 텍스트는 가시성을 확보하고 시각적 변동성을 도입하기 위해 랜덤한 텍스트 및 배경 색상(WCAG AA 대비 표준 준수)과 함께 이미지에 렌더링됩니다.
• 그리드 배치: $m+n$개의 이미지는 그리드(예: $4 \times 3$) 형태로 배치됩니다. 하위 쿼리는 특정 위치(예: 인덱스 6, 8, 12)에 배치되며, 나머지 슬롯은 방해 쿼리가 채웁니다.
• 실행: 그리드는 하위 쿼리를 찾아 답변하라는 지시어와 함께 LVLM에 제시됩니다. 모델은 이미지로부터 텍스트를 읽기 위해 OCR 능력을 사용하며, 이를 통해 표준 텍스트 기반 입력 필터를 우회합니다.

3. 주요 기여

1. Text-DJ 프레임워크: 적대적 이미지 생성이나 화이트박스 접근 없이 오직 텍스트 프로프트를 이미지로 변환하는 것에만 의존하는 새로운 블랙박스, 모델 불가지론적 탈옥 방법을 제시합니다.
2. OCR 취약성 입증: 현재의 LVLM 안전 방어 체계가 특히 유해한 콘텐츠가 파편화되고 의미적 방해 요소에 둘러싸여 있을 때, OCR 경로를 통해 처리되는 과정에서 어떻게 실패하는지에 대한 광범위한 증거를 제공합니다.
3. 시각적 방해 대비 우월성: 저자들은 이전 연구인 CS-DJ와의 비교를 통해, "의미적 방해(무관한 텍스트 쿼리 사용)"가 "시각적 방해(무관한 이미지 사용)"보다 더 효과적임을 입증했습니다.
4. 강건성 평가: 본 방법론은 오픈 소스(Qwen3-VL 시리즈)와 폐쇄형 소스(GPT-4o-mini, GPT-4.1-mini, Gemini-2.5-Flash)를 아우르는 최첨단 LVLM들을 대상으로 검증되었으며, 외부 가드 모델(OpenAI Moderation API 및 GuardReasoner-VL)이 존재하는 환경에서도 일관된 성공을 보여주었습니다.

4. 실험 결과

저자들은 두 가지 데이터셋, HADES(5개 카테고리, 750개 프롬프트)와 HEx-PHI(10개 카테고리, 300개 프롬프트)에서 Text-DJ를 평가했습니다.

• 공격 성공률 (ASR): Text-DJ는 일관되게 베이스라인(HADES 및 CS-DJ)보다 높은 성능을 보였습니다.
  • Qwen3-VL-4B에서 Text-DJ는 HADES 데이터셋에서 평균 48.13%, HEx-PHI에서 **42.33%**의 ASR을 달성하였으며, 이는 CS-DJ(각각 34.40% 및 27.33%)보다 현저히 높습니다.
  • GPT-4.1-mini에서 Text-DJ는 HADES에서 평균 64.27%, HEx-PHI에서 **60.33%**의 ASR을 달성하였습니다.
• 방어 우회: 입력값이 OpenAI Moderation API나 GuardReasoner-VL(3B 및 7B 변체)에 의해 필터링되는 상황에서도 Text-DJ는 높은 ASR을 유지했습니다. 예를 들어, OpenAI Moderation이 적용된 GPT-4.1-mini에 대해 ASR은 **64.27%**를 유지하였는데, 이는 해당 API가 이미지 그리드 내에 숨겨진 유해한 의도를 감지하지 못했음을 의미합니다.
• 절제 연구 (Ablation Studies):
  • TiI 절차: 텍스트를 이미지로 변환하는 것이 매우 중요합니다. 직접적인 텍스트 입력은 ASR이 현저히 낮았으며, 이는 텍스트 기반 필터의 우회를 확인시켜 줍니다.
  • 분해 ($m$): $m=3$으로 분해하는 것이 최적이었으며, $m=1$(미분해)은 안전 정렬로 인해 실패했습니다.
  • 방해 ($n$): ASR은 방해 쿼리의 수가 증가함에 따라 상승하여 $n=9$ 또는 $n=12$ 부근에서 정점에 도달했습니다.
  • 배치 위치: 하위 쿼리를 중간 또는 후반부에 배치하는 것이 처음이나 무작위 위치에 배치하는 것보다 더 좋은 결과를 냈습니다.
  • 색상화: 랜덤한 텍스트/배경 색상은 고정된 색상보다 ASR을 향상시켰으며, 이는 시각적 변동성이 모델을 방해하는 데 도움이 됨을 시사합니다.

5. 의의 및 주장

본 논문은 Text-DJ가 LVLM의 OCR 능력과 관련된 안전 정렬의 결정적인 취약성을 노출한다고 주장합니다. 저자들은 다음의 이유로 공격이 성공한다고 설명합니다:

1. 모달리티 우회: 텍스트를 이미지로 변환함으로써 표준 텍스트 기반 안전 필터를 우회합니다.
2. 의미적 방해: 다량의 무관한 쿼리 속에 흩어져 있는, 겉보기에 무해해 보이는 하위 쿼리들을 연결하는 데 있어 모델의 안전 프로토콜이 실패합니다.

저자들은 현재의 방어 체계가 파편화된 멀티 이미지 적대적 입력에 대해 강건하지 않다고 결론짓습니다. 이들은 분산된 멀티모달 입력을 처리하기 위해 특화된 새로운 방어 메커니즘의 필요성과, 이러한 의미적 혼란 공격으로부터 LVLM 내의 OCR 모듈을 보호해야 할 필요성을 강조합니다. 이 연구는 LVLM의 새로운 응용 분야를 제안하는 것이 아니라, 교차 모달(cross-modal), 텍스트 기반 적대적 전략 앞에서 현재의 안전 정렬이 얼마나 취약한지에 대한 경고 역할을 합니다.