Resolution Thresholds in VLM Detection of Harmful ASCII Art Across Construction Modes and Languages

기술 요약: VLM의 유해 ASCII 아트 탐지에서의 해상도 임계값

문제 정의
대규모 시각-언어 모델(VLM)은 콘텐츠 모더레이션(내용 검토)을 위해 점점 더 많이 배치되고 있으나, 유해한 텍스트가 ASCII 아트로 인코딩되는 "탈옥(jailbreak)" 공격에 취상해 있다. 이러한 공격에서 공격자들은 무해한 문자(예: 긍정적인 단어, 기호 또는 이모지)의 모자이크로 유해한 단어를 형성하는 이미지를 구성한다. 선행 연구에 따르면, VLM은 개별 채움 문자의 의미론적 의미를 거시적 수준의 시각적 형상보다 우선시하기 때문에 유해한 시각적 게슈탈트(gestalt)를 인식하는 데 실패하는 경우가 많다. 기존 연구에서는 이미지 다운스케일링이 모델이 전체적인 형상에 주목하도록 강제할 수 있다고 제안했으나, "탐지 실패 임계값"(탐지가 붕괴되는 해상도 척도)이 서로 다른 ASCII 아트 구성 방식, VَلM 아키텍처, 그리고 콘텐츠 언어(영어 vs 중국어)에 따라 어떻게 달라지는지를 체계적으로 규명한 연구는 없었다.

방법론
저자들은 유해한 ASCII 아트 이미지를 생성하고 평가하기 위한 맞춤형 파이프라인을 사용하여 체계적인 경험적 연구를 수행하였다.

• 데이터셋 구축: 본 연구는 유해한 영어 및 중국어 단어/구절의 병렬 코퍼스를 활용하였다. 각 단어는 8가지의 뚜렷한 구성 모드(L1~L8)를 사용하여 ASCII 아트 이미지로 렌더링되었다. 이는 밀집된 블록 문자(L1)와 단순 기호(L2)부터, 긍정적인 영어 단어를 사용한 단어 임베디드 디자인(L5), 이모지(L6), 긍정적인 시 구절(L7), 긍정적인 중국어 단어(L8)에 이르기까지 다양하다.
• 해상도 스케일링: 이미지는 10개의 해상도 척도($r \in \{0.1, \dots, 1.0\}$)로 생성되었으며, 여기서 1.0은 전체 해상도 참조값을 나타내고 낮은 값은 다운스케일링된 상태를 나타낸다.
• 평가: GPT-4o-mini, Gemini-3-Flash, Kimi-K2.5 등을 포함한 8개의 최첨단 VLM을 OpenRouter API를 통해 쿼리하였다. 모델에는 이미지의 감정(부정적 vs 중립/긍정)을 분류하도록 프롬프트가 주어졌다. "부정적(Negative)" 응답은 유해 콘텐츠의 성공적인 탐지로 간주되었으며, 중립/긍정 응답은 실패(우회)를 나타냈다.
• 통계 분석: 저자들은 단조로운 탐지 트렌드를 검증하기 위해 Cochran–Armitage 트렌드 테스트를, 50% 탐지 실패 임계값($\hat{r}_{0.5}$)을 95% 신뢰 구간과 함께 추정하기 위해 로지스틱 회귀를 사용하였으며, 영어와 중국어 코퍼스 간의 탐지율을 비교하기 위해 Chi-square/Fisher's exact test를 사용하였다. 모든 763개의 통계 테스트에 Benjamini–Hochberg 보정이 적용되었다.

핵심 기여

1. 평가 파이프라인 및 데이터셋: 8가지 구성 모드, 10가지 해상도 척도, 2가지 언어, 8가지 VLM을 포괄하는 종합적인 데이터셋을 구축하였다.
2. 임계값 추정: 각 (모델, 모드) 조합에 대해 통계적으로 근거 있는 탐지 실패 임계값을 추정하여, VLM이 유해한 시각적 형상을 인식하는 능력을 상실하는 특정 해상도를 정량화하였다.
3. 교차 기원 분석: 중국어 단어 채움 모드(L8)에 대한 중국 구축 모델과 미국/서구 구축 모델의 탐지 패턴을 영어 단어 모드(L5)를 대조군으로 사용하여 기술적 분석을 수행하였다.

주요 결과

• 해상도 의존성: 대부분의 모델-모드 조합에서 해상도가 높아짐에 따라 탐지율이 급격히 감소한다. 약 60%의 유효한 (모델, 모드) 계층에서 통계적으로 유의미한 감소 추세가 나타났다. 이는 고해상도 이미지가 VLM으로 하여금 무해한 채움 문자에 집중하게 만들어 탐지 실패를 유발하는 반면, 다운스케일링은 유해한 시각적 형상에 주의를 기울이게 함을 확인시켜 준다.
• 모드 취약성 계층:
  • 가장 강력한 저항성: 단어 임베디드 모드, 특히 영어 단어(L5)는 가장 탐지하기 어려웠으며, 총합 탐지율은 0.062에 불재했다. 이러한 모드는 문자 수준의 의미론이 형상 지각을 억제하는 강력한 이중 신호 충돌을 생성한다.
  • 가장 높은 탐지 가능성: 블록 문자(L1)와 이모지(L6)는 시각적 밀도나 독특함 덕분에 가장 탐지하기 쉬웠다 (총합 탐지율 > 0.40).
  • 중간 단계: 중국어 단어(L8)는 중간 정도의 탐지 가능성(0.206)을 보였으며, 영어 단어보다는 성능이 좋았으나 블록보다는 낮았다.
• 모델 이질성: 성능은 모델마다 크게 달랐다. Gemini-3-Flash와 Kimi-K2.5는 명확한 임계값을 가지며 가장 강력한 탐지 능력을 보여주었다. 반면, Mistral-Small-3.2-24B-Instruct는 대부분의 모드에서 유해 콘텐츠를 거의 탐지하지 못했으며(제로에 가까운 비율), Llama-4-Maverick과 Nemotron-Nano는 낮은 베이스라인 성능을 보였다. Grok-4.1-Fast는 다른 모델들에 비해 해상도 변화에 덜 민감한 독특한 패턴을 보였다.
• 교차 언어 발견 사항: 다중 비교 보정 후, 영어와 중국어 탐지율 사이의 유의미한 차이를 보이는 계층은 4.7%에 불과했다. 이는 해상도-탐지 취약성이 대체로 언어에 무관함을 시사한다.
• 모델 기원 효과: L8(중국어 단어) 모드에서 기술적인 "교차(crossover)" 패턴이 관찰되었다: 중국 구축 모델은 저해상도에서는 서구 구축 모델보다 우수한 성능을 보였으나, 고해상도에서는 오히려 성능이 떨어졌다. 저자들은 이것이 중국 구축 모델들이 중국어 텍스트에 대한 더 강한 민감도를 가지고 있어, 고해상도에서 무해한 채움 문자를 읽게 만듦으로써 부정적 정서 신호를 억제하기 때문이라고 가설을 세웠다. 이 효과는 영어 단어 모드(L5)에서는 관찰되지 않았다.

의의 및 주장
본 논문은 VLM 기반 콘텐츠 모더레이션에서 미개척된 특정 취약성 차원인 해상도를 식별한다고 주장한다. 연구 결과는 해상도가 단순히 부차적인 이미지 품질 매개변수가 아니라, 탐지 성공을 결정하는 제1차 변수임을 밝혀냈다. 본 연구는 다음을 확립한다:

1. VLM이 유해한 ASCII 아트를 안정적으로 식별할 수 없는 일관된 탐지 실패 임계값이 존재한다.
2. 단어 임베디드 구성 모드는 현재의 VLM이 전해상도에서도 대응하기 어려운 특히 강력한 공격 벡터이다.
3. 모든 모델에 일반화되는 단일 해상도 임계값은 존재하지 않으며, 모더레이션 시스템은 배포된 VLM의 특정 취약성 프로필을 규명해야 한다.

저자들은 이 논문이 방어 논문이 아님을 명시적으로 밝힌다. 즉, 새로운 모델이나 완화 전략을 제안하는 것이 아니다. 대신, 이 연구는 해상도 인지적 평가 표준과 다운스케일링된 입력을 모더레이션에 사용하거나 다운스케일링된 ASCII 아트로 모델을 학습시키는 것과 같은 향후 방어 전략 개발을 촉진하기 위한 취약성 특성화를 목적으로 한다.