Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

기술적 요약: 동일한 모델, 다른 취약점

문제 제기
현재 멀티모달 대규모 언어 모델 (MLLM) 에 대한 안전성 평가는 언어와 모달리티를 독립적인 차원으로 취급하며, 모델의 재일브랙 (jailbreak) 공격에 대한 취약성이 고정된 속성이라고 가정하는 경우가 많습니다. 본 논문은 이러한 가정에 도전하여, MLLM 의 공격 표면이 구조적으로 언어에 의존한다고 주장합니다. 저자들은 정렬 (alignment) 실패가 모든 언어에서 균일하게 발생하지 않으며, 오히려 언어적 및 시각적 공격이 안전 필터를 우회하는 메커니즘은 서로 다른 경로를 통해 작동한다고 논합니다. 구체적으로, 인간 피드백을 통한 강화 학습 (RLHF) 이 모델들을 주로 영어의 수사학적 공격 패턴 (예: 역할극, 전략적 프레임) 을 인식하도록 보정함으로써, 이러한 언어적 방어 수단이 다른 언어에서는 효과가 적거나 존재하지 않게 되는 반면, 시각적 공격 채널은 언어적 장벽이 제거될 때 일관되게 취약하거나 오히려 더 강력해질 수 있다고 가설을 세웠습니다.

방법론
본 연구는 미국 영어 (en-US) 와 멕시코 스페인어 (es-MX) 를 비교하는 최초의 체계적인 교차 언어적·멀티모달 레드팀 평가 (red-teaming evaluation) 를 제시합니다.

• 평가된 모델: 4 개의 최첨단 MLLM 인 Claude Sonnet 4.5, GPT-5, Pixtral Large, Qwen Omni 가 평가되었습니다. 이들은 Van Doren & Ford [1] 의 이전 영어 전용 연구에서 평가된 모델들의 차세대 후속 모델로 선정되었습니다.
• 적대적 벤치마크: 본 연구는 불법 활동, 허위 정보, 비윤리적 행동이라는 세 가지 해악 카테고리를 포괄하는 363 개의 고유한 적대적 시나리오로 구성된 고정된 세트를 활용했습니다. 각 시나리오는 6 가지 공격 전략 (예: 역할극, 거부 억제 등) 으로 구성되었으며, 텍스트 전용 및 멀티모달 (텍스트 + 이미지) 조건 모두에서 구현되었습니다.
• 언어 프로토콜: 모든 프롬프트는 원어민에 의해 전문적으로 멕시코 스페인어로 번역되었으며, 공격 벡터를 변경할 수 있는 문화적 적응 없이 적대적 의도와의 충실도를 보장하기 위해 독립적으로 검토되었습니다.
• 데이터 수집: 총 52,272 개의 해악 평가 및 이진 공격 성공 판단이 수집되었습니다. 9 명의 원어민 영어 화자와 9 명의 원어민 스페인어 화자로 구성된 주석자들이 모델 응답을 5 점 리커트 척도 (Likert scale) 로 평가했습니다. 주석자들은 모델 식별자 및 모달리티에 대해 맹검 (blind) 상태였습니다.
• 통계 분석: 저자들은 프롬프트와 평가자에 대한 교차 무작위 효과를 포함한 베이지안 혼합 효과 모델 (R 의 brms 사용) 을 적용했습니다. 이 접근법은 모델, 모달리티, 언어 및 그 상호작용에 기인한 분산을 분해하여 집계 분석의 함정을 피할 수 있게 했습니다.

주요 기여

1. 분리의 메커니즘적 증거: 본 연구는 언어적 및 시각적 정렬 실패가 서로 다른 메커니즘을 통해 작동한다는 경험적 증거를 제공합니다. 저자들은 프롬프트 언어를 영어에서 스페인어로 전환할 때 분리가 발생함을 입증했습니다. 즉, 언어적 공격 기법 (예: 역할극) 은 효과가 현저히 감소하는 반면, 시각적으로 명시적인 멀티모달 공격은 더 효과적이게 됩니다. 이는 프롬프트 - 언어 인터페이스가 단순한 주석자의 관대함의 산물이 아니라 정렬의 구조적 특징임을 시사합니다.
2. 안전 순위의 역전: 본 논문은 안전 순위가 언어 간에 이전될 수 없음을 확립합니다. Pixtral Large 는 영어 조건에서 가장 취약한 모델이었으나, 스페인어 조건에서는 Qwen Omni 가 이를 제치고 가장 취약한 모델이 되었습니다. 이러한 순위 역전은 영어 조건 점수의 스칼라 보정을 통해 회복될 수 없으며, 이는 영어 전용 벤치마크가 글로벌 배포 사용자를 위한 모델의 위험 프로필을 근본적으로 잘못 표현하고 있음을 나타냅니다.
3. 방법론적 프레임워크: 저자들은 안전성 평가에서 베이지안 혼합 효과 프레임워크의 유용성을 입증했습니다. 프롬프트 수준 및 평가자 수준의 분산을 공동으로 고려함으로써, 이 방법은 집계 분석이 놓칠 수 있는 교차 언어적 및 교차 모달 구조를 드러냅니다. 저자들은 향후 평가에서 이러한 접근법을 촉진하기 위해 분석 스크립트와 데이터를 공개했습니다.

결과

• 언어적 대 시각적 감쇠/증폭: 스페인어 (es-MX) 에서 언어적 공격은 상당한 감쇠를 보였습니다. 예를 들어, 역할극 공격은 영어에 비해 효과가 현저히 낮았습니다 (OR = 0.45). 반면, 유해한 이미지 실행은 스페인어에서 더 효과적이었습니다 (OR = 1.58).
• 모델별 취약성:
  • Claude Sonnet 4.5: 두 언어와 두 모달리티 모두에서 가장 저항력이 높은 모델로 남았으며, 영어 (11.3%) 와 스페인어 (11.4%) 간의 공격 성공률 (ASR) 변화는 미미했습니다.
  • Pixtral Large: 스페인어로 전환할 때 취약성이 가장 크게 감소했습니다 (ASR 이 en-US 의 50.5% 에서 es-MX 의 32.0% 로 하락). 이는 영어 특이적 언어 정렬에 대한 중대한 의존성을 나타냅니다.
  • Qwen Omni: 스페인어에서 취약성이 증가하는 독특한 패턴을 보였습니다 (ASR 이 en-US 의 31.2% 에서 es-MX 의 35.6% 로 상승), 이로 인해 Pixtral Large 에 대한 관찰된 순위 역전이 발생했습니다.
• 세대별 경향: 이전 세대 모델들의 결과와 비교했을 때, 4 개 모델 패밀리 중 3 개에서 절대적 ASR 이 감소했습니다. 그러나 모델 간의 격차는 줄어들지 않았으며, 취약성 순위의 언어 의존적 구조는 지속되었습니다.

의의 및 주장
본 논문은 언어와 모달리티를 독립적인 차원으로 취급하는 안전성 평가 프레임워크가 글로벌 배포 MLLM 의 공격 표면을 근본적으로 잘못 규명한다고 주장합니다. 핵심 발견은 언어적 및 시각적 공격 효과성 간의 "분리"가 영어 수사학적 패턴에 맞춰 보정된 RLHF 기반 정렬의 예측 가능한 결과라는 점입니다. 따라서 영어 전용 벤치마크는 다양한 인구에 배포된 모델의 공격 표면을 특징짓지 않으며, 오직 영어 조건 정렬의 렌즈를 통해 본 표면만을 특징짓습니다.

저자들은 사전 출시 안전성 파이프라인에 의도된 배포 인구를 대표하는 언어의 원어민 레드팀 평가를 포함해야 한다고 주장합니다. 결론적으로, 모델을 안전성 기준으로 정렬하는 순서는 고정된 속성이 아니라 언어에 따라 변하는 현재 정렬 관행의 구조적 특징이므로, 집계 ASR 지표가 아닌 항목 수준 분산 분해를 포함하도록 안전성 평가 표준을 재설계해야 한다고 결론지었습니다.