기술 요약: KSAFE-MM

문제 제기

다중 모달 대형 언어 모델 (MLLM) 은 특히 시각 입력이 텍스트 쿼리와 결합될 때 여러 모달에 걸쳐 안전성 취약점을 노출합니다. 기존 안전성 평가 벤치마크는 두 가지 주요 한계를 겪고 있습니다:

1. 영어 중심성: 대부분의 벤치마크는 영어로 구성된 데이터셋에 의존하여 비영어권 지역에 고유한 언어적 뉘앙스와 사회문화적 민감성을 포착하지 못합니다.
2. 일반적 위험 중심: 현재 평가는 무기 제작, 마약 생산 등 전 세계적으로 공유되는 위험을 우선시하지만, 문화적으로 세밀한 안전 우려는 간과합니다.

본 논문은 번역만으로는 부족하다고 주장합니다. 동기 부여 (그림 2) 에서 보인 바와 같이, 문화적으로 적응된 프롬프트는 단순 번역에 비해 공격 성공률 (ASR) 을 29.38% 에서 38.20% 로 증가시킵니다. 또한, 일반적 위험은 5·18 민주화운동에 대한 역사 왜곡이나 북한 해커 및 신천지 관련 정치적 민감성처럼 한국적 맥락에서 중요한 문화적 고유 해악을 포괄하지 못합니다.

방법론

저자들은 11 개 안전 카테고리에 걸쳐 14,135 개의 샘플로 구성된 포괄적인 한국어 다중 모달 안전성 벤치마크인 KSAFE-MM을 소개합니다. 이 벤치마크는 두 가지 상호 보완적인 부분으로 나뉩니다:

1. KSAFE-MM-G (일반 안전성)

이 구성 요소는 언어적 문맥화를 통해 한국적 맥락에 적응된 전 세계적으로 공유되는 위험을 평가합니다.

• 출처: MM-SafetyBench 데이터셋 기반.
• 프로세스: 2 단계 파이프라인:
  1. 문화적 문맥 의존 쿼리 선택: 쿼리를 "문맥적"(문화적 요소를 포함) 또는 "비문맥적"으로 분류합니다. 핵심 구절을 추출하여 특정 한국 문화적 대응물에 매핑합니다 (예: "고고학적 약탈"을 "신라 왕릉"으로 매핑).
  2. 문화적 기반 데이터 생성: 비문맥적 쿼리는 직접 번역합니다. 문맥적 쿼리는 번역 전에 일반적 용어를 LLM 이 생성한 한국 문화적 대응물로 대체하여 적응시킵니다. 이미지는 적응된 텍스트와 정렬되도록 비전 - 언어 모델을 사용하여 편집되어 모달 간 일관성을 보장합니다.

2. KSAFE-MM-C (문화 기반 위험)

이 구성 요소는 실제 한국적 맥락에서 파생된 로컬라이즈된 시각 쿼리를 사용하여 문화 의존적 취약점을 대상으로 합니다.

• 데이터 구축 파이프라인:
  1. 민감 주제 식별: 한국 네이티브 온라인 커뮤니티 (예: DCInside) 와 사회 이슈 보고서에서 검증된 533 개의 주제를 수집하여 11 개 안전 분류를 포괄합니다.
  2. 템플릿 기반 텍스트 쿼리 생성: 쿼리는 의미적 일관성을 보장하면서 자연스러운 한국어 구문을 유지하도록 정의된 템플릿 (지식, 행동, 태도) 을 사용하여 생성됩니다.
  3. 쿼리 기반 합성 이미지 생성: 개인 데이터에 대한 의존도를 줄이고 범위를 확장하기 위해 이미지 생성 모델을 사용하여 텍스트 쿼리에서 합성 이미지를 생성합니다.
  4. 자일브레이크 프롬프팅: 견고성을 평가하기 위해 시드 쿼리를 10 가지 다른 자일브레이크 변형 (예: ProgramExecution, CharacterRolePlay, SudoMode) 으로 변환하여 해로운 의도를 은폐하고 모달 간 통합 취약점을 테스트합니다.

평가 프레임워크

• 평가 모델: 오픈소스 (Qwen3-VL, Gemma, Ministral), 한국 중심 (HyperCLOVA X, A.X-4.0-VL-Light), 폐쇄형 API 모델 (GPT-5 nano, Gemini 3.1) 을 포함한 12 개의 최첨단 MLLM.
• 지표:
  • 공격 성공률 (ASR): 해로운 콘텐츠를 포함한 응답의 비율.
  • 거부율 (RR): 모델이 거부한 쿼리의 비율.
• 판정: "LLM-as-a-judge" 프레임워크 (GPT-5 nano 및 Qwen3-235B 사용) 가 안전성을 평가하며, 인간 검증을 통해 자동 판정관과의 일치율이 81% 임이 확인되었습니다.

주요 결과

1. 문화적 취약성: 모델은 일반적 공격 (KSAFE-MM-G) 보다 문화 기반 공격 (KSAFE-MM-C) 에 대해 훨씬 더 높은 취약성을 보입니다. 예를 들어, Gemma 27B 는 KSAFE-MM-C 에서 48.6% 의 ASR 을 보인 반면, 일반 벤치마크에서는 더 낮은 수치를 기록했습니다.
2. 자일브레이크 증폭: 자일브레이크 전략은 공격 성공을 실질적으로 증폭시킵니다. ProgramExecution 전략은 Gemma 27B 에 대해 74.2% 의 ASR 을 기록한 반면, 표준 템플릿 기반 쿼리는 13.4% 에 불과했습니다.
3. 안전성 - 유용성 트레이드오프: 안전성과 과도한 거부 사이에는 체계적인 트레이드오프가 존재합니다. 낮은 ASR 을 보이는 모델 (예: HyperCLOVA X-Think, GPT-5 nano) 은 종종 무해한 쿼리에 대해 과도한 거부 행동을 보이며 (높은 RR), 이로 인해 유용성이 훼손됩니다. 반면, 낮은 거부율을 보이는 모델 (예: A.X-4.0-VL-Light) 은 훨씬 더 높은 ASR 을 보입니다.
4. 합성 데이터 vs 실제 데이터: 실제 세계 쿼리에서 생성된 합성 이미지는 실제 이미지의 안전성 위험을 충실히 반영하며, ASR 에서의 차이는 미미하여 합성 데이터 생성 접근법의 확장성을 입증했습니다.

중요성과 주장

본 논문은 KSAFE-MM 이 영어 중심의 번역 기반 벤치마크를 넘어 AI 안전성 평가의 중요한 격차를 해소한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 숨겨진 취약성 노출: 문화 기반 프롬프트와 자일브레이크 전략이 역사적 정확성, 정치적 중립성, 지역 사회 규범과 관련하여 표준 평가가 놓치는 안전성 실패를 드러낸다는 것을 입증합니다.
• 총체적 평가: 전 세계적으로 공유되는 위험과 지역별 문화적 취약성을 모두 평가하는 프레임워크를 제공하여 비영어권 맥락에서 MLLM 안전성에 대한 더 현실적인 평가를 가능하게 합니다.
• 과도한 거부 문제 강조: 낮은 ASR 을 최적화하는 것이 종종 모델 유용성을 저하시키는 과도한 신중한 행동으로 이어진다는 점을 지적하며, 향후 안전성 정렬은 해악 방지와 유용성 사이의 균형을 맞춰야 함을 시사합니다.
• 확장성: 데이터 구축 파이프라인이 다른 언어에도 적용 가능함을 증명하여 (일본어 데이터셋 JSAFE-MM-C 에 대한 파일럿 연구를 통해 시연), 전 세계적으로 지역별 안전성 벤치마크를 위한 경로를 제시합니다.

저자들은 문화 기반 안전성 평가가 시급하며, 현재 MLLM 은 지역적 문화적 맥락과 적대적 프롬프팅 기법을 고려한 더 견고한 정렬 전략이 필요하다고 결론지었습니다.