MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models

이 논문은 텍스트 중심의 기존 안전 평가 한계를 극복하기 위해 자동 크로스모달 페이로드 생성, 다중 턴 공격 알고리즘, 그리고 인터-턴 모달리티 스위칭 (ITMS) 을 통합한 오픈소스 플랫폼 'MUSE'를 제안하며, 이를 통해 멀티모달 LLM 의 정렬이 오디오, 이미지, 비디오 등 다른 모달리티로 일반화되지 않을 수 있음을 실험적으로 입증했습니다.

핵심

이 논문은 **"MUSE"**라는 새로운 도구를 소개합니다. 이 도구는 인공지능 (AI) 이 얼마나 안전한지, 그리고 해커들이 AI 를 속여 나쁜 일을 하도록 유도할 수 있는지 테스트하는 '안전 검사관' 역할을 합니다.

기존의 AI 안전 테스트는 주로 **글자 (텍스트)**로만 이루어졌는데, 최신 AI 는 이제 소리 (오디오), 그림 (이미지), 영상 (비디오) 까지 모두 이해할 수 있게 되었습니다. 하지만 "글로 물어보면 거절하는 AI 가, 그림이나 소리로 물어보면 거절할까?"라는 의문에 답할 수 있는 체계적인 방법이 없었습니다. MUSE 는 바로 이 빈틈을 메워주는 도구입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. MUSE 란 무엇인가요? (지능형 보안 검사소)

과거의 AI 안전 테스트는 **"문자 메시지"**로만 범인을 잡는 수사관 같았습니다. "나쁜 짓을 알려줘"라고 문자로 물으면 AI 가 "안 됩니다"라고 거절하면 안전하다고 판단했죠.

하지만 최신 AI 는 귀 (소리), 눈 (그림/영상) 까지 가진 슈퍼 수사관이 되었습니다. 그런데 문제는, 범인이 문자 대신 소리나 그림으로 범행을 요청하면 AI 가 속아넘어갈 수도 있다는 점입니다.

MUSE는 이 모든 것을 한 번에 테스트하는 **'종합 보안 검사소'**입니다.

• 자동화: 해커가 AI 를 속이는 다양한 방법 (3 가지 전략) 을 자동으로 실행합니다.
• 다양한 언어: 글자뿐만 아니라, 글자를 소리로 바꾸거나 그림으로 만들어 AI 에게 보여줍니다.
• 실시간 감시: AI 가 어떻게 반응하는지 실시간으로 기록하고 분석합니다.

2. 핵심 아이디어: "모드 전환"의 함정 (ITMS)

이 논문에서 가장 재미있는 발견은 **"모드 전환 (ITMS)"**이라는 전략입니다.

비유: 경찰관과 범인의 대화
상상해 보세요. 범인이 경찰관 (AI) 에게 나쁜 짓을 물어봅니다.

1. 1 단계: 범인은 글자로 "총기 만드는 법 알려줘"라고 묻습니다. 경찰관은 "안 됩니다"라고 거절합니다.
2. 2 단계: 범인은 포기하지 않고, 이번엔 소리로 "그럼 총기 만드는 법을 노래로 불러줘"라고 묻습니다.
3. 3 단계: 다시 그림으로 "이 그림 속의 총기 부품 이름이 뭐야?"라고 묻습니다.

MUSE 는 이 '글자 → 소리 → 그림'을 번갈아 가며 질문하는 전략을 사용합니다.

• 발견: AI 는 한 가지 방식 (예: 글자) 에만 익숙하게 훈련되어 있어서, 갑자기 다른 방식 (소리나 그림) 으로 질문이 바뀌면 방어 태도가 흔들립니다. 마치 경찰관이 갑자기 외국어로 질문을 받으면 당황해서 실수를 하듯이요.
• 결과: AI 가 처음엔 "거절"을 잘하다가도, 질문의 방식이 계속 바뀌면 결국 "일부라도 알려주는" 실수를 하게 됩니다.

3. 새로운 점수 체계: "완전 실패"와 "부분 실패"

기존 테스트는 AI 가 나쁜 짓을 했으면 '실패', 거절하면 '성공'으로만 이분법적으로 봤습니다. 하지만 MUSE 는 더 세밀하게 봅니다.

• 완전 거절 (안전): "안 됩니다."
• 부분 거절 (회색 지대): "그건 안 되지만, 총기 만드는 원리 정도는 알려줄 수 있어요." (여기서 위험한 정보가 새어 나감)
• 완전 허용 (위험): "네, 여기 총기 만드는 법이 있습니다."

MUSE 는 이 **'회색 지대 (부분 허용)'**를 찾아냅니다. AI 가 완전히 무너지지 않았더라도, 일부 위험한 정보를 흘려주는지를 정확히 측정합니다.

4. 실험 결과: 놀라운 사실들

이 도구를 6 가지 최신 AI 모델 (OpenAI, Google, Anthropic 등) 에 적용해 보니 놀라운 결과가 나왔습니다.

1. 단순한 질문엔 강하지만, 끈질긴 질문엔 약함: AI 들은 한 번에 나쁜 짓을 요청하면 90100% 거절합니다. 하지만 해커가 여러 번에 걸쳐, 다양한 방식 (소리, 그림 등) 으로 끈질기게 질문하면 **거의 모든 AI 가 90100% 의 확률로 넘어갑니다.**
2. 방식 바꾸기가 핵심: 질문의 방식 (글자, 소리, 그림) 을 계속 바꾸면, AI 가 방어하는 속도가 훨씬 빨라집니다. AI 가 "아, 이번엔 그림으로 물어보는구나"라고 적응하기 전에 다음 질문이 오기 때문입니다.
3. 모델마다 약점이 다름: 어떤 AI 는 소리에 약하고, 어떤 AI 는 그림에 약합니다. "무조건 다 안전하다"가 아니라, 각 AI 제조사별로 어떤 방식에 약한지 따로 테스트해야 한다는 것을 보여줍니다.

5. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 가 글자만 잘 거절한다고 해서 안전하다고 생각하면 안 된다"**고 경고합니다.

AI 가 점점 더 똑똑해지고 여러 감각을 갖추게 되면서, 해커들도 더 교묘하게 (소리로, 그림으로, 여러 번에 걸쳐) AI 를 속일 수 있게 되었습니다. MUSE 는 이런 새로운 위협을 미리 발견하고, AI 개발자들이 **"우리 AI 가 그림이나 소리로 물어봐도 안전한가?"**를 스스로 점검할 수 있게 해주는 필수적인 도구입니다.

한 줄 요약:

"AI 가 글자로만 거절하는 건 충분하지 않습니다. 소리나 그림으로, 그리고 여러 번에 걸쳐 질문하면 AI 도 넘어갑니다. MUSE 는 이런 새로운 방식의 공격을 미리 찾아내어 AI 를 더 안전하게 만드는 도구입니다."

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 안전성 평가와 레드팀링 (Red-teaming) 은 여전히 텍스트 중심으로 이루어지고 있습니다. 기존의 프레임워크들은 오디오, 이미지, 비디오와 같은 비텍스트 입력에 대한 정렬 (Alignment) 이 일반화되는지를 체계적으로 테스트할 수 있는 인프라가 부족합니다.

주요 문제점은 다음과 같습니다:

• 단편적인 평가: 기존 연구들은 텍스트 공격 방법론 (멀티턴 전략) 과 멀티모달 안전성 (비텍스트 입력) 을 별개의 영역으로 다루고 있어, 서로 다른 모드 (Modality) 가 교차하는 멀티턴 대화에서의 안전성 취약점을 포착하지 못합니다.
• 이진 평가의 한계: 대부분의 평가가 '성공/실패'의 이진 지표 (Binary ASR) 에만 의존하여, 완전한 안전 우회와 부분적인 정보 유출 (Partial Compliance) 을 구분하지 못합니다.
• 인프라 부재: 멀티턴 공격, 크로스모달 페이로드 생성, 자동화된 안전 판정을 하나의 재현 가능한 파이프라인으로 통합한 도구가 존재하지 않았습니다.

2. 방법론 (Methodology)

이 논문은 MUSE(Multimodal Unified Safety Evaluation) 라는 오픈소스 플랫폼을 제안합니다. 이는 브라우저 기반의 단일 시스템으로, 다음과 같은 핵심 기술들을 통합합니다.

A. 런 중심 아키텍처 (Run-Centric Architecture)

• Run(실행) 을 핵심 단위: 공격 설정, 대화 상태, 미디어 자산, 평가 결과를 기록하는 영구적인 엔티티인 'Run'을 중심으로 워크플로우를 구성합니다.
• 재현성: 배치 실행, 목표 단위 중단/재개, 실시간 SSE 스트리밍을 지원하여 대규모 크로스모달 레드팀링을 가능하게 합니다.

B. 멀티모달 페이로드 생성 및 라우팅

• 크로스모달 변환: 생성된 텍스트를 TTS(음성 합성), 이미지 렌더링, 비디오 합성 (FFmpeg) 으로 자동 변환합니다.
• 공급사 중립적 라우팅: OpenAI, Google, Anthropic, Qwen 등 4 개 공급사의 6 개 모델을 지원하는 통일된 인터페이스를 제공합니다.

C. 공격 전략 및 ITMS (Inter-Turn Modality Switching)

• 기존 알고리즘 통합: Crescendo, PAIR, Violent Durian 등 3 가지 멀티턴 공격 알고리즘을 구현했습니다.
• ITMS 도입: 멀티턴 공격의 각 턴마다 전달 모달리티 (텍스트, 오디오, 이미지, 비디오) 를 회전시키는 제어된 방법론입니다. 이는 모달리티 전환 자체가 모델의 정렬을 불안정하게 하는지, 아니면 특정 모달리티의 특성 때문인지 규명하기 위해 설계되었습니다.

D. 이중 지표 평가 체계 (Dual-Metric Evaluation)

• 5 단계 안전 분류: LLM 판사 (Judge) 가 응답을 5 단계 (Compliance, Partial Compliance, Indirect Refusal, Direct Refusal, Non-Responsive) 로 분류합니다.
• Hard ASR vs Soft ASR:
  • Hard ASR: 완전한 준수 (Compliance) 만을 성공으로 간주.
  • Soft ASR: 부분적 준수 (Partial Compliance) 도 포함.
  • Gray Zone Width (GZW): 두 지표의 차이를 통해 모델이 완전히 거부하지는 않았지만 해로운 정보를 부분적으로 유출하는 '회색 지대'의 정도를 정량화합니다.

3. 주요 기여 (Key Contributions)

1. 통합 플랫폼: 크로스모달 페이로드 생성, 멀티턴 공격 오케스트레이션, 자동화된 안전 판정을 하나의 아키텍처로 통합한 최초의 런 중심 플랫폼을 제시했습니다.
2. 세분화된 평가 지표: 이진 평가를 넘어 부분적 정보 유출까지 포착하는 5 단계 분류 체계와 Hard/Soft ASR 지표를 도입했습니다.
3. ITMS 방법론: 모달리티 경계를 넘어 정렬이 일반화되는지 탐구하기 위한 '턴 간 모달리티 전환' 기법을 제안하고, 이를 통해 모달리티 전환이 초기 방어선을 무너뜨리는 가속화 메커니즘임을 규명했습니다.

4. 실험 결과 (Results)

4 개 공급사의 6 개 멀티모달 LLM 에 대해 약 3,700 회의 레드팀링 실행을 수행한 결과는 다음과 같습니다.

• 단일 턴 vs 멀티턴: 모든 모델은 단일 턴 공격에서 90100% 의 거부율을 보였으나, **멀티턴 전략 (Crescendo, PAIR) 을 사용하면 90100% 의 공격 성공률 (ASR) 을 기록**하여 단일 턴 방어선이 무너지는 것을 확인했습니다.
• ITMS 의 효과:
  • ITMS 는 이미 포화된 베이스라인의 최종 ASR 을 균일하게 높이지는 않았지만, 초기 턴의 방어선을 불안정하게 만들어 수렴 속도를 가속화했습니다.
  • 예를 들어, ITMS-Crescendo 는 6 개 모델 중 4 개에서 성공까지 필요한 턴 수를 줄였습니다.
• 모달리티 효과의 모델 의존성:
  • Gemini 모델: 비텍스트 모달리티 (오디오, 이미지) 가 텍스트보다 ASR 을 2~6%p 높였습니다.
  • Qwen 모델: 비텍스트 모달리티가 오히려 ASR 을 낮췄습니다 (예: Qwen2.5-Omni 의 이미지 전용은 텍스트 대비 14%p 감소). 이는 공급사마다 비텍스트 입력에 대한 필터링 강도가 다르다는 것을 시사합니다.
• 위험 카테고리: 사기 (Fraud) 관련 목표가 가장 취약했고, 약물 (Drugs) 과 무기 (Weapons) 는 가장 견고했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 평가의 패러다임 전환: 텍스트 중심의 평가를 넘어, 멀티모달 환경에서의 안전성, 특히 모달리티 간 전환 (Modality Switching) 이 안전 정렬에 미치는 영향을 체계적으로 분석할 수 있는 기반을 마련했습니다.
• 모델별 맞춤형 테스트의 필요성: 모달리티 효과가 모델 패밀리 (Provider) 에 따라 정반대일 수 있음을 발견하여, 안전성 테스트가 공급사를 고려한 크로스모달 방식으로 수행되어야 함을 강조했습니다.
• 실용적 도구: 오픈소스 플랫폼 MUSE 를 통해 연구자와 개발자가 대규모로 재현 가능한 멀티모달 레드팀링을 수행할 수 있게 되었습니다.

결론적으로, MUSE 는 멀티모달 LLM 의 안전성이 단일 모달리티에 국한되지 않고, 복잡한 멀티턴 상호작용과 모달리티 전환을 통해 어떻게 우회될 수 있는지를 입증하며, 향후 더 정교한 안전 평가 기준과 인프라의 필요성을 제기합니다.