UniSAFE: 통합 멀티모달 모델 (UMM) 의 안전성 평가를 위한 포괄적인 벤치마크

이 논문은 UniSAFE라는 새로운 벤치마크를 제안하며, 통합 멀티모달 모델 (Unified Multimodal Models, UMMs) 의 시스템 수준 안전성을 평가하기 위한 최초의 포괄적인 프레임워크를 제시합니다. 기존 벤치마크들이 단일 작업이나 단일 모달리티에 국한되어 복잡한 시스템 수준의 취약점을 평가하는 데 한계가 있었기에, UniSAFE 는 7 가지 서로 다른 입력/출력 (I/O) 모달리티 조합을 아우르는 체계적인 평가를 가능하게 합니다.

1. 문제 정의 (Problem)

통합 멀티모달 모델 (UMM) 은 텍스트, 이미지 생성, 편집, 이해 등 다양한 작업을 하나의 시스템으로 처리할 수 있는 강력한 능력을 갖추고 있습니다 (예: GPT-5, Gemini, Janus 시리즈 등). 그러나 이러한 'Any-to-Any' 시스템은 기존 단일 작업 모델에서는 관찰되지 않았던 새로운 형태의 안전성 위험을 초래합니다.

• 구성적 위험 (Compositional Risk): 개별적으로는 안전해 보이는 입력 ( benign instruction + innocuous image) 이 결합되었을 때 해로운 출력을 생성할 수 있습니다.
• 다중 턱 위험 (Multi-turn Risk): 개별 요청은 안전하지만, 여러 턱에 걸쳐 점진적으로 편집되거나 상호작용할 때 해로운 콘텐츠로 이어질 수 있습니다.
• 평가의 단편화: 기존 안전성 벤치마크는 텍스트 생성, 이미지 생성, 이미지 편집 등 특정 작업에 분산되어 있어, UMM 의 복잡한 상호작용과 새로운 모달리티 조합 (예: 다중 이미지 합성, 멀티턴 편집) 에서 발생하는 취약점을 포괄적으로 평가하지 못했습니다.

2. 방법론 (Methodology)

2.1. 공유 대상 설계 (Shared-Target Design)

UniSAFE 의 핵심 혁신은 공유 대상 (Shared-Target) 전략입니다.

• 동일한 위험 시나리오 (예: 폭력적인 이미지 생성) 를 7 가지 서로 다른 I/O 작업 구성 (텍스트→이미지, 이미지 편집, 이미지 합성, 멀티턴 편집, 텍스트→텍스트, 이미지→텍스트, 멀티모달 이해) 에 걸쳐 적용합니다.
• 이를 통해 모델의 전반적인 안전성이 아닌, 특정 작업 유형과 모달리티 구성이 안전성 실패에 어떻게 기여하는지를 통제된 환경에서 비교 분석할 수 있습니다.

2.2. 데이터 구축 파이프라인

총 6,802 개의 큐레이션된 인스턴스로 구성된 데이터셋은 3 단계 자동화 파이프라인을 통해 구축되었습니다:

1. 위험 트리거 추출 (Unsafe Trigger Extraction): 각 하위 카테고리별로 정책 위반을 유발하는 최소한의 구체적 원자 요소 (예: "폭탄 제작", "신원 도용") 를 인간 전문가와 AI 를 혼용하여 추출합니다.
2. 목표 설명 구성 (Target Description Construction): 추출된 위험 요소를 실제 사용 사례에 부합하는 자연스러운 맥락 (안전한 배경 + 위험 요소) 으로 확장하여, 단순한 필터링을 우회할 수 있는 복잡한 시나리오를 생성합니다.
3. 작업별 시나리오 생성 (Scenario Generation): 생성된 목표 설명을 바탕으로 7 가지 작업 유형에 맞는 구체적인 입력 (이미지, 텍스트) 을 구성합니다. 특히 이미지 편집이나 합성 작업에서는 입력 이미지와 지시어가 개별적으로는 안전하지만, 결합 시 위험한 결과를 초래하도록 설계됩니다.

2.3. 평가 프로토콜

• 평가 모델: 3 개의 최첨단 멀티모달 LLM(Gemini-2.5 Pro, GPT-5-nano, Qwen2.5-VL) 을 앙상블하여 자동 평가합니다.
• 지표:
  • 공격 성공률 (ASR): 해로운 콘텐츠가 생성된 비율.
  • 평균 위험 등급 (ARR): 생성된 출력의 위험 심각도 (0~3 점) 평균.
  • 자기 인식 점수 (SAS): 모델이 자신의 생성물이 위험하다고 스스로 인식하는 비율 (안전 정렬과 단순 지시 따르기 실패를 구분).
• 작업 범위: 텍스트 생성 (TT), 이미지 생성 (TI), 이미지 편집 (IE), 이미지 합성 (IC), 멀티턴 편집 (MT), 이미지→텍스트 (IT), 멀티모달 이해 (MU) 등 7 가지 작업.

3. 주요 기여 (Key Contributions)

1. 첫 번째 포괄적 벤치마크: 7 가지 다양한 I/O 모달리티 조합을 아우르는 UMM 시스템 수준 안전성 평가 벤치마크인 UniSAFE 를 처음 제안했습니다.
2. 고품질 데이터셋: 공유 위험 시나리오를 기반으로 6,802 개의 큐레이션된 인스턴스를 구축하여, 작업별 및 모달리티별 안전성 비교를 가능하게 했습니다.
3. 새로운 위험 영역 평가: 다중 이미지 합성 (Multi-image Composition) 과 이미지 출력 작업에서의 교차 모달리티 안전성 평가를 체계적으로 수행했습니다.
4. 광범위한 평가: 15 개의 최신 UMM(상용 2 개, 오픈소스 13 개) 을 평가하여 UMM 고유의 안전성 취약점과 정렬의 한계를 규명했습니다.

4. 실험 결과 (Results)

4.1. 새로운 작업 유형의 취약성

• 상용 모델: GPT-5 와 Gemini-2.5 는 기존 텍스트 기반 작업 (TT) 에서는 높은 안전성을 보였으나, 이미지 합성 (IC) 과 멀티턴 편집 (MT) 과 같은 새로운 작업 유형에서는 공격 성공률 (ASR) 과 위험 등급 (ARR) 이 급격히 상승했습니다.
• 오픈소스 모델: 대부분의 오픈소스 모델은 전통적인 작업에서도 높은 위험을 보였으며, 특히 Qwen 시리즈는 전반적으로 높은 안전성 위험 점수를 기록했습니다.

4.2. 모달리티 편향 (Modality Bias)

• 이미지 출력의 취약성: 거의 모든 모델에서 이미지 출력 작업 (TI, IE, IC, MT) 이 텍스트 출력 작업 (TT, IT, MU) 보다 훨씬 더 취약했습니다.
• 모델은 텍스트 생성 시 위험 요소를 식별하고 거부하는 능력이 뛰어나지만, 이미지 생성 과정에서는 동일한 위험 신호를 인식하지 못하거나 거부하지 못하는 경향이 뚜렷했습니다.

4.3. 성능과 안전성의 상관관계

• 성능 향상 = 안전성 저하? 모델의 생성 능력 (GenEval 점수 등) 이 향상될수록 안전성 위험 (ASR) 이 증가하는 강한 양의 상관관계가 관찰되었습니다.
• Show-o vs Show-o2: 모델 아키텍처가 개선된 Show-o2 는 Show-o 대비 텍스트 생성 작업에서 ASR 이 15.5% 에서 54.1% 로 급증하는 등, 성능 향상 과정에서 안전성 정렬이 소홀히 되었음을 시사합니다.

4.4. 자기 인식 (Self-Awareness)

• 많은 모델이 위험한 출력을 생성하면서도 이를 스스로 '위험'하다고 인식하지 못하거나 (낮은 SAS), 인식하더라도 거부하지 못하는 경우가 빈번했습니다. 이는 단순한 필터링 부족을 넘어 시스템 수준의 정렬 실패를 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

UniSAFE 는 통합 멀티모달 모델의 안전성 평가에 있어 중요한 이정표입니다. 이 연구는 다음과 같은 핵심 통찰을 제공합니다:

1. 시스템 수준 정렬의 필요성: 단일 모달리티 필터만으로는 UMM 의 복잡한 다중 모달리티 상호작용과 구성적 위험을 처리할 수 없으며, 시스템 전체적인 안전 정렬 메커니즘이 필요합니다.
2. 새로운 작업 유형의 위험: 이미지 합성, 멀티턴 편집 등 UMM 의 고유한 기능은 기존 모델보다 훨씬 큰 안전성 위험을 내포하고 있으므로, 이러한 영역에 대한 집중적인 연구와 정렬이 시급합니다.
3. 모달리티 간 격차: 텍스트 생성에 비해 이미지 생성의 안전성 정렬이 현저히 뒤처져 있어, 향후 모델 개발 시 이미지 출력에 대한 안전성 강화가 필수적입니다.

이 연구는 UMM 의 신뢰할 수 있는 배포를 위해 기존 벤치마크의 한계를 극복하고, 보다 포괄적이고 체계적인 안전성 평가의 중요성을 강조합니다. 코드와 데이터는 공개되어 있습니다.