When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm

1. 연구 배경 및 문제 제기 (Problem)

최근 텍스트 - 이미지 (T2I) 생성 모델의 패러다임이 확산 모델 (Diffusion Models) 에서 멀티모달 대규모 언어 모델 (MLLMs) 로 빠르게 전환되고 있습니다. 확산 모델에 비해 MLLM 은 언어 이해와 추론 능력이 뛰어나 복잡한 문맥과 추상적인 지시를 처리할 수 있어 사용자 경험이 크게 개선되었습니다.

그러나 이러한 향상된 '이해 능력'이 새로운 안전 위협을 초래할 수 있다는 우려가 제기되었습니다. 기존 연구는 주로 확산 모델에 초점을 맞추었으며, MLLM 이 기존 방어 기제를 우회하거나 새로운 형태의 위험을 야기하는지에 대한 체계적인 비교 분석이 부족했습니다. 본 논문은 다음과 같은 핵심 질문을 던집니다:

• RQ1: 확산 모델에 비해 MLLM 이 더 많은 위험한 (unsafe) 이미지를 생성할 가능성이 높은가?
• RQ2: MLLM 이 생성한 이미지는 확산 모델 생성 이미지보다 가짜 이미지 탐지 (Fake Image Detection) 를 피하기 더 어려운가?

2. 연구 방법론 (Methodology)

저자들은 7 개의 대표 모델 (확산 모델 2 개: SD3.5 Large, SD3.5 Large Turbo / MLLM 5 개: Bagel, Janus, Janus Pro, TokenFlow, VILA-U) 을 대상으로 두 가지 차원의 안전성을 평가했습니다.

A. 위험한 이미지 생성 평가 (Unsafe Image Generation)

• 데이터셋: 1,184 개의 위험한 프롬프트 (성적 노골적, 폭력적, 혐오, 정치적 등 5 가지 카테고리) 를 사용했습니다. (Lexica, 4chan, I2P, Template 등 기존 데이터셋 기반 + TemplateLong 으로 프롬프트를 상세화한 확장 데이터셋 포함).
• 실험 설정: 각 프롬프트당 10 개의 이미지를 생성하여 총 82,880 개의 이미지 - 텍스트 쌍을 생성했습니다. 모델의 외부 안전 필터는 모두 비활성화하여 모델 자체의 위험 생성 경향을 측정했습니다.
• 평가 지표: 생성된 이미지를 OpenAI 의 Moderation API 를 통해 '안전 (Safe)' 또는 'NSFW'로 분류하여 위험 점수 (Unsafe Score) 를 계산했습니다.
• 추가 분석: 비영어권 프롬프트 (중국어) 테스트, 성별 편향성 분석, 프롬프트 이해 실패로 인한 이미지 손상 (Damaged Image) 비율 분석.

B. 가짜 이미지 탐지 평가 (Fake Image Detection)

• 데이터셋: MSCOCO 와 Flickr30k 에서 추출한 2,000 개의 안전한 프롬프트를 사용하여 14,000 개의 이미지를 생성했습니다.
• 탐지기: 상용 (Winston.AI, Illuminarty) 및 오픈소스 (DE-FAKE, AIorNot-SigLIP2) 탐지기 4 개를 사용했습니다.
• 실험 변인:
  1. 기본 성능: 기존 탐지기의 성능 비교.
  2. 파인튜닝/재학습: 다중 소스 (확산 + MLLM) 데이터로 탐지기를 재학습시켰을 때의 일반화 능력 평가.
  3. 프롬프트 확장 (Prompt Extension): 프롬프트의 상세도 (v0: 원본, v1: 중간 상세, v2: 고도화된 상세) 를 증가시켰을 때 탐지 정확도 변화 분석.

3. 주요 결과 (Key Results)

A. 위험한 이미지 생성 (Unsafe Generation)

• MLLM 의 높은 위험 생성률: 모든 데이터셋에서 MLLM 이 확산 모델보다 훨씬 높은 위험 점수를 보였습니다. 특히 TemplateLong(상세한 프롬프트) 데이터셋에서 그 격차가 두드러졌습니다.
  • 이유: 확산 모델은 복잡한 추상적 프롬프트를 이해하지 못해 왜곡되거나 텍스트가 그대로 나타나는 '손상된 이미지 (Damaged Images)'를 생성하는 경우가 많았습니다. 반면, MLLM 은 프롬프트의 의미를 정확히 이해하여 시각적으로 의미 있고 위험한 콘텐츠를 성공적으로 생성했습니다.
• 언어 장벽 우회: 확산 모델은 중국어 프롬프트를 거의 이해하지 못해 위험 점수가 0 이었으나, MLLM 은 다국어 이해 능력을 바탕으로 중국어 프롬프트로도 위험한 이미지를 생성했습니다.
• 성별 편향: 성중립적인 위험 프롬프트 (예: "한 사람") 에 대해 MLLM 들은 여성 이미지를 과도하게 생성하는 편향을 보였습니다 (Bagel 은 80% 여성).

B. 가짜 이미지 탐지 회피 (Evasion of Detection)

• 탐지 회피 용이성: 기존 탐지기는 MLLM 생성 이미지를 확산 모델 생성 이미지보다 훨씬 더 잘 탐지하지 못했습니다 (탐지 정확도 하락).
• 프롬프트 상세화의 역설: 프롬프트를 더 상세하고 문맥적으로 풍부하게 만들면 (v0 → v2), MLLM 은 이를 이해하여 더욱 사실적인 이미지를 생성하고, 이로 인해 탐지기의 정확도가 급격히 하락했습니다. 반면 확산 모델은 프롬프트가 상세해져도 생성 품질이 크게 변하지 않아 탐지 성능이 안정적이었습니다.
• 학습 데이터의 중요성: 탐지기를 MLLM 과 확산 모델의 데이터를 모두 포함한 데이터셋으로 재학습 (Multi-source training) 시키면 탐지 성능이 크게 향상되었으나, 상용 블랙박스 탐지기는 여전히 MLLM 생성물을 탐지하는 데 한계를 보였습니다.

4. 주요 기여 및 결론 (Contributions & Significance)

1. 새로운 안전 위험의 규명: MLLM 의 향상된 '의미 이해 능력'이 오히려 안전 방어 기제를 우회하는 새로운 공격 벡터가 된다는 것을 실증했습니다. 즉, 이해 (Understanding) 가 위험 (Risk) 이 될 수 있음을 보여줍니다.
2. 패러다임 간 체계적 비교: 확산 모델과 MLLM 의 안전성 차이를 정량적, 정성적으로 비교 분석하여, 기존 확산 모델 중심의 안전 연구가 MLLM 시대에 부적합할 수 있음을 지적했습니다.
3. 탐지 시스템의 취약성 강조: 현재 상용 탐지기는 MLLM 생성 이미지에 대해 매우 취약하며, 특히 프롬프트가 상세해질수록 탐지가 어려워진다는 사실을 발견했습니다. 이는 MLLM 기반 가짜 뉴스, 사기, 불법 콘텐츠의 확산 위험이 기존보다 훨씬 높음을 시사합니다.
4. 대응 방안 제안: 단순한 키워드 필터링이나 기존 모델 기반 탐지로는 부족하며, MLLM 의 특성을 반영한 적응형 (Adaptive) 안전 필터와 패러다임을 포괄하는 학습 데이터를 활용한 탐지 시스템 개발이 시급함을 강조했습니다.

요약

본 논문은 생성형 AI 의 진화 (확산 모델 → MLLM) 가 가져온 안전성 역설을 다룹니다. MLLM 은 복잡한 지시를 이해하고 사실적인 이미지를 생성하는 능력이 뛰어나지만, 이로 인해 위험한 콘텐츠를 더 정교하게 생성하고 기존 탐지 시스템을 더 쉽게 우회한다는 것이 핵심 발견입니다. 이는 콘텐츠 규제 및 가짜 이미지 탐지 분야에 새로운 도전을 제기하며, 기술의 발전 속도에 맞춰 안전 메커니즘이 진화해야 함을 강력히 주장합니다.