기술 요약: GenSyn10

문제 정의

생성형 AI의 급격한 발전은 신뢰할 수 있는 탐지 메커니즘의 발전을 앞질렀습니다. AI 생성 이미지 탐지의 핵심 과제는 분포 외(OOD) 생성기 변화(generator shift) 문제입니다. 특정 생성기(예: Stable Diffusion v1.4)에 대해 학습된 탐지기는 구조적으로 구별되는 미지의 생성기 출력에 대해 일반화 성능이 떨어지는 경우가 많습니다. CIFAKE와 같은 기존 벤치마크는 오래된 단일 생성기 데이터셋에 의존하거나 표준화된 생성 프로토콜이 부족하여, 교차 생성기 일반화에 대한 통제된 평가를 방해합니다. 또한, 현재의 벤치마크들은 최신 세대의 오픈 소스 모델을 포함하지 못하는 경우가 많아, Rectified Flow Transformer, Mixture-of-Experts (MoE), Multimodal Diffusion Transformer와 같은 현대적 아키텍처 패러다임에 대해 탐지기가 어떻게 작동하는지에 대한 이해의 공백을 남깁니다.

방법론

데이터셋 구축: GenSyn10

저자들은 CIFAR-10 구조(10개 클래스, 32×32 해상도, 총 60,000개 이미지)와 정렬된 합성 이미지 데이터셋인 GenSyn10을 소개합니다.

• 생성기: 이미지는 서로 다른 아키텍처 계열을 대표하는 세 가지 최첨단 오픈 소스 모델을 사용하여 생성되었습니다:
  1. FLUX.2-dev: Rectified Flow Transformer를 활용합니다.
  2. HunyuanImage-3.0: Autoregressive Mixture-of-Experts (MoE) 아키텍처를 채택했습니다.
  3. Qwen-Image-2512: Multimodal Diffusion Transformer (MMDiT)와 동결된 Qwen2.5-VL 시각-언어 모델을 결합합니다.
• 프롬프트 엔지니어링: 조합형 템플릿 기반 프롬프트 엔진은 클래스당 100,000개 이상의 고유한 프롬프트 조합을 생성합니다. 프롬프트는 6개의 슬롯(Instance, Scene, View, Lighting, Action, Opener)에 걸쳐 구조화되어 있으며, "Clean" 및 "Hard" 난이도 티어(폐쇄, 모션 블러 등 도입)를 포함합니다.
• 표준화: 모든 이미지는 512×512 해상도로 생성된 후 일관성을 보장하기 위해 Lanczos 리샘플링을 사용하여 32×32로 다운샘플링되었습니다.
• OOD 프로토콜: 일반화 능력을 평가하기 위해, Stable Diffusion 3.5 Large를 **홀드아웃 생성기(held-out generator)**로 사용합니다. 이 모델은 훈련 세트에서 제외되지만, 성능 저하가 프롬프트나 해상도 차이가 아닌 아키텍처 변화에 의한 것임을 보장하기 위해 별도의 OOD 평가용 테스트 세트를 생성하는 데 사용됩니다.

벤치마크 프로토로콜

본 논문은 7개 모델 계열(VGG, ResNet, DenseNet, EfficientNet, ViT, Swin, ConvNeXt 포함)에 걸친 17개의 분류 아키텍처를 4단계 평가 프로토콜을 통해 평가합니다:

1. 베이스라인 (S1): CIFAR-10으로 초기화된 모델을 CIFAR-10 테스트 세트에서 평가합니다.
2. 제로샷 전이 (S2): 미세 조정 없이 동일한 모델을 GenSyn10 테스트 세트에서 평가합니다.
3. 유지력 (S3): GenSyn10으로 미세 조정한 후 CIFAR-10 테스트 세트에서 평가하여 파괴적 망각(catastrophic forgetting)을 측정합니다.
4. 적응 (S4): GenSyn10으로 미세 조정한 후 GenSyn10 테스트 세트에서 평가합니다.

또한, 이진 실사 vs 합성 분류(binary real-vs-synthetic classification) 작업이 수행됩니다. 모델은 실제 CIFAR-10 이미지와 GenSyn10 합성 이미지를 구분하도록 학습되며(In-Distribution), 이후 홀드아웃 생성기인 Stable Diffusion 3.5 Large의 합성 이미지에 대해 테스트됩니다(Out-of-Distribution).

주요 기여

1. 다중 생성기 벤치마크: GenSyn10은 FLUX.2-dev, HunyuanImage-3.0, Qwen-Image-2512를 포함하여 이전 벤치마크에는 없던 독특한 생성 계열을 다루는 최초의 CIFAR-10 대응 데이터셋입니다.
2. 조합형 프롬프트 문법: 제어 가능한 난이도를 가진 다양하고 재현 가능한 생성을 보장하며 프롬프트-콘텐츠 혼란(confound)을 제거하는 표준화된 템플릿 기반 시스템을 제공합니다.
3. 포괄적인 분류기 벤치마크: 4단계 프로토콜 하에 17개 아키텍처를 체계적으로 평가하여 현재 세대 합성 이미지에 대한 성능 베이스라인을 확립합니다.
4. 체계적인 OOD 진단: 홀드아웃 생성기를 사용하는 통제된 실험 설정을 통해 미지의 아키텍처에 대한 탐지기의 취약성을 정량화하고, 아키텍처적 귀납 편향(inductive bias)이 OOD 회복력의 주요 결정 요인임을 입증합니다.

결과

제로샷 및 미세 조정 성능

• 제로샷 전이: CIFAR-10으로 학습된 모델들은 GenSyn10에 대해 높은 의미론적 전이 가능성을 보였습니다. 가장 우수한 모델(Swin-Base)은 **96.86%**의 제로샷 정확도를 달달성했으며, 가장 약한 모델(MNASNet-1.0)도 74.32%에 도달했습니다.
• 미세 조정 적응: GenSyn10으로 미세 조정한 후, 거의 모든 모델이 98.5% 이상의 정확도를 초과했으며, ConvNeXt-Base는 **99.88%**를 달성했습니다.
• 유지력: 트랜스포머 기반 모델(ViT, Swin)은 고전적인 CNN(예: ResNet-50은 52.02%로 하락)이 상당한 망각을 겪은 것과 비교하여, 원래의 CIFAR-10 지식을 유지하는 데 더 우수한 성능(예: ViT-Base/16은 95.12% 유지)을 보였습니다.

이진 실사 vs 합성 분류

• 내부 분포 (In-Distribution): 모델들은 GenSyn10 테스트 세트에서 포화에 가까운 성능을 보였으며, Swin-Base는 **99.94%**의 정확도에 도달했습니다.
• 분포 외 (Out-of-Distribution): 홀드아웃 생성기인 Stable Diffusion 3.5 Large에 대해 테스트했을 때, 모든 모델에서 3.80 ~ 18.15 퍼센트 포인트의 정확도 하락이 발생했습니다.
  • ViT-Base/16은 가장 강력한 OOD 회복력을 보여주었으며, 가장 작은 정확도 하락(-3.80%)과 가장 높은 OOD 정확도(96.08%)를 기록했습니다.
  • ConvNeXtV2-Base는 가장 큰 하락(-18.15%)을 겪었습니다.
• 분석: 성능 저하는 주로 **합성 재현율(synthetic recall)**의 하락(보이지 않는 합성 이미지를 실사로 오분류)에 의해 주도되었으며, 특이도(specificity)는 높게 유지되었습니다. 정확도 하락에도 불구하고 AUC 점수가 1.0에 가깝게 유지된 것은, 임계값을 적용한 성능은 저하될지라도 모델이 실사와 합성을 순위 매기는 능력은 유지하고 있음을 시사합니다.

의의 및 주장

본 논문은 GenSyn10을 "OOD 생성기 변화" 문제를 해결하기 위한 통제된 벤치마크로 포지셔닝하며, 이를 해당 분야의 핵심적인 개방형 과제로 식별합니다. 저자들은 다음과 같이 주장합니다:

• 아키텍처 편향의 중요성: 결과는 아키텍처적 귀납 편향(특히 트랜스포머의 전역적 셀프 어텐션)이 모델 용량 자체보다 OOD 회복력에 더 중요한 요소임을 시사합니다.
• 일반화의 한계: 알려진 생성기에 대한 높은 성능이 미지의 아키텍처에 대한 강건성을 보장하지는 않으며, 이는 현재 탐지 방법의 지속적인 취약성을 강조합니다.
• 표준화: 홀드아웃 평가 프로토콜을 갖춘 표준화된 다중 생성기 데이터셋을 제공함으로써, GenSyn10은 특정 아티팩트 특징에 과적합될 수 있는 단일 생성기 벤치마크를 넘어 도메인 적응 및 교차 생성기 일반화에 대한 원칙적인 연구를 가능하게 합니다.

저자들은 GAN, 일관성 모델(consistency models) 등의 제외와 생성 오류에 대한 수동 검사의 의존성 등 한계점을 언급했으나, 생성 모델이 진화함에 따라 데이터셋의 확장성이 높다는 점을 강조했습니다.