Can Visual Mamba Improve AI-Generated Image Detection? An In-Depth Investigation

기술 요약: 비전 망바 (Visual Mamba) 가 AI 생성 이미지 탐지를 개선할 수 있는가? 심층 조사

문제 제기
생성적 GAN(Generative Adversarial Networks), 확산 모델 (diffusion models), 비전 - 언어 모델 (Vision-Language Models, VLMs) 을 포함한 생성형 AI 의 급속한 발전으로 인해 점점 더 사실적인 합성 이미지가 생성되고 있습니다. 콘텐츠 제작에 유익한 측면이 있지만, 이 기술은 허위 정보, 신원 도용, 사생활 침해와 관련하여 심각한 위험을 초래합니다. 따라서 견고한 탐지 메커니즘 개발이 필수적입니다. 합성 이미지 탐지 작업에 대해 합성 신경망 (CNNs), 비전 트랜스포머 (ViTs), VLMs 가 광범위하게 연구되어 왔지만, 상태 공간 모델 (State Space Models, SSMs) 을 기반으로 한 비전 망바 (Vision Mamba) 아키텍처의 잠재력은 여전히 largely 미개척 상태입니다. 본 연구는 비전 망바 모델이 AI 생성 이미지를 효과적으로 탐지할 수 있는지, 특히 정확도, 효율성, 그리고 다양한 생성 소스 전반에 걸친 일반화 능력을 중점적으로 평가함으로써 문헌의 공백을 해소합니다.

방법론
저자들은 ResNet, Xception 과 같은 CNN, ViT, DeiT 와 같은 트랜스포머, 그리고 AntifakePrompt, Bi-LORA 와 같은 VLM 기반 탐지기 등 확립된 최첨단 (SOTA) 베이스라인에 대비하여 세 가지 서로 다른 비전 망바 변형 모델을 벤치마크한 포괄적인 실증 연구를 수행했습니다.

• 평가된 모델:
  • Vim: 양방향 SSM 경로와 위치 임베딩을 활용하는 최초의 순수 SSM 기반 비전 모델.
  • MambaVision: 국소 특징을 위한 CNN 과 재설계된 망바 블록 및 전역 의존성을 위한 자기 주의 (self-attention) 를 결합한 하이브리드 아키텍처.
  • VSSD (Visual State Space Duality): 인과적 제약 없이 2D 이미지 데이터를 처리하도록 설계된 상태 공간 이중성 (State Space Duality) 모델의 비인과적 변형으로, 다중 스캔 전략을 활용합니다.
• 데이터셋: 실험은 세 가지 다양한 데이터셋에서 수행되었습니다.
  • AntifakePrompt: MS COCO 및 Flickr 의 실제 이미지와 SD2, SDXL, DALL-E 2 등 다양한 텍스트 - 이미지 모델 및 공격 시나리오 (적대적, 백도어, 데이터 중독) 로부터 생성된 합성 이미지를 포함합니다.
  • Bedroom: LSUN Bedroom 의 실제 이미지와 LDM, ADM, DDPM, SDv1.4, GLIDE 등 무조건부 및 텍스트 - 이미지 확산 모델로 생성된 합성 이미지를 구성합니다.
  • UniversalFakeDetect: LSUN, ImageNet, LAION 의 실제 이미지와 GAN, Diffusion, DeepFakes 등 20 가지 다른 생성 모델에서 생성된 합성 이미지를 포함한 대규모 데이터셋입니다.
• 실험 프로토콜: 모델들은 특정 훈련 분할 (예: AntifakePrompt 의 경우 MS COCO 대 SD2+LaMa) 에서 미세 조정되거나 처음부터 훈련되었으며, 보지 못한 생성 모델의 이미지를 포함한 홀드아웃 테스트 세트에서 평가되어 생성기 간 일반화를 평가했습니다. 성능은 정확도 (ACC) 로 측정되었습니다.

주요 기여

1. 비전 망바의 체계적 평가: 본 논문은 AI 생성 이미지 탐지 작업에 특화된 비전 망바 아키텍처 (Vim, MambaVision, VSSD) 에 대한 최초의 엄격한 벤치마크를 제공합니다.
2. 비교 분석: 이 연구는 여러 데이터셋과 생성 소스에 걸쳐 SSM 기반 모델을 CNN, 트랜스포머, VLM 과 비교한 상세한 분석을 제공합니다.
3. 일반화 한계 식별: 이 연구는 현재 비전 망바 모델의 중요한 한계를 강조합니다. 즉, 훈련과 테스트가 동일한 생성 분포에서 발생할 때는 경쟁력 있는 성능을 발휘하지만, 보지 못한 생성기에 적용될 경우 성능이 현저히 저하됩니다.
4. 아키텍처 통찰: 저자들은 이러한 한계의 구조적 원인을 분석하여, 트랜스포머의 전역 수용 영역 (global receptive field) 에 비해 합성 콘텐츠를 구별하는 데 필요한 전역 공간 의존성과 세밀한 아티팩트를 포착하는 데 어려움을 겪는 SSM 의 순차적 특성을 그 원인으로 꼽았습니다.

결과

• 일반화 성능: 비전 망바 모델은 보지 못한 생성 모델의 이미지로 테스트되었을 때 정확도가 크게 떨어졌습니다. 예를 들어, AntifakePrompt 데이터셋에서 VSSD 와 같은 모델은 훈련 분포 (SD2) 에서 거의 완벽한 정확도를 달성했지만, SDXL(0.23%) 및 DALL-E 2(14.00%) 와 같은 보지 못한 모델에서는 성능이 붕괴되었습니다.
• SOTA 와의 비교:
  • VLM 및 대형 모델: AntifakePrompt 및 Bi-LORA 와 같이 수십억 개의 파라미터를 가진 모델들은 다양한 보지 못한 생성기와 적대적 공격에 걸쳐 높은 정확도를 유지하며 우수한 일반화 능력을 보여주었습니다.
  • 트랜스포머: 주의 기반 모델 (ViT, DeiT) 은 중간에서 강한 견고성을 보였으며, 종종 생성기 간 시나리오에서 비전 망바 모델보다 우수한 성능을 발휘했습니다.
  • 비전 망바: 계산 효율성과 낮은 파라미터 수에도 불구하고, 비전 망바 모델은 일반적으로 트랜스포머 및 VLM 대응 모델 (종종 90% 이상) 에 비해 낮은 평균 정확도 (약 70%) 를 달성했습니다. 특히 무조건부 확산 모델 (예: ADM, DDPM) 과 적대적 교란에 취약했습니다.
• 특징 시각화: t-SNE 시각화는 비전 망바 탐지기가 특정 생성기 (예: ProGAN) 에 대해서는 실제 이미지와 가짜 이미지를 분리할 수 있었지만, 보지 못한 생성기에 대한 특징 분포는 중첩이 심하여 일반화 가능한 아티팩트를 학습하지 못했음을 보여주었습니다.

의의 및 주장
본 논문은 비전 망바 아키텍처가 유망한 효율성과 속도를 제공하지만, 현재 AI 생성 이미지 탐지 분야에서 상당한 장애물에 직면해 있다고 결론지었습니다. 저자들은 표준 SSM 의 순차적이고 인과적인 특성이 시각 데이터에 내재된 복잡하고 비인과적인 공간 관계를 모델링하는 능력을 제한하며, 이는 미묘한 생성 아티팩트를 탐지하는 데 필수적이라고 주장합니다.

이 연구의 의의는 비전 망바의 현재 능력을 정직하게 평가한 데 있습니다. 전역 주의 또는 대규모 멀티모달 사전 훈련을 활용하여 견고한 일반화를 달성하는 트랜스포머 및 VLM 과는 달리, 비전 망바 모델은 상당한 아키텍처 수정 없이는 다양한 보지 못한 분포에 걸쳐 AI 생성 이미지를 탐지하는 데 현재 적합하지 않음을 확립합니다. 저자들은 향후 연구가 이 성능 격차를 해소하기 위해 하이브리드 SSM-Attention 아키텍처, 개선된 2D 스캔 전략, 그리고 주파수 영역 구성 요소에 집중해야 한다고 제안합니다. 본 연구는 효율성 향상이 현실 세계 보안 응용 프로그램에 필요한 일반화 견고성을 희생해서는 안 된다는 경계적 벤치마크 역할을 합니다.