Intermediate Representations are Strong AI-Generated Image Detectors

기술적 요약: 중간 표현은 강력한 AI 생성 이미지 탐지기입니다

문제 제기
GAN, VAE, Diffusion 모델과 같은 생성형 AI 모델의 급속한 발전은 사실적인 합성 이미지 생성을 가능하게 하여, 오용, 딥페이크, 저작권 침해, 그리고 향후 학습 데이터셋의 오염 가능성에 대한 심각한 우려를 불러일으켰습니다. 효과적인 탐지는 중요하지만, 현재의 해결책은 이분법에 직면해 있습니다: 학습 기반 방법은 계산 비용이 많이 들고 보지 못한 데이터 도메인에 대한 일반화에 어려움을 겪는 반면, 학습 없는 방법은 종종 탐지 성능이 낮습니다. 기존 학습 없는 접근법은 일반적으로 사전 훈련된 기초 모델의 출력 (최종) 레이어 임베딩에 의존하여, 네트워크의 초기 단계에서 이용 가능한 더 차별화된 특징들을 간과할 수 있습니다.

방법론
저자들은 사전 훈련된 이미지 기초 모델 내의 중간 표현의 민감도를 활용하는 검색 기반, 학습 없는 탐지 프레임워크를 제안합니다. 핵심 가설은 실제 이미지의 임베딩 공간이 AI 생성 이미지의 임베딩 공간보다 교란에 더 강건하며, 이 강건성 격차가 최종 출력 레이어가 아닌 중간 레이어에서 가장 두드러진다는 것입니다.

이 방법은 두 단계로 운영됩니다:

1. 학습/검색 단계: 원본 이미지 ($x$) 와 교란된 버전 ($\epsilon(x)$) 의 이미지 쌍이 고정된 사전 훈련된 특징 추출기 (예: CLIP 또는 DINOv2) 에 입력됩니다. 사용되는 교란은 **초점 흐림 (defocus blur)**으로, 미세한 세부 사항을 약화시키면서 전역적 의미 구조를 유지합니다. 시스템은 모든 레이어 ($\ell = 1$에서 $L$까지) 에 걸쳐 원본 이미지와 교란된 이미지의 임베딩 간 코사인 유사도를 계산합니다. 레이블이 지정된 학습 데이터의 작은 하위 집합을 사용하여, 실제 및 가짜 이미지 쌍을 구별하는 데 AUROC 점수를 최대화하는 최적의 중간 레이어 ($\ell_{opt}$) 를 알고리즘이 검색합니다.
2. 추론 단계: $\ell_{opt}$가 식별되면, 탐지기는 모든 미래 예측을 위해 오직 이 특정 중간 레이어의 임베딩만 사용합니다. 유사도 임계값 $\tau$에 기반한 이진 분류가 수행됩니다: 코사인 유사도 $S(x, \epsilon(x), \ell_{opt}) < \tau$이면, 이미지는 AI 생성으로 분류됩니다.

중요하게도, 전체 과정에서 기본 모델의 가중치와 아키텍처는 고정된 상태로 유지되며, 미세 조정이나 가중치 수정은 발생하지 않습니다. "학습"은 최적 레이어 인덱스를 검색하는 것으로 엄격히 제한됩니다.

주요 기여

• 중간 레이어의 우위성: 이 논문은 최종 출력 레이어에 비해 중간 레이어가 AI 생성 콘텐츠 탐지를 위해 더 풍부하고 표현력 있는 표현을 포함함을 보여줍니다. 이는 네트워크 깊이에 따른 내재 차원 (ID) 분석에 의해 뒷받침되는데, 이는 초기 레이어에서의 확장, 후기 레이어에서의 압축을 보여주는 "혹등고래" 모양을 드러냅니다. 저자들은 분류와 같은 하류 작업에는 유용할 수 있지만, 실제 이미지와 합성 이미지를 구별하는 데 필요한 미묘한 뉘앙스를 제거할 수 있는 최종 레이어의 압축된 차원을 주장합니다.
• 검색 기반 프레임워크: 저자들은 기초 모델을 수정하지 않고 최적의 탐지 레이어를 식별하는 간단하면서도 효과적인 파이프라인을 도입하여, 학습 없는 방법의 일반화와 학습 기반 방법의 성능 사이의 간극을 메웠습니다.
• 교란 민감도: 이 방법은 초점 흐림에 대한 임베딩 공간의 차별적 강건성을 이용하여, 특정 중간 깊이에서 실제 이미지 임베딩이 AI 생성 임베딩보다 교란 하에서 더 높은 유사도를 유지함을 보여줍니다.

실험 결과
이 방법은 GenImage와 Forensics Small이라는 두 가지 포괄적인 벤치마크에서 평가되었습니다.

• GenImage 벤치마크: 제안된 방법은 평균 AUROC 0.9296을 달성하여, 최상의 학습 없는 베이스라인 (RIGID, 0.8128) 보다 14.37% 더 높고, 최상의 학습 기반 베이스라인 (AIDE, 0.8992) 보다 3.38% 더 높은 성능을 보였습니다.
• Forensics Small 벤치마크: 이 방법은 평균 AUROC 0.8906을 달성하며 상당한 개선을 보여주었습니다. 이는 최상의 학습 없는 방법 (RIGID, 0.6379) 보다 39.61% 개선된 것이며, 최상의 학습 기반 방법 (NPR, 0.8471) 보다 5.14% 개선된 것입니다.
• Ablation 연구:
  • 특징 추출기: CLIP 을 사용하면 DINOv2 보다 우수한 결과를 얻었는데, 이는 중간 레이어에서 CLIP 이 더 높은 내재 차원을 가지기 때문입니다.
  • 교란 유형: 초점 흐림이 가장 효과적인 교란임이 입증되었는데, 이는 위조 아티팩트가 종종 존재하는 미세한 질감을 제거하면서도 전역 구조를 유지하기 때문일 것입니다.
  • 검색 데이터 크기: 학습 데이터의 무작위 샘플링된 하위 집합 (테스트 세트 크기의 30%) 이 최적 레이어를 식별하는 데 충분했으며, 더 작은 하위 집합에서도 성능이 안정적으로 유지되었습니다.

의의 및 주장
이 논문은 일반적으로 사용되는 기초 모델의 출력 임베딩이 AI 생성 이미지 탐지에 비최적이라고 주장합니다. 중간 표현으로 초점을 이동함으로써 저자들은 모델 미세 조정이 필요 없는 계산적으로 효율적이고 최첨단 학습 기반 방법을 능가하는 매우 효과적인 방법을 제공합니다.

저자들은 이 작업을 미래 이미지 기초 모델과 함께 확장 가능한 신뢰할 수 있는 미디어 포렌식 기술의 한 걸음으로 위치시킵니다. 그들은 그들의 접근 방식이 해로운 콘텐츠를 생성하는 것이 아니라, 저작권 침해와 가짜 콘텐츠의 확산과 같은 생성형 AI 관련 위험을 완화하는 도구를 제공한다고 강조합니다. 이 작업은 중간 표현의 "다용도성"이 생성형 AI 의 보안 응용 분야에서 아직 충분히 활용되지 않은 자원임을 시사합니다.