기술 요약: 일반화된 AI 생성 이미지 탐지를 위한 GenRes 및 GenRes++

문제 정의

GAN, 확산 모델(diffusion models), 하이브리드 파이프라인을 포함한 생성형 AI의 급격한 발전은 실제 사진과 구별하기 점점 더 어려워지는 AI 생성 이미지(AIGIs)를 양산하고 있습니다. 이러한 능력은 허위 정보, 디지털 신원 도용, 금융 사기 등 심각한 사회적 위협을 초제합니다. 기존의 탐지 방법들은 결정적인 일반화 문제에 직면해 있습니다: 즉, 훈련 과정에서 보지 못한 생성 모델을 마주했을 때 성능이 급격히 저하된다는 점입니다.

기존의 탐지기들은 일반적으로 다음 두 가지 패러다임 중 하나에 속하며, 두 방식 모두 한계를 보입니다:

1. 아티팩트 기반 방법(Artifact-driven methods): 생성기 특유의 지문(예: 주파수 아티팩트, 업샘플링 흔적)을 활용합니다. 알려진 생성기에 대해서는 효과적이지만, 근본적인 합성 메커니즘이 다른 미지의 생성 모델군(예: 확산 모델)을 만날 경우 성능이 크게 저하됩니다.
2. 표현 학습 방법(Representation-learning methods): 이미지를 위조에 민가한 임베딩 공간(예: CLIP)으로 투영합니다. 그러나 이들은 각 이미지를 독립적으로 인코딩하며, 생성 프로세스에 의해 유도되는 관계적 구조를 간과하고 미세한 교차 생성기 아티팩트를 포착하는 데 실패합니다.

핵심 문제는 특정 생성기 패밀리에 불변하면서도 실재 데이터와 합성 데이터 사이의 근본적인 통계적 차이에는 민감하게 반응할 수 있는 탐지 신호의 부재입니다.

방법론: GenRes 및 GenRes++

저자들은 생성 잔차(generative residuals) 개념에 기반한 프레임워크인 GenRes와 그 확장판인 **GenRes++**를 제안합니다. 핵심 가설은 실제 이미지와 합성 이미지가 두 번째 생성 모델(예: 복원, 초해상도 또는 디노이징)에 의해 처리될 때 서로 다르게 반응한다는 것입니다. 실제 이미지는 풍부한 고주파 콘텐츠를 유지하는 출력을 생성하는 반면, AIGI는 변환 네트워크의 귀납적 가정이 소스 생성기에 내재된 분포적 편향과 비선형적으로 상호작용함에 따라 특징적인 잔차 불일치를 나타냅니다.

핵심 아키텍처

이 프레임워크는 네 가지 주요 구성 요소로 이루어집니다:

1. LoRA를 적용한 공유 비전 인코더(Shared Vision Encoder with LoRA):

   • 원본 이미지($I_0$)와 $N$개의 변환된 변체($I_i$)는 모두 공유된 PE-Core ViT(Vision Transformer)를 사용하여 인코딩됩니다.
   • 사전 학습된 시맨틱 표현을 보존하기 위해 백본은 동결 상태로 유지됩니다.
   • **LoRA(Low-Rank Adaptation)**는 셀프 어텐션 레이어의 쿼리(query), 키(key), 값(value) 투영 행렬에 적용됩니다. 이를 통해 최소한의 학습 가능한 파라미터(rank $r=6$)만으로 작업 특화적인 특징 적응이 가능합니다.
   • 특징들은 압축된 임베딩 공간($d=256$)으로 투영됩니다.

2. 교차 어텐션 집계(Cross-Attention Aggregation, CCA) - GenRes++ 전용:

   • GenRes++에서는 $N$개의 변환된 이미지 임베딩이 하나의 대표 벡터($g_{agg}$)로 집계됩니다.
   • 원본 이미지 임베딩($z_0$)이 쿼리 역할을 수행하며, 변환된 임베딩들이 키와 값 역할을 합니다.
   • 이 메커니즘은 변환된 변체들을 적응적으로 가중치 부여함으로써, 모든 변환을 동일하게 취급하는 대신 특정 입력에 대해 가장 정보가 풍부한 잔차에 집중할 수 있게 합니다.

3. 뉴럴 텐서 네트워크(Neural Tensor Network, NTN):

   • 핵hood 혁신은 원본 임베딩($z_0$)과 집계된 변환 임베딩($g_{agg}$) 사이의 관계적 구조를 모델링하기 위해 NTN을 사용하는 것입니다.
   • 단순한 차감이나 결합(concatenation)과 달리, NTN은 쌍선형 상호작용(bilinear interaction)을 계산합니다: $f = \tanh(z_0^\top W g_{agg} + [z_0; g_{agg}]^\top V + b)$.
   • 3차 가중치 텐서 $W$는 **다중 곱셈적 교차 특징 의존성(multiplicative cross-feature dependencies)**을 포착합니다. 이를 통해 모델은 특정 생성기의 아티팩트에 얽매이지 않고, 한 특징 차원의 섭동(perturbation)이 다른 차원을 어떻게 조절하는지를 탐지할 수 있습니다.

4. 분류 헤드(Classification Head):

   • 관계적 특징 벡터 $f$는 선형 레이어와 시그모이드 함수를 통과하여 이진 분류 확률(실제 vs AIGI)을 생성합니다.
   • 학습에는 이진 교차 엔트로피(BCE) 손실 함수가 사용됩니다.

학습 전략

• 데이터: 모델은 단일 소스(ProGAN)에서 생성된 이미지로 학습되며, GAN, 기타, 확산 모델 패밀리에 속하는 19개의 미지의 생성기를 대상으로 테스트됩니다.
• 변환(Transforms): 관계적 쌍을 만들기 위해 다섯 가지 특정 생성 변환이 적용됩니다: EnlightenGAN (강화), GFPGAN (복원), Real-ESRGAN (초해상도), FFDNet (디노이징), CodeFormer (복원).
• 최적화: LoRA 어댑터, 투영 레이어, CCA 모듈, NTN 및 분류 헤드만 업데이트됩니다.

주요 기여

1. GenRes 프레임워크: 생성기 패밀리에 관계없이 일반화를 향상시키기 위해 원본 이미지와 변환된 이미지 사이의 불일치를 모델링하는 새로운 관계적 표현 학습 프레임워크를 제시합니다.
2. 뉴럴 텐서 네트워크(NTN): 단순한 가산적 차이를 넘어 내재적인 곱셈적 관계를 탐구하기 위해, 특징 임베딩 간의 미세한 쌍선형 상호작용을 포착하는 NTN을 채택했습니다.
3. GenRes++ 확장: 여러 변환된 변체를 융합하는 적응형 집계 메커니즘(Cross-Attention)을 통해, 모델이 동적으로 가장 정보가 많은 잔차에 집중할 수 있도록 합니다.
4. 포괄적 평가: 기존 방법들이 실패하는 지점에서 강력한 성능을 입증하며, 19개의 미지 생성 모델을 포함하는 UniversalFakeDetect 벤치마크에 대해 광범위한 테스트를 수행했습니다.

실험 결과

제안된 방법들은 GAN, 확산 모델 및 기타 합성 파이프라인을 아우르는 19개의 미지 생성 모델을 포함하는 UniversalFakeDetect 데이터셋에서 평가되었습니다.

• 성능: GenRes++는 평균 정확도(mACC) 95.7%, **평균 정밀도(mAP) 99.1%**를 달성하며 최첨단(SOTA) 결과를 기록했습니다.
• 비교: 본 방법은 UniFD, C2P-CLIP과 같은 CLIP 기반 방법 및 FreqNet, F3Net과 같은 주파수 기반 접근법을 포함한 모든 베이스라인을 능가했습니다.
  • GAN 기반 모델에 대해 GenRes++는 99% 이상의 완벽에 가까운 정확도를 유지했습니다.
  • "기타(Other)" 패밀리 모델(예: SITD, SAN)에 대해, 타 방법들이 고전하는 지점에서도 상당한 이득(예: CRN에서 99.4%, IMLE에서 99.5%)을 달성했습니다.
  • 확산 모델(LDM, Glide)에 대해서도 단일 변환 베이스라인보다 강력한 견고성을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • LoRA Rank: 랭크 $r=6$이 용량과 일반화 사이의 최적의 균형을 제공했습니다. 랭크가 높아지면 과적합이 발생했습니다.
  • 백본(Backbone): PE-Core-G14-448 백본이 CLIP ViT-L/14 및 DINO ViT-L/14보다 우수한 성능을 보였는데, 이는 더 풍부한 저수준 텍스처 표현 덕분인 것으로 분석됩니다.
  • 융합(Fusion): NTN 융합 전략은 선형, 요소별(element-wise), 결합(concatenation)과 같은 더 단순한 대안들보다 유의미하게 높은 성능을 보였으며, 이는 고차 상호작용 포착의 필요성을 확인시켜 줍니다.
  • 변환 개수: 성능은 $N=5$개의 변환에서 정점에 도달했습니다. 변환을 더 추가하면 중복성이 발생하고 성능이 약간 요동쳤습니다.

의의 및 한계점

의의:
본 논문은 GenRes++가 고립된 특징 추출에서 **관계적 잔차 학습(relational residual learning)**으로 전환함으로써 AIGI 탐지의 새로운 패러다임을 구축한다고 주장합니다. 이차 생성 프로세스에 대한 합성 이미지의 반응을 명시적으로 모델링함으로써, 이 프레임워크는 훈련 중에 타겟 생성자에 접근할 필요 없이 생성기 패밀리 전반에 걸쳐 전이되는 합성 미디어의 일반적 특성을 포착합니다. 이는 빠르게 진화하는 생성 모델에 대응하는 일반화의 핵심 병목 현상을 해결합니다.

한계점:
저자들은 다음과 같은 몇 가지 제약을 인정합니다:

1. 계산 비용: 다섯 개의 별도 생성 변환을 통과해야 하는 요구 사항과 다중 브랜치 NTN 설계로 인해 높은 추론 비용(~이미지당 4625ms)이 발생하며, 이는 실시간 배포를 제한합니다.
2. 고정된 변환 세트: 현재의 변환 세트는 수동으로 선택되었습니다. 두 가지 변환(GFPGAN, CodeFormer)은 얼굴 복원 모델이므로, 신호가 얼굴 콘텐츠 쪽으로 편향될 수 있습니다.
3. 복합 열화에 대한 견고성: 개별 섭동(블러, JPEG, 노이즈)에는 강하지만, 여러 열화가 동시에 적용될 경우 성능이 크게 저하(정확도 84.9%로 하락)되어 복잡한 "세탁(laundering)" 파이프라인에 취약함을 시사합니다.
4. 범위: 현재 평가는 정지 이미지와 특정 19개 생성 모델로 제한되어 있습니다.

향후 연구:
저자들은 생성 잔차 학습을 비디오 딥페이크 탐지(시간적 일관성 활용) 및 멀티모달 위조 시나리오(이미지, 오디오, 텍스트)로 확장할 것을 제안합니다. 또한 계산 오버헤드를 줄이기 위한 변환 증류(transform distillation)와 다양한 이미지 도메인을 다루기 위한 적응형 변환 선택을 연구할 계획입니다.