Mitigating Hierarchical Shortcut Reliance in Frozen CLIP for Cross-Generator AI-Generated Image Detection

기술 요약: 교차 생성기 AI 생성 이미지 탐지를 위한 Frozen CLIP의 계층적 지름길 의존성 완화

1. 문제 정의

AI 생성 이미지(AIGI) 탐지는 교차 생성기 일반화(cross-generator generalization) 측면에서 결정적인 과제에 직면해 있다. 탐지기들은 학습 과정에서 본 적이 있는 생성기에 대해서는 우수한 성능을 보이는 경우가 많지만, 보지 못한 생성기를 테스트할 때는 신뢰도가 크게 저하된다. 기존의 이러한 실패에 대한 설명은 제한적인 학습 범위, 특정 생성기의 아티팩트, 또는 불안정한 저수준 단서(low-level cues)에 초점을 맞추어 왔다. 그러나 본 논문은 이러한 실패의 주요 원인이 계층적 지름길 의료(hierarchical shortcut reliance), 즉 탐지기가 Vision Transformer(ViT) 내의 변별력은 높지만 전이 가능성은 낮은 소수의 레이어에 과도하게 의존하고, 다른 레이어로부터 오는 상호 보완적인 증거를 충분히 활용하지 못하는 현상이라고 주장한다.

저자들은 서로 다른 생성기 패밀리(예: GAN vs. 확산 모델)가 선호하는 표현 수준과 주파수 패턴이 다르다고 가정한다. 결과적으로, 특정 생성기의 레이어-주파수 상관관계를 이용하도록 학습된 탐지기는 보지 못한 생성기에서 해당 상관관계가 변화할 때 일반화에 실패하게 된다.

2. 방법론

제안된 솔루션은 frozen CLIP ViT-L/14 백본을 기반으로 구축된 계층별 디바이어싱(debiasing) 프레임워크이다. 핵심 철학은 특정 계층 수준에서 개입하여 소스 특유의 지름길에 대한 과도한 의존도를 줄이고 상호 보완적인 증거의 사용을 장려하는 것이다. 이 프레임워크는 세 가지 주요 개입 모듈과 두 개의 보조 학습 브랜치를 통해 작동한다.

A. 계층적 개입 (Original 브랜치에 적용)
프레임워크는 레이어 민감도에 대한 경험적 관찰을 바탕으로 동결된 백본의 서로 다른 레이어에 특정 디바이어싱 작업을 할당한다:

1. 저층부 공간 일관성 개입 (Spatial Consistency Intervention, SCI):
   • 목표: 저층부에서 흔히 불안정한 미세한 공간적 단서를 안정화한다.
   • 메커니즘: 패치 토큰과 CLS 토큰 사이의 전역 일관성 점수를 계산하고, 이웃 패치들을 집계하여 국소적 불일치 기술자를 산출한다. 경량 잔차 어댑터(residual adapter)가 패치 토큰을 조절하여 국소적 또는 전역적 일관성이 약한 영역을 강조한다.
2. 중층부 주파수 사전 개입 (Frequency Prior Intervention, FPI):
   • 목표: 중간 레이어는 주파수 변화에 민감한 전이 가능한 아티팩트 정보를 담고 있는 경우가 많으므로, 공간적 증거를 주파수 인지적 단서로 보완한다.
   • 메커니즘: 패치 토큰을 2D 그리드로 복원하고, 이산 웨이브렛 변환(DWT)을 적용하여 서브 밴드 응답(LL, LH, HL, HH)을 추출한 뒤, 이를 공간적 아티팩트 응답과 융합하여 다시 토큰 시퀀스로 기록한다.
3. 고층부 시맨틱 디바이어싱 모듈 (High-Layer Semantic Debiasing Module, HSDM):
   • 목표: 고수준 특징에 인코딩된 소스 특유의 시맨틱 및 콘텐츠 패턴에 대한 의존도를 줄인다.
   • 메커니즘:
     • 시맨틱 정렬 (Semantic Alignment, SAS): "Camera"(실제)와 "deepfake"(위조)를 나타내는 텍스트 임베딩을 앵커로 사용하여 고층부 이미지 특징을 정규화함으로써, 이들이 생성기 특유의 패턴이 아닌 광범위한 실제/위조 시맨틱에 정렬되도록 한다.
     • 디바이어싱 학습 (Debiasing Training, DTR): 학습 중 입력을 섭동(perturb)시키기 위해 보조 브랜치를 활용한다. Shuffle 브랜치는 위치 지름길을 줄이기 위해 패치 토큰을 치환(permute)하며, Mix 브랜치는 샘플 특유의 콘텐츠 상관관계를 약화시키기 위해 동일 클래스의 기증 샘플(donor samples)로 토큰을 교체한다.

B. 학습 증강 및 최적화

• 위조 전용 잠재 공간 증강 (Forgery-Only Latent Augmentation, FLA): 학습 중에 잠재 공간 섭동은 위조 샘플($y=1$)에만 적용되어, 실제/위조의 경계를 흐리지 않으면서 위조 클래스의 특징 지원(feature support)을 확장한다.
• 최적화 목적 함수: 전체 손실($L_{total}$)은 다음을 결합한다:
  • 분류 손실 ($L_{ce}$): Original 브랜치(및 SAS의 시맨틱 로짓)에 적용된다.
  • 특징 일관성 손실 ($L_{con}$): Original 브랜치의 표현이 섭동된 Shuffle 및 Mix 브랜치와 일관성을 유지하도록 InfoNCE를 사용한다.
  • 예측 정렬 손실 ($L_{align}$): Original 브랜치와 보조 브랜치 간의 확률 분포 사이의 Jensen–Shannon 발산을 최소화한다.

C. 추론
추론 시에는 Original 브랜치만 유지된다. Shuffle 및 Mix 브랜치와 FLA 증강은 폐기되며, 이를 통해 프레임워크가 배포 시 추가적인 계산 오버헤드를 발생시키지 않도록 보장한다.

3. 주요 기여

1. 개념적 프레임워크: ViT 기반 탐지기에서 발생하는 교차 생성기 성능 저하를 분석하기 위한 레이어별 관점으로 계층적 지름길 의존성을 도입하였다.
2. 경험적 증거: 서로 다른 생성기가 서로 다른 표현 수준과 레이어-주파수 패턴을 선호한다는 것을 보여주는 레이어별 프로빙 및 주파수 민감도 분석을 제공하였다 (예: GAN과 확산 모델이 서로 다른 레이어 피크와 주파수 민감도를 보임).
3. 제안된 프레임워크: 저층, 중층, 고층부에 각각 공간, 주파수, 시맨틱 개입을 전략적으로 할당하는 진단 가이드형 frozen-CLIP 레이어별 디바이어싱 프레임워크를 제안하였다.
4. 실험적 검증: 표준 벤치마크에서 경쟁력 있는 교차 생성기 탐지 성능을 입증하였으며, 신호 수준의 레이어별 개입의 가치를 확인하는 강건성 테스트와 절제 연구(ablation studies)를 통해 이를 뒷받침하였다.

4. 실험 결과

프레임워크는 두 가지 주요 벤치마크인 UniversalFakeDetect와 GenImage에서 평가되었다.

• UniversalFakeDetect: ProGAN으로 학습하고 19개의 미학습 생성기(StyleGAN, BigGAN, CycleGAN 및 다양한 확산 모델 포함)로 테스트하였다.
  • 평균 정확도 96.03% 및 평균 정밀도 **99.45%**를 달축성하였다.
  • 교차 모델 설정에서 최신 기술(SOTA) 방식들(예: UniFD, FatFormer, NPR)과 대등하거나 이를 능가하였다.
• GenImage: SDv1.4로 학습하고 다른 확산 모델(Midjourney, SDv1.5, ADM 등) 및 BigGAN으로 테스트하였다.
  • 평균 정확도 **92.32%**를 달성하였다.
• 강건성: 일반적인 후처리 작업(JPEG 압축, 가우시안 블러, 노이즈, 다운샘플링) 하에서도 높은 평균 정밀도(AP)를 유지하며, 다양한 강도에 대해 CNN 기반, 그래디언트 기반 및 주파수 도메인 베이스라인보다 우수한 성능을 보였다.
• 절제 연구 (Ablation Studies):
  • 어떠한 모듈(SCI, FPI, SAS, DTR, FLA)이라도 제거하면 성능 저하가 발생하였으며, 특히 FPI를 제거했을 때 성능이 가장 크게 하락(96.03%에서 89.15%로)하여 주파수 사전 정보의 결정적인 역할을 강조하였다.
  • 시너지 분석을 통해 SCI, FPI, HSDM을 결합하는 것이 개별적으로 사용하는 것보다 훨씬 더 나은 결과를 낸다는 것을 확인하였다.
  • 위치 절제 연구를 통해 SCI는 얕은 레이어에서, FPI는 중간-높은 레이어에서, DTR은 특정 중간 레이어에서 가장 잘 작동함을 확인하였다.

5. 의의 및 주장

본 논문은 교차 생성기 탐지가 계층적 표현의 신호 수준 분석으로부터 이득을 얻는다고 주장한다. 백본을 단일한 특징 추출기로 취급하는 대신, 레이어 전반에 걸쳐 증거가 어떻게 사용되는지를 명시적으로 제어함으로써 제안된 프레임워크는 소스 특유의 지름길에 대한 의존성을 완화한다.

저자들은 다음과 같이 범위를 제한하여 주장한다:

• 결론은 평가된 벤치마크(UniversalFakeDetect, GenImage)와 특정 frozen CLIP ViT-L/14 설정에 국한된다.
• 연구는 이미지 수준의 이진 분류에 집중한다.
• 결과가 레이어별 개입의 가치를 뒷받침하지만, 더 넓은 백본 검증과 계층적 지름길 의존성에 대한 더 강력한 인과적 증거는 향후 과제로 남겨두었다.
• 프레임워크는 추론 시 계산 효율적이며, 학습 시에는 단일 GPU에 적합하지만 테스트 시에는 추가 비용이 들지 않도록 설계되었다.