TAP into the Patch Tokens: Leveraging Vision Foundation Model Features for AI-Generated Image Detection

"패치 토큰을 활용하라: AI 생성 이미지 감지를 위한 비전 기반 모델 특징 활용" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

AI 이미지 생성 (예: Stable Diffusion, Midjourney, Flux) 의 급속한 발전은 실제 이미지와 합성 이미지를 구별하는 데 있어 상당한 도전을 야기했습니다. 기존 감지 방법들은 두 가지 주요 장애물에 직면해 있습니다:

• 일반화: 특정 생성기로 훈련된 감지기는 종종 보지 못한 모델 (분포 외 일반화) 을 마주할 때 실패합니다.
• 특징 활용: 대부분의 최첨단 (SOTA) 감지기는 대규모 데이터셋 (CLIP 등) 으로 사전 훈련된 **비전 트랜스포머 (ViT)**에 의존합니다. 그러나 이러한 방법들은 일반적으로 패치 토큰(국소 시각 정보를 인코딩) 을 폐기하고 cls 토큰(전역 표현) 만 사용합니다. 이는 생성적 아티팩트와 인페인팅 조작이 전역 패턴보다는 국소적 불일치로 나타나는 경우가 많기 때문에 AI 생성 이미지 (AIGI) 감지에는 최적이지 않습니다.
• 구식 백본: 많은 현재 방법들은 여전히 아키텍처 개선, 더 큰 규모, 다양한 사전 훈련 목표를 제공하는 최신 비전 기반 모델 (VFMs) 을 무시한 채 원래 CLIP-ViT 를 사용합니다.

2. 방법론

저자들은 현대식 VFMs 와 재설계된 분류기 헤드를 결합하는 2 단계 프레임워크를 제안합니다.

A. 의미적 특징 추출

원래 CLIP 인코더를 사용하는 대신, 이 방법은 **동결된 비전 기반 모델 (VFMs)**을 백본으로 활용합니다. 인코더는 입력 이미지 $x$를 처리하여 다음을 포함하는 특징 집합 $\mathbf{F}$를 생성합니다:

• 전역 cls 토큰.
• 국소 공간 세부 정보를 인코딩하는 패치 토큰 시퀀스 ($\mathbf{f}_1, \dots, \mathbf{f}_{N-1}$).

B. 튜너블 어텐션 풀링 (TAP)

전체 출력 시퀀스를 효과적으로 활용하기 위해, 저자들은 표준 cls 토큰 전용 방식을 대체하는 **튜너블 어텐션 풀링 (TAP)**을 도입합니다.

1. 학습 가능한 쿼리: 학습 가능한 쿼리 벡터 $\mathbf{q}$가 초기화됩니다.
2. 멀티헤드 크로스 어텐션: 쿼리는 멀티헤드 어텐션 (MHA) 메커니즘을 통해 정규화된 특징 집합 $\mathbf{F}$ (키 및 값) 에 어텐션을 줍니다. 이를 통해 모델은 전역 의미론을 유지하면서 생성적 아티팩트가 포함된 공간 영역을 선택적으로 집중할 수 있습니다.
   $$\mathbf{z} = \text{MHA}(\mathbf{q}, \text{LN}(\mathbf{F}))$$
3. 정제: 풀링된 표현 $\mathbf{z}$는 레이어 정규화 (LayerNorm) 와 잔차 연결이 있는 2 층 MLP 를 통과하여 정제된 벡터 $\mathbf{z}'$를 생성합니다.
4. 분류: 정제된 벡터는 전역 풀링 토큰 ($\mathbf{g}_{pl}$) 으로 투영됩니다. 이 $\mathbf{g}_{pl}$은 원래 cls 토큰과 연결되어 이진 분류 (실제 vs 생성/인페인팅) 를 위한 선형 분류기에 입력됩니다.

주요 설계 선택: VFM 인코더는 동결된 채 유지되며, TAP 레이어와 최종 선형 분류기만 학습 가능합니다. 이는 특징 활용을 극대화하면서 파라미터를 최소화합니다.

3. 주요 기여

1. 포괄적인 VFM 벤치마크: 저자들은 AIGI 감지를 위해 현대식 VFMs (DINOv2/3, SIGLIP2, SAM2, Perception Encoder 포함) 에 대한 최초의 광범위한 벤치마크를 수행했습니다. 다양한 모델 규모, 사전 훈련 목표 (대조적, 자기지도학습), 입력 해상도를 평가했습니다.
2. 튜너블 어텐션 풀링 (TAP): cls 토큰과 패치 토큰 모두를 집계하는 경량 아키텍처 변경을 제안했습니다. 이는 전역 컨텍스트를 폐기하지 않으면서 국소 아티팩트를 포착함으로써 AIGI 작업과 특징 공간을 더 잘 정렬시킵니다.
3. 새로운 최첨단 (SOTA): **Perception Encoder (PE-Core)**와 TAP의 조합은 여러 까다로운 벤치마크에서 새로운 SOTA 성능을 달성하여 CLIP 나 cls 토큰에만 의존하는 방법들을 크게 능가했습니다.

4. 실험 결과

이 방법은 GenImage, Chameleon, OpenSDI(완전 생성 이미지와 인페인팅 이미지를 모두 포함) 의 세 가지 주요 데이터셋에서 평가되었습니다.

• VFM 벤치마킹:

  • **Perception Encoder (PE-Core)**는 CLIP, DINOv2, SIGLIP2 를 포함한 모든 다른 계열을 능가했습니다.
  • PE-Core-ViT-G(대형) 는 원래 CLIP 을 크게 능가하는 최고 기준 성능을 달성했습니다.
  • 해상도 영향: 고정 해상도 모델의 경우, 일반적으로 더 높은 해상도가 성능을 향상시켰습니다. 그러나 가변 해상도 모델 (DINOv2 등) 의 경우 단순히 해상도를 높인다고 해서 항상 더 좋은 결과가 보장되는 것은 아니며, 때로는 성능이 저하되기도 했습니다.

• TAP 의 영향:

  • TAP 통합은 테스트된 모든 모델에서 상당한 향상을 가져왔습니다.
  • GenImage: PE-Core-ViT-G + TAP 는 **97.16%**의 평균 정확도를 달성하여 이전 SOTA(OMAT) 를 약 2.5%, AIDE 를 약 10% 능가했습니다.
  • Chameleon: 이 방법은 **95.64%**의 정확도를 달성하여 이전 최고 성능 (OMAT) 을 29% 이상 상회했습니다.
  • OpenSDI(인페인팅): TAP 는 아티팩트가 국소화된 인페인팅 이미지 감지에 특히 효과적이었습니다. PE-Core-ViT-G + TAP 는 cls 전용 기준 대비 평균 정확도를 약 3% 향상시켰으며, 평균 F1 점수에서 DualSight 를 4% 이상 능가했습니다.

• 일반화: 이 방법은 SD1.5 만으로 훈련되었을 때 보지 못한 생성기 (SD2.1, SD3, SDXL, Flux, Midjourney) 에 대해 강력한 제로샷 일반화를 보여주었습니다.

5. 중요성

• 패러다임 전환: 이 논문은 AIGI 감지에서 cls 토큰에 대한 오랜 의존성에 도전하며, 패치 토큰이 이전에 무시되었던 중요한 포렌식 증거를 포함하고 있음을 입증합니다.
• 효율성: TAP 메커니즘은 소수의 학습 가능한 파라미터만 추가하여 계산 오버헤드를 거의 증가시키지 않으면서 막대한 성능 향상을 제공하므로, 기존 감지 파이프라인에 매우 효율적인 업그레이드가 됩니다.
• 기반 모델 채택: 더 새롭고 큰 VFMs(특히 Perception Encoder) 가 포렌식 작업에 CLIP 보다 우수함을 입증하여, 커뮤니티가 특징 추출 백본을 업데이트하도록 촉구합니다.
• 강건성: 이 방법은 전체 이미지 합성과 미묘한 인페인팅 조작을 모두 감지하는 새로운 기준을 설정하여, 생성형 AI 시대의 콘텐츠 진정성에 대한 중요한 필요성을 해결합니다.