기술적 요약: 백본만 있으면 됩니다

문제 제기

AI 가 생성한 합성 이미지의 급속한 발전은 강력한 탐지 시스템의 개발을 필요로 하게 했습니다. 비전 트랜스포머 (ViT) 는 보이지 않는 생성기 클래스 간에 일반화하는 능력으로 인해 현대 딥페이크 탐지의 핵심이 되었지만, 치명적인 취약점이 여전히 largely 미탐구 상태로 남아 있습니다. 대부분의 현재 탐지기는 오직 특정 작업을 위해 훈련된 얕은 분류 헤드를 가진 동결된 사전 훈련된 ViT 백본에 의존합니다.

기존 적대적 연구는 주로 화이트박스 공격 (모델 가중치와 로짓에 대한 완전한 접근) 이나 서로 다른 아키텍처 간의 전이성에 초점을 맞추었습니다. 그러나 그레이박스 공격—즉, 적대자가 동결된 ViT 백본에 대한 지식은 보유하지만 대상 탐지기의 분류 헤더, 훈련 데이터, 또는 특정 증강 전략에는 접근할 수 없는 상황—의 특정 취약점은 간과되어 왔습니다. 본 논문은 백본에 대한 지식만으로도 탐지기의 신뢰성을 훼손하기에 충분할 수 있다고 주장합니다.

방법론: 대리 반복적 적대적 공격 (SIAA)

저자들은 대상 탐지기의 특징 공간 내에서 완전히 작동하도록 설계된 **대리 반복적 적대적 공격 (SIAA)**을 제안합니다. 이 공격은 사전 훈련된 ViT 백본과 그 가중치에 대한 지식만을 가정합니다.

방법론은 두 가지 명확한 단계로 구현됩니다:

1 단계: 대리 특징 처리 (FP) 헤더 훈련

알려지지 않은 대상 분류 헤더와 알려진 백본 사이의 간극을 메우기 위해, 저자들은 다음으로 구성된 대리 모델을 훈련합니다:

1. 동결된 구성 요소: 대상 ViT 백본 ($F(\cdot)$) 과 CLIP 텍스트 인코더 ($G(\cdot)$).
2. 훈련 가능한 구성 요소: 두 개의 선형 브랜치를 포함하는 특징 처리 (FP) 헤더 ($H(\cdot)$):
   • $L_t$: 프롬프트에서 파생된 텍스트 임베딩을 처리합니다 (예: "이미지는 실제입니다" 대 "이미지는 가짜입니다").
   • $L_v$: ViT 백본이 추출한 시각적 특징을 처리합니다.

FP-헤더는 시각적 특징 ($v'$) 과 텍스트적 특징 ($t'$) 을 공유 임베딩 공간에 정렬하기 위해 다항식 대비 손실 (multi-term contrastive loss) 을 사용하여 훈련됩니다. 목표는 해당 텍스트 임베딩 주변에 시각적 특징을 클러스터링함으로써 알려지지 않은 대상 분류 헤더의 결정 경계를 근사하는 것입니다. 손실 함수는 다음을 포함합니다:

• $L_{pull}$: 시각적 특징과 실제 레이블 텍스트 임베딩 간의 거리를 최소화합니다.
• $L_{push}$: 적대적 클래스 텍스트 임베딩에 대한 마진을 강제합니다.
• $L_{text}$: 두 텍스트 임베딩 클러스터 간의 분리를 보장합니다.

2 단계: 배포 및 교란 최적화

FP-헤더가 훈련되면, 공격은 대상의 로짓에 접근하지 않고도 적대적 예시를 생성합니다.

• 목적 함수: 로짓에서 교차 엔트로피를 최대화하는 대신, SIAA 는 대리 특징 공간에서 사용자 정의 거리 기반 목적 함수 $J$를 최적화합니다:
  $$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$$
  $J$를 최대화하면 시각적 표현이 실제 클래스에서 멀어지고 적대적 대상 클래스 쪽으로 이동합니다.
• 최적화: 투영된 경사 하강법 (PGD) 알고리즘이 입력 이미지 $I_j$를 반복적으로 업데이트하여 $J$를 최대화하며, 무감각성을 보장하기 위해 $\ell_\infty$-노름 제약 ($\epsilon = 8/255$) 을 따릅니다.

주요 기여

1. 새로운 공격 벡터: 분류 헤더에 대한 지식이 필요 없이 합성 이미지 포렌식에서 동결된 ViT 백본을 악용하도록 특별히 맞춤화된 최초의 그레이박스 공격인 SIAA 의 도입.
2. 특징 공간 악용: 텍스트 - 이미지 대비 학습을 통해 정렬된 대리 특징 공간에서 적대적 교란을 효과적으로 최적화할 수 있음을 입증하여 로짓 접근의 필요성을 우회함.
3. 포괄적 평가: 퓨샷 학습 시나리오, 알려지지 않은 데이터 증강, 데이터셋 불일치를 포함한 다양한 수준의 그레이박스 지식 하에서 공격에 대한 체계적 평가.
4. 전이성 분석: 서로 다른 ViT 백본 (CLIP, Swin, DINOv2) 간 교차 모델 전이성 평가.

실험 결과

저자들은 Synthbuster 데이터셋을 사용하여 CLIP, Swin, DINOv2 백본을 기반으로 한 탐지기에 대해 SIAA 를 평가했습니다.

• 성능 대 베이스라인: SIAA 는 기존 그레이박스 베이스라인 (PGD-ViT 및 선형 변형 PGD-L) 보다 현저히 우수한 성능을 보였습니다.
  • CLIP 및 Swin 탐지기에 대해 SIAA 는 각각 1.00과 0.99의 공격 성공률 (ASR) 을 달성했으며, 공격 후 AUC 는 0.00에 가까워 화이트박스 PGD 공격의 성능과 실질적으로 일치했습니다.
  • DINOv2에 대해 SIAA 는 0.56의 ASR 을 달성했습니다. 저자들은 DINOv2 의 더 높은 회복탄력성을 자기지도 학습 목표와 더 매끄러운 손실 지형을 생성하는 레지스터 토큰의 사용에 기인합니다.
• 정렬 불일치에 대한 강건성 (절제 연구):
  • 분류 헤더 변형: 대상 탐지기의 분류 헤더 깊이가 변하더라도 (1, 2, 또는 3 층) SIAA 는 ASR $\geq 0.98$을 유지했습니다.
  • 퓨샷 학습: 실제 이미지 100 장과 가짜 이미지 100 장의 훈련 샘플만으로 SIAA 는 0.985의 ASR 을 달성했습니다.
  • 알려지지 않은 증강: 데이터 증강 전략이 알려지지 않았을 때, ASR 은 0.96으로 높게 유지되었습니다.
  • 데이터셋 불일치: 가장 제한적인 시나리오 (다른 훈련 데이터셋과 알려지지 않은 증강) 에서도 SIAA 는 0.70의 ASR 을 달성하여 올바르게 분류된 이미지 중 50% 이상을 성공적으로 공격했습니다.
• 전이성:
  • CLIP 또는 Swin에서 최적화된 교란은 서로之间 잘 전이되었습니다 (ASR $\approx 0.56$).
  • DINOv2에서 최적화된 교란은 CLIP (ASR 0.31) 과 Swin (ASR 0.28) 으로 중간 정도의 전이성을 보였으며, 이는 DINOv2 가 대상으로서 매우 저항력이 높음에도 불구하고 이루어진 것입니다.

중요성과 주장

본 논문은 합성 이미지 포렌식에서 동결된 기초 모델에 대한 의존성이 "미묘하지만 치명적인 취약점"을 초래한다고 주장합니다. 주요 발견은 백본에 대한 지식만으로도 탐지기의 신뢰성을 훼손하기에 충분하다는 것이며, 이는 종종 화이트박스 공격과 비교 가능한 공격 성공률을 산출합니다.

저자들은 훈련 데이터, 증강, 분류 헤더 아키텍처에 대한 완전한 불일치 조건에서도 이러한 취약점이 지속된다고 강조합니다. 따라서 본 논문은 분류 헤더를 숨기는 것만으로는 충분한 보안을 제공한다는 가정에만 의존하지 않는 더 회복탄력적인 방어책을 개발할 긴급한 필요성을 주장합니다. 이 연구는 시맨틱 프롬프트와 정렬되었을 때 동결된 ViT 의 특징 공간이 제한된 접근 권한을 가진 적대자에 의해 악용될 만큼 예측 가능함을 강조합니다.