Synthetic Image Detection with CLIP: Understanding and Assessing Predictive Cues

기술 요약: CLIP을 이용한 합성 이미지 탐지: 예측 단서의 이해 및 평가

문제 정의

생성 모델, 특히 확산 모델(diffusion models)의 급격한 발전은 거의 실사에 가까운 합성 이미지를 만들어내며 디지털 사진의 신뢰성에 도전하고 있다. 합성 이미지 탐지(Synthetic Image Detection, SID) 방법들이 존재하기는 하지만, 이들은 서로 다른 데이터셋과 생성 모델 제품군(families) 사이에서 일반화하는 데 종종 실패한다. 저수준의 모델 특정 지문(예: GAN 아티팩트)에 의존하는 전통적인 포렌식 접근 방식은 새로운 아키텍처나 적대적 조작에 직면했을 때 성능이 크게 저하된다. CLIP 기반 탐지기는 분포 변화(distribution shifts)에 대한 강건함 덕분에 SID에서 유망한 성과를 보여왔으나, 결정의 동력이 되는 구체적인 단서(cues)는 여전히 제대로 이해되지 않고 있다. 이러한 해석 가능성의 결여는 강건하고 일반화 가능한 탐지 시스템 개발을 저해한다.

방법론

저자들은 새로운 탐지 아키텍처를 제안하기보다, SID를 경험적 해석 가능성(empirical interpretability) 문제로 접근한다. 이들의 방법론은 동결된(frozen) CLIP ViT-L/14-336 모델과 경량 선형 분류기를 사용하여 동작을 분석하는 데 중점을 둔다.

데이터셋:

• CNNSpot: GAN 생성 이미지(ProGAN 등)가 풍부한 벤치마크.
• SynthBuster+: 실제 사진(RAISE-1K)과 다양한 확산 모델로 생성된 합성 이미지를 쌍으로 구성한 데이터셋.
• SynthCLIC (새로운 기여): 콘텐츠 제어 분석을 지원하기 위해 구축된 쌍 데이터셋. 전문 및 모바일용 CLIC 데이터셋의 실제 사진과 시각적 LLM에서 추출한 캡션을 사용하여 생성된 고품질 합성 이미지(Imagen 3, Flux, Stable Diffusion 3)를 쌍으로 구성하였다. 이는 생성 소스는 다양하게 유지하면서도 실제와 합성 쌍 사이의 의미론적 정렬을 보장한다.

탐지기 아키텍처:

• 표준 탐지기 ($D_h$): 동결된 CLIP 인코더의 1024차원 사전 투영 시각 표현($h$)에서 학습된 선형 이진 분류기.
• 공유 공간 헤드 ($D_e$): 텍스트 임베딩과의 직접적인 비교를 가능하게 하기 위해 768차원 공유 이미지-텍스트 표현($e$)에서 학습된 선형 헤드.
• 단서 제한 프로브 ($D_{cue}$): "선명한 디테일" 대 "흐릿한 디테일"과 같은 반의어 쌍에 대한 이미지 임베딩의 투영인 168개의 텍스트 유래 "단서 점수"만을 사용하여 학습된 분류기.
• 희소 개념 모델 (Sparse Concept Model): 고정된 어휘 집합에서 희소 개념을 선택하기 위해 변분 베르누이 사전 확률(variational Bernoulli prior)을 사용하는 별도의 텍스트 기반 분류기로, 설명 도구라기보다는 보완적인 분류기로서 평가된다.

분석 프레임워크:
본 연구는 세 가지 설정(인데이터(in-dataset, 폐쇄 집합), 크로스 데이터셋(중복되는 생성기), 크로스 패밀리(GAN vs. Diffusion))에서 성능을 평가한다. 해석은 다음을 통해 이루어진다:

1. 점수 연관성 (Score Association): 클래스 내에서 텍스트 유래 단서 점수와 탐지기 로짓(logits) 간의 상관관계 분석.
2. 쌍을 이룬 단서 변화 (Paired Cue Shifts): 실제 이미지와 그에 대응하는 콘텐츠 일치 합성 이미지 간의 단서 점수 변화 측정.
3. 안정성 분석 (Stability Analysis): 무작위 시드 및 초기화에 따른 결정 방향의 재현성 평가.

주요 기여

1. SynthCLIC 데이터셋: 콘텐츠 제어 분석을 위해 설계된 실제 CLIC 사진과 고품질 확산 생성 대응 이미지의 쌍 데이터셋 도입.
2. 포괄적 평가: CLIP 기반 탐지기를 쌍을 이룬 확산 데이터셋, GAN 중심 벤치마크, 크로스 패밀리 전이 시나리오에 대해 체계적으로 평가하며, 이를 저수준 포렌식 CNN 및 광범위 생성기 탐지기(CommunityForensics-384)와 비교함.
3. 설명 단위의 안정성: 과잉 매개변수화된 인수 분해 헤드의 개별 축이 무작위 초기화에 따라 불안정함을 입증함. 저자들은 효과적인 선형 결정 방향(단일 벡터)과 텍스트 기반 단서 프로파일이 해석을 위한 안정적인 단위임을 확립함.
4. 단서 프로파일 분석: CLIP 기반 SID 결정과 관련된 구체적인 사진적 및 지각적 단서를 식별하였으며, 이러한 단서들이 분산되어 있고 훈련 데이터셋 및 생성기 제품군에 따라 크게 달라짐을 밝힘.

결과

• 성능: CLIP 기반 선형 탐지기는 높은 인-데이터 성능(CNNSpot에서 0.96 mAP, SynthCLIC에서 0.92 mAP)을 달으나, 크로스 패밀리 전이 시 상당한 저하(SynthCLIC에서 CNNSpot으로 이동 시 0.42 mAP로 하락)를 겪는다.
• 일반화: 광범위한 생성기 노출(결합된 데이터셋으로 학습)은 일반화 성능을 향상시키지만 격차를 완전히 메우지는 못한다. 수천 개의 생성기로 학습된 CommunityForensics-384 탐지기는 우수한 크로스 패밀리 전이 성능을 보여주며, 다양한 훈련 데이터의 중요성을 강조한다.
• 해석 가능성:
  • 단서 연관성: 높은 합성 점수는 더 "깔끔하고", 구성적으로 통제되며, 기술적으로 다듬어진 이미지(예: 깔끔한 프레이밍, 매끄러운 모션 트레일)와 상관관계가 있다. 낮은 점수는 실제 사진의 특징적인 "무질서한" 캡처 조건 및 출처 단서(예: 인스턴트 필름 질감, 다큐멘터리 룩, 판독 가능한 텍스트)와 상관관계가 있다.
  • 쌍을 이룬 변화: 쌍을 이룬 데이터셋 내의 합성 이미지는 "카메라 이상적(camera-ideal)" 미학(더 깨끗한 저조도 렌더링, 일관된 기하학적 구조) 쪽으로 이동하고, 실제 세계의 캡처 아티팩트로부터 멀어진다.
  • 결정 경계: GAN 중심 데이터셋(CNNSpot)과 확산 중심 데이터셋(SynthCLIC)의 결정 경계는 근본적으로 다르다. CNNSpot 학습 모델은 프로세싱 및 아티팩트 단서(압축, 업스케일링)에 의존하는 반면, SynthCLIC 학습 모델은 사진적, 광학적, 입자(grain) 관련 단서에 의존한다.
• 정보 용량: 168개의 명명된 단서로 구성된 고정 어휘 집합은 예측 신호의 상당 부분을 포착하지만 불완전하다. 탐지기를 공유 공간으로 투영할 때 발생하는 비용은 작지만(0.03 AUROC), 명명된 단서로 제한할 경우 더 큰 비용(0.06 AUROC)이 발생한다.

의의 및 주장

본 논문은 CLIP 기반 SID가 단일한 보편적 "합성 지문"에 의해 구동되는 것이 아니라, 사진적, 지각적, 프로세싱 단서의 분산된 혼합체에 의해 구동된다고 주장한다. 이러한 단서들의 상대적 중요성은 훈련 중에 관찰된 실제 이미지의 분포와 생성기 제품군에 따라 변화한다.

• 상호 보완성: CLIP 기반 탐지기와 저수준 포렌식 탐지기는 서로 다른 방식으로 실패하며 상호 보완적인 증거를 제공한다. 포렌식 탐지기는 특정 아티팩트 탐지(GAN)에 탁월한 반면, CLIP 탐지기는 더 넓은 미학적 및 구성적 변화를 포착한다.
• 강건성: 강건한 SID를 위해서는 훈련 과정에서 광범위한 생성기 커버리지가 필요하다. 단일 생성기 제품군에 의존하는 것은 취약한 결정 경계를 초래한다.
• 해석 가능성의 한계: 텍스트 기반 개념이 인간이 읽을 수 있는 요약을 제공하기는 하지만, 구체적인 개념 정체성은 시드와 어휘에 따라 불안정하다. 따라서 저자들은 특정 개념 목록을 탐지기의 고유한 분해로 취급하는 것에 주의를 기울이며, 대신 집합적인 단서 군집(aggregate cue families)의 안정성을 강조한다.

저자들은 CLIP 기반 방법이 강력하긴 하지만 보편적이지는 않다고 결론짓는다. 그 결정은 단일한 안정적 통계량으로 환원될 수 없는 복잡하고 분포 특이적인 단서들의 상호작용을 반영하며, 따라서 미래의 강건한 SID 시스템을 위해서는 하이브리드 접근 방식과 다양한 훈련 데이터가 필수적이다.