기술 요약: 다중 그래뉴리티 융합(SemFusion)을 통한 일반화 가능한 얼굴 위조 탐지 연구

1. 문제 정의

딥페이크 기술(예: 얼굴 재현, 스와핑, 확산 기반 합성)의 급격한 진화는 시각 매체의 진본성을 훼nt하고 있으며, 이에 따라 강력한 얼굴 위조 탐지(FFD)가 필수적으로 요구되고 있습니다. 기존의 탐지기들은 데이터셋 내부 평가(intra-dataset evaluation)에서는 유망한 성능을 보이지만, 학습하지 않은 데이터셋이나 조작 방식에 대해 테스트할 때는 성능이 크게 저하되는 문제를 겪습니다. 이러한 실패는 탐지기가 전이 가능한 위조 단서(transferable forgery cues)를 학습하는 대신, 소스 특유의 시각적 규칙성(예: 특정 압축 아티팩트 또는 생성기 숏컷)에 과적합(overfitting)되기 때문에 발생합니다.

대조적 언어-이미지 사전 학습(CLIP)을 활용하는 최근의 접근 방식들은 전이 가능한 시각-언어 의미론을 활용하여 일반화 성능을 높이고자 합니다. 그러나 저자들은 CLIP을 FFD에 적용할 때 두 가지 결정적인 한계를 식별했습니다:

1. 텍스트적 한계: 실제 얼굴과 가짜 얼굴은 종종 동일한 고수준 의미론(예: "인간의 얼굴")을 공유하는 반면, 차별적인 위조 단서는 희소하고 국소적이며 미세한 수준(예: 블렌딩 경계, 질감 불일치)에 존재합니다. 결과적으로, 직접적인 프롬프트 기반 점수 산정(예: "실제 얼굴" 대 "가짜 얼굴" 비교)은 분포의 중첩을 야기하며 미세한 포렌식적 분별력을 제한합니다.
2. 시각적 한계: 기존의 CLIP 기반 탐지기들은 주로 전역적 이미지 수준 표현(예: Vision Transformer의 CLS 토큰)에 의존합니다. 홀리스틱(holistic)한 얼굴 의미론을 집계하는 방식은 희소하고 국소적인 아티팩트를 희석시키는 경향이 있어, 정상적인 전역 의미론을 가진 가짜 얼굴을 실제라고 예측하는 오분류를 초래합니다.

2. 방법론: SemFusion 프레임워크

저자들은 CLIP의 전이 가능한 의미 구조를 보존하면서 국소적인 위조 증거에 대한 인지 능력을 향상시키도록 설계된 프레임워크인 SemFusion(Semantic-Consistent Multi-Granularity Fusion)을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통해 작동합니다.

A. 의미론적 일관성 정규화 (Semantic Consistency Regularization, SCR)

Sem-Fusion은 CLIP 텍스트 인코더를 직접적인 분류기로 사용하는 대신, 동결된(frozen) CLIP 텍스트 공간을 적응된 시각적 표현을 정규화하기 위한 **의미론적 참조(semantic reference)**로 사용합니다.

• 메커니즘: 일반적이고 도메인 불가지론적인 얼굴 관련 텍스트 프롬프트 뱅크(예: "얼굴의 근접 초상화")를 동결된 텍스트 인코더로 인코딩하여 의미론적 앵커(semantic anchors)를 생성합니다.
• 목표: 이 방법은 적응된 시각적 인코더와 이러한 앵커 사이의 의미 관계 분포를 계산하고, 이를 원래의 동결된 시각적 인코더의 분포와 비교합니다. KL 발산 손실($L_{scr}$)을 최소화하여 적응된 시각적 표현이 원래의 CLIP 의미 공간과 일관성을 유지하도록 합니다.
• 목적: 이는 모델이 소스 특유의 아티팩트 학습으로 표류하는 것을 방지하면서, 시각적 적응 과정에서 전이 가능한 의미론을 안정화합니다.

B. 다층 패치 증거 (Multi-level Patch Evidence, MPE) 학습

전역적 표현이 놓치는 희소하고 국소적인 아티팩트를 포착하기 위해, SemFusion은 MPE 브랜치를 도입합니다.

• 메커니즘: 모델은 CLIP 시각적 인코더의 선택된 여러 레이어(예: 레이어 8, 16, 24)에서 패치 토큰을 추출합니다. 이러한 다층 토큰은 공유된 특징 공간으로 투영되어 융합됩니다.
• 처리: 경량 트랜스포머 인코더가 로컬 패치 토록 간의 상호작용을 모델링합니다. 스코어링 헤드는 각 패치에 대한 위조 증거 점수를 예측합니다.
• 집계: Top-k 다중 인스턴스 학습(Multiple Instance Learning, MIL) 전략을 사용하여 가장 높은 의심 점수를 가진 $k$개의 패치(예: $k=16$)를 선택하여 로컬 위조 증거 로짓($z_{loc}$)을 계산합니다. 이는 모델이 전체 이미지를 평균 내는 대신 가장 관련 있는 국소적 이상 징후에 집중하게 합니다.

C. 전역-국소 융합 (Global-Local Fusion)

프레임워크는 추론 시 로짓 수준에서 전역 및 국소 증거를 결합합니다.

• 훈련: 모델은 전역 분류 손실($L_{cls}$), 의미론적 일관성 손실($L_{scr}$), 그리고 로컬 증거 손실($L_{loc}$)의 세 가지 목적 함수로 훈련됩니다.
• 추론: 동결된 텍스트 및 참조 시각 인코더는 폐기됩니다. 최종 예측은 전역 CLS 로짓($z_g$)과 로컬 로짓($z_{loc}$)을 융합하여 도출됩니다. 구체적으로, $z_{loc}$은 전역 브랜치의 "가짜(fake)" 로짓에 더해져, 국소적 증거가 전역 예측을 덮어쓰거나 강화할 수 있도록 합니다.

3. 주요 기여

1. SemFusion 프레임워크: CLIP의 전이 가능한 의미 구조를 보존하는 동시에 전역 증거를 국소적 패치 수준의 위조 단서로 보완하는 새로운 아키텍처를 제안합니다.
2. 의미론적 일관성 정규화 (SCR): 텍스트를 직접적인 분류기로 사용하지 않고도 시각적 적응을 제약하기 위해 CLIP 텍스트 공간을 의미론적 참조로 취급하는 훈련 시 목적 함수를 제공합니다.
3. 다층 패치 증거 (MPE): 다층 시각 패치 토큰으로부터 희소하고 미세한 위조 단서를 채굴하는 메커니즘을 통해, 전역 표현이 국소적 이상 징후를 탐지하는 데 한계가 있음을 해결합니다.
4. 포괄적인 평가: 5개의 교차 데이터셋 및 6개의 교차 조작 방식 벤치마크에 걸친 광범한 실험을 통해 최첨단(state-of-the-art) 일반화 성능을 입증했습니다.

4. 실험 결과

저자들은 FF++ (c23) 훈련 세트를 사용하여 5개의 미학습 데이터셋(CDF-v1, CDF-v2, DFD, DFDC, DFDCP)과 6개의 미학습 조작 방식(UniFace, BlendFace, MobileSwap, E4S, FaceDancer, FSGAN)에 대해 SemFusion을 평가했습니다.

• 교차 데이터셋 일반화: SemFusion은 평균 프레임 수준 AUC 0.909를 달성하여, 강력한 베이스라인인 "Effort"(0.877)보다 3.2% 높은 성능을 보였습니다. 또한 CDF-v1, CDF-v2, DFD, DFDC에서 최고의 결과를 기록했습니다.
• 교차 방식 일반화: SemFusion은 미학습 조작 방식에 대해 평균 비디오 수준 AUC 0.974를 달성하여, "Effort"(0.942)와 "VbSaT"(0.945)를 능가했습니다. 특히 FaceDancer 및 BlendFace와 같은 까다로운 방식에서 상당한 이득을 보였습니다.
• 절제 연구 (Ablation Studies):
  • SCR을 제거하면 평균 AUC가 0.909에서 0.879로 감소하여, 소스 아티팩트에 대한 과적합을 줄이는 역할을 확인했습니다.
  • MPE를 제거하면 평균 AUC가 0.893으로 감소하여, 국소적 증거의 필요성을 검증했습니다.
  • 로짓 수준 융합을 적용한 전체 모델이 가장 좋은 성능을 보여, 전역과 국소 브랜치의 상호 보완성을 입증했습니다.
• 강건성: SemFusion은 가우시안 노이즈 및 저조도 열화에 대해 CNN 기반 베이스라인(Xception) 및 다른 일반화 지향적 방법(UCF)보다 우수한 안정성을 보여주었습니다.
• 효율성: 모델은 학습 가능한 파라미터가 1.55M에 불과하며, 베이스라인 CLIP 어댑터에 비해 추론 FLOP 증가가 매우 적어 파라미터 효율적입니다.

5. 의의 및 주장

본 논문은 Sem-Fusion이 소스 특유의 아티팩트로부터 모델을 분리하는 동시에, 딥페이크를 정의하는 미세하고 국소적인 흔적을 포착함으로써 일반화 가능한 FFD의 근본적인 문제를 해결한다고 주장합니다.

• 의미론적 안정성: SCR을 통해, 사전 학습된 CLIP 공간의 의미론적 기하 구조를 유지하는 것이 일반화에 매우 중요하다는 것을 입증했습니다. 이는 모델이 위조 특유의 특징을 학습하는 동안 일반적인 시각 지식을 "잊어버리는" 것을 방지합니다.
• 상호 보완성: 결과는 전역 의미론과 국소 아티팩트가 상호 보완적임을 강조합니다. 전역 표현은 의미론적 안정성을 제공하는 반면, 국소 패치 증거는 전역 의미론이 오도될 수 있는 경우(예: 전역 구조는 현실적이지만 가짜인 얼굴)를 구제합니다.
• 실용성: 본 프레임워크는 일부 이전 방식들과 달리 복잡한 영역 수준 주석(region-level annotations)을 필요로 하지 않으면서도 최첨단 성능을 달성하며, 높은 추론 효율성을 유지하여 실제 배포에 적합합니다.

저자들은 SemFusion이 일반화 가능한 FFD를 크게 발전시켰으나, 향후 연구는 시간적 위조 추론(temporal forgery reasoning)과 심각한 압축 및 새로운 생성 기술에 대한 강건성 향상에 집중할 것이라고 결론지었습니다.