기술 요약: 보정되고 공정하며 정확한 딥페이크 탐지를 향하여

문제 정의

딥페이크 탐지기들은 현재 인구 통계적 그룹 간에 상당한 성능 격차를 보이고 있다. 전체적인 정확도는 높게 나타날 수 있으나, 특정 하위 그룹(예: 여성, 아프리카계 남성 또는 어두운 피부톤)은 실질적으로 훨씬 높은 허위 양성률(Fals-Positive Rate, FPR)이나 낮은 진양성률(True-Positive Rate, TPR)을 겪는다. 이러한 격차는 심각한 배포 위험을 초래한다: 콘텐츠 모더레이션 시스템이 소수 집단의 실제 영상을 가짜로 잘못 분류할 수 있으며, 신원 확인 시스템이 특정 인구 통계 그룹에 대해 더 빈번하게 실패할 수 있기 때문이다. 또한, 공격자들은 이러한 사각지대를 악용하여 취약 계층을 겨냥한 탐지 회피형 딥페이크를 시도할 수 있다.

기존의 완화 전략들은 실제 배포 측면에서 다음과 같은 결정적인 한계에 직면해 있다:

• 전처리(Pre-processing): 데이터 균형을 맞추거나 합성 데이터를 생성하는 방식은 귀중한 샘플을 버리게 되거나, 상당한 수동 작업이 필요하며, 합성 데이터를 사용할 경우 도메인 차이 문제가 발생한다.
• 내부 처리(In-processing): 학습 목표를 수정하는 방법(예: 공정성 손실, 가중치 재설정)은 일반적으로 전체 모델의 재학습을 요구하며, 생산 환경에서는 구하기 어려운 명시적인 인구 통계 레이블이 필요하다.
• 후처리(Post-processing): 기존의 임계값 조정 방법들은 추론 시점에 그룹 레이블을 요구하거나, 공정성을 달성하기 위해 전체 정확도를 희생하는 경우가 많다. 또한, 특정 데이터셋에 맞춰 튜닝된 방법들은 보지 못한 생성기(generator)에 대해 일반화되지 못하는 경상이 있다.

현재 인구 통계 레이블이 필요 없고(demographic-label-free), 재학습이 필요 없으며(retraining-free), 전체 정확도와 공정성을 동시에 개선할 수 있는 솔루션이 부족한 실정이다.

방법론: Face-Fairness (FF) 프레임워크

저자들은 모델을 재학습시키거나 인구 통계 주석을 요구하지 않고 편향을 완화하기 위해 설계된 세 가지 변형을 포함하는 플러그 앤 플레이(plug-and-play) 프레임워크인 **Face-Fairness (FF)**를 제안한다.

1. Face-Feature Tuning (FFT)

FFT는 주요 기여점이며, 최초의 인구 통계 레이블이 필요 없는 딥페이크 탐지 공정성 방법론이다.

• 핵심 통찰: 사전 훈련된 얼굴 임베딩(예: ArcFace)은 탐지기의 실패와 상관관계가 있는 시각적 패턴을 암묵적으로 인코딩한다. 이 임베딩은 명시적인 레이블 없이도 보호 속성(protected attributes)의 대리 지표 역할을 한다.
• 메커니즘: FFT는 조건부 보정기 역할을 하는 경량화된 2개 층의 다층 퍼셉트론(MLP)을 사용한다. 이 모델은 동결된 베이스 탐지기의 로짓 출력($Z(x)$)과 동결된 얼굴 임베딩($\phi(x)$)의 결합을 입력으로 받는다.
• 기능: MLP는 로짓을 재매핑($\tilde{Z}(x)$)하는 비선형 매핑을 학습하며, 이는 효과적으로 잔차 보정(residual correction) $r_\psi(\phi(x), Z(x))$을 학습하는 것이다. 이를 통해 모델은 다른 곳의 신뢰할 수 있는 결정은 유지하면서, 특징 공간의 특정 "이웃(neighborhood)" 내에서 체계적인 편향을 교정하도록 결정 경계를 조건부로 조정할 수 있다.
• 학습: 베이스 탐지기와 얼굴 인코더는 동결된 상태를 유지한다. 오직 경량 MLP만이 홀드아웃 검증 세트를 사용하여 이진 교차 엔트로피(binary cross-entropy)로 학습된다.

2. FF-Max (그룹 조건부 임계값 최적화)

이 변형은 보정 및 추론 시 인구 통계 레이블을 사용할 수 있는 경우에 사용된다.

• 메커니즘: 최악의 그룹 정확도를 최대화하기 위해 그룹별 결정 임계값($t_g$)을 학습한다.
• 최적화: 이 모델은 $\max_{t} \min_{g} \text{Acc}_g$ 형태의 max-min 최적화 문제를 해결한다. 임계값은 그리드 상에서 열거되며, 알려진 그룹 레이블을 바탕으로 테스트 시점에 고정된다.

3. FF-Discover (클러스터링 기반 공정 임계값 설정)

이 변형은 인구 통계 레이벨 없이 작동한다.

• 메커니즘: L2 정규화된 얼굴 임베딩에 K-means 클러스터링을 적용하여 잠재적 그룹을 발견한다.
• 최적화: FF-Max와 유사하게, 발견된 클러스터들 사이의 최소 정확도를 최대화하도록 클러스터별 임계값을 학습한다. 클러스터의 개수($K$)는 실루엣 분석(silhouette analysis)을 통해 선택된다.

주요 기여

1. FFT (Face-Feature Tuning): 동결된 얼굴 임베딩 위에서 조건부 보정기를 학습시켜 최악의 그룹 정확도와 전체 정확도를 모두 개선하는, 새로운 레이블 프리(label-free) 및 재학습 불필요(retraining-free) 후처리 방법론이다.
2. FF-Max & FF-Discover: 명시적 레이블(FF-Max) 또는 임베딩 유도 잠재 클러스터(FF-Discover)를 사용하여 최악의 그룹 정확도를 최적화하는 두 가지 실용적인 변형으로, 신경망 학습이 장벽이 되는 배포 시나리오에서 강력한 베이스라인 역할을 한다.
3. 탐지기 불가지론(Detector Agnosticism): 이 프레임워크는 모든 딥페이크 탐지기 백본(Xception 및 MobileNetV3-Small에서 입증됨)과 호환되며, 실행 시간 오버헤드가 거의 없다.
4. 상보성(Complementarity): 이 프레임워크는 공정성 인지 학습 과정에서 남아있는 잔여 편향을 교정하기 위해 기존의 인프로세싱(in-processing) 공정성 방법들과 함께 스택(stack)으로 사용할 수 있다.

실험 결과

저자들은 Xception 및 MobileNetV3-Small 백본을 사용하여 OpenForensics(인도메인) 및 FaceForensics++ (FF++)(크로스 데이터셋, leave-one-manipulation-out)에서 프레임워크를 평가하였다.

• 인도메인 성능 (OpenForensics):

  • FFT는 14개의 성별/민족 그룹에 걸쳐 허위 양성률(FPR)과 진양성률(TPR) 격차를 일관되게 감소시켰다.
  • FFT는 전체 정확도(Acc@0.5)와 AUC를 동시에 높이면서 **최악의 그룹 정확도(WGA)**를 개선했다.
  • MobileNetV3-Small에서 FFT는 "레벨링 다운(leveling down, 즉 특정 그룹의 정확도가 떨어지는 현상)" 없이(즉, 베이스라인에 비해 정확도가 저하된 그룹이 없음) 후처리 방법 중 가장 높은 AUC(0.9919)와 WGA(0.9395)를 달연했다.
  • FFT는 다른 후처리 베이스라인(Fair-FLIP, BPFA)보다 우수한 성능을 보였으며, 재학습 없이도 인프로세싱 방법(DAG-FDD, DAW-FDD)과 대등하거나 이를 능가하는 공정성 지표를 달성했다.

• 크로스 데이터셋 성능 (FF++ Leave-One-Out):

  • 탐지기가 무작위 추측 수준으로 무너지는 도전적인 F2F 홀드아웃 설정에서, FFT는 Xception 모델의 정확도를 근사 무작위 수준(0.4140)에서 0.6392로 크게 끌어올렸다.
  • 일부 대안 방법들은 공정성 격차를 줄였으나, 저자들은 이것이 예측이 비차별적인 점수로 수렴(regression to chance)했기 때문이라고 주장한다. FFT는 유용성을 유지하면서도 우연 이상의 정확도 향상을 달성한 유일한 후처리 방법이었다.
  • FF-Discover는 이 설정에서 모든 방법 중 가장 높은 WGA(0.4800)를 달성하였으며, 이는 임베딩 유도 클러스터가 레이블 없이도 공정성에 중요한 구조를 포착함을 입증한다.

• 보정(Calibration):

  • 보정 곡선은 FFT가 베이스라인 및 정확도를 저하시키는 경향이 있는 다른 후처리 방법들에 비해 기대 보정 오차(Expected Calibration Error, ECE)를 실질적으로 감소시켰음을 보여주었다.

의의 및 주장

본 논문은 **Face-Feature Tuning (FFT)**가 인구 통계 레이블, 재학습, 혹은 정확도의 희생 없이도 딥페이크 탐지의 배포 과제를 해결할 수 있는 새로운 솔루션을 제공한다고 주장한다.

• 실용성: 이 방법은 내부 모델 구조에 대한 접근 권한이 필요 없고, 인구 통계 주석이 필요 없으며, 계산 오버헤드가 최소한이므로 상용 베이스 모델을 사용하는 조직에 매우 실용적이다.
• 개인정보 보호: 명시적인 인구 통계 레이블을 피함으로써, FFT는 데이터 수집이 법적 또는 윤리적으로 문제가 될 수 있는 개인정보 민감 맥락에서 특히 가치가 있다.
• 메커니즘: FFT의 효과는 얼굴 임베딩이 이산적인 범주를 넘어 미묘한 변화를 포착하는 풍부하고 연속적인 인구 통계 정보를 제공할 수 있다는 점에 기인하며, 이를 통해 보정기가 외모와 탐지 동작 사이의 복잡한 상호작용에 대한 비선형적 교정을 학습할 수 있게 한다.
• 한계: 저자들은 이 방법이 얼굴 임베딩이 인구 통계 정보를 충분히 인코딩한다고 가정하며, 이는 심하게 가려지거나 품질이 낮은 이미지에서는 성립하지 않을 수 있고, 대표성 있는 보정 세트가 필요하다는 점을 겸허히 언급하였다.

결론적으로, 본 연구는 사전 훈련된 얼굴 임베딩의 구조를 활용함으로써 딥페이크 탐지기의 체계적 편향을 교정할 수 있으며, 이를 통해 현실 세계의 시나리오에서 더욱 공정하고 정확한 배포를 가능하게 함을 보여준다.