Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection

1. 문제 제기 (Problem Statement)

• 배경: 생성형 AI (GAN 등) 의 발전으로 인해 얼굴 교체 (Face Swap), 표정 변경, 립싱크 조작 등 다양한 형태의 딥페이크가 급증하고 있으며, 이는 사기, 명예훼손 등 심각한 사회적 문제를 야기하고 있습니다.
• 기존 방법의 한계:
  • 대부분의 기존 딥페이크 탐지 방법은 얼굴 영역 (Face Region) 만에 집중하여 중간 수준의 (medium-grained) 특징을 추출합니다.
  • 그러나 딥페이크 조작은 특정 부위 (입술, 눈, 코 등) 에 국한되거나 미세하게 이루어지는 경우가 많습니다. 얼굴 전체만 분석하면 이러한 국소적인 조작 흔적 (artifacts) 을 놓치거나, 특정 조작 유형에 과적합되어 다른 데이터셋이나 조작 기법으로 일반화 (Generalization) 되지 못하는 문제가 발생합니다.
  • 기존 방법들은 프레임, 얼굴, 입술, 눈, 코 등 특정 부위별로 탐지 성능이 다르다는 점을 고려하지 못했습니다.

2. 제안 방법론 (Methodology: Face2Parts)

저자들은 **계층적 특징 표현 (Hierarchical Feature Representation, HFR)**을 기반으로 한 새로운 하이브리드 접근법인 Face2Parts를 제안합니다. 이 방법은 "거시적 (Coarse) 에서 미시적 (Fine) 으로"의 정보를 계층적으로 결합하여 얼굴 영역 간의 상호 의존성을 학습합니다.

A. 계층적 특징 추출 (Hierarchical Feature Extraction)

입력된 이미지/프레임에서 3 단계의 계층적 특징을 별도로 추출합니다:

1. Level-1 (Frame - 거시적): 전체 프레임에서 전역적인 컨텍스트와 배경 정보를 추출합니다.
2. Level-2 (Face - 중급): 얼굴 영역을 잘라내어 얼굴 전체의 구조적 특징을 추출합니다.
3. Level-3 (Fine-grained - 미시적): 얼굴의 세부 부위인 왼쪽 눈, 오른쪽 눈, 입술, 코를 각각 잘라내어 고해상도의 미세한 조작 흔적을 추출합니다.
   • 기술적 구현: Dlib 을 사용하여 81 개의 얼굴 랜드마크로 각 부위를 정확히 위치시키고, 사전 학습된 인코더 (CLIP ViT 계열 등) 를 통해 특징 벡터를 추출합니다.

B. 상호 의존성 모델링 (Inter-Regional Dependency Modeling)

각 계층에서 추출된 특징들 간의 관계를 학습하기 위해 다음 두 가지 핵심 기법을 사용합니다:

1. 채널 어텐션 메커니즘 (Channel-Attention Mechanism):
   • 제안된 CA-MLP (Channel-Attention based Multi-Layer Perceptron) 모듈을 통해 각 특징 레벨 (프레임, 얼굴, 세부 부위) 의 중요도를 동적으로 가중치 부여합니다.
   • 전역 평균 풀링 (Global Average Pooling) 과 전역 최대 풀링 (Global Max Pooling) 을 통해 가장 정보량이 풍부한 특징을 선택적으로 강조합니다.
2. 딥 트리플릿 학습 (Deep Triplet Learning):
   • **트리플릿 네트워크 (T-network)**를 사용하여 '앵커 (Anchor)', '양 (Positive)', '음 (Negative)' 샘플 간의 거리를 학습합니다.
   • 이를 통해 진짜 (Real) 와 가짜 (Fake) 클래스 간의 결정 경계를 명확히 하고, 서로 다른 얼굴 부위 간의 복잡한 상관관계를 임베딩 공간에서 효과적으로 분리합니다.
   • 손실 함수로는 마진 랭킹 로스 (Margin Ranking Loss) 를 사용하며, 실험 결과 마진 값을 0 으로 설정했을 때 일반화 성능이 가장 우수함을 확인했습니다.

C. 최종 분류

학습된 임베딩을 통해 분류기 (Fully Connected Layer 등) 가 최종 딥페이크 여부를 판단합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 하이브리드 아키텍처 제안: 기존에 얼굴 영역에만 국한되던 탐지 방식을 넘어, 프레임, 얼굴, 그리고 입술/눈/코 등 세부 부위를 계층적으로 결합한 Face2Parts를 제안했습니다.
2. 강력한 일반화 능력: 다양한 조작 기법 (Face Swap, Neural Textures, Lip Sync 등) 과 다양한 데이터셋 (FF++, Celeb-DF, DFD 등) 에서 기존 방법보다 우수한 일반화 성능을 입증했습니다.
3. 상호 의존성 분석: 채널 어텐션과 트리플릿 학습을 통해 얼굴 부위 간의 상호 의존성을 학습함으로써, 국소적인 조작 흔적을 포착하는 능력을 극대화했습니다.

4. 실험 결과 (Results)

저자들은 8 개의 벤치마크 데이터셋 (FF++, CDF1, CDF2, DFD, DFDC, DTIM, PDD, WLDR) 에서 광범위한 실험을 수행했습니다.

• 데이터셋 내 평가 (Intra-dataset):
  • FF++ 데이터셋에서 평균 AUC **98.42%**를 기록했습니다.
  • WLDR 데이터셋에서는 **100%**의 정확도를 달성했습니다.
  • 기존 얼굴만 사용하는 방법 대비 모든 데이터셋에서 일관된 성능 향상을 보였습니다 (예: PDD 데이터셋에서 78.29% → 86.79% 향상).
• 데이터셋 간 평가 (Inter-dataset):
  • FF++ 로 학습하고 다른 데이터셋 (CDF1, CDF2, DFD 등) 으로 테스트했을 때, 기존 최첨단 (SoTA) 방법들보다 훨씬 높은 일반화 성능을 보였습니다.
  • 특히 CDF1 (79.80%), CDF2 (85.34%), DFDC (84.07%) 등 난이도가 높은 데이터셋에서 우수한 성능을 기록했습니다.
• 조작 기법 간 평가 (Inter-manipulation):
  • 특정 조작 기법 (예: Face Swap) 으로 학습하고 다른 기법 (예: Neural Textures) 으로 테스트했을 때도 SoTA 방법들을 능가하는 성능을 보여주었습니다.
• 비교 대상: EfficientNet, Xception, F3Net, CORE, Recce 등 기존 10 여 가지의 SoTA 방법과 비교하여 대부분의 데이터셋에서 1 위 또는 최상위권을 기록했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 이 연구는 딥페이크 탐지가 단순히 '얼굴'을 보는 것을 넘어, 전체 프레임부터 세부 부위까지의 계층적 정보와 그 간의 상호작용을 고려해야 함을 증명했습니다. 이는 다양한 생성 모델과 조작 기법에 대응할 수 있는 강건한 (Robust) 탐지 시스템의 새로운 패러다임을 제시합니다.
• 한계 및 향후 과제: 현재는 여러 부위를 추출하고 처리하는 과정에서 계산 비용 (Overhead) 이 다소 높습니다. 향후 경량화 및 압축, 필터링 등 적대적 공격 (Adversarial attacks) 환경에서의 성능 검증과 멀티모달 접근법 확장을 계획하고 있습니다.

요약: 본 논문은 Face2Parts라는 새로운 아키텍처를 통해 얼굴의 거시적, 중급, 미시적 특징을 통합하고 채널 어텐션 및 트리플릿 학습을 적용함으로써, 기존 방법들의 한계를 극복하고 높은 일반화 성능을 가진 딥페이크 탐지 솔루션을 제시했습니다.