기술 요약: 3D 가우시안 헤드에 대한 소스 페이스 진위 여부 탐지

문제 정의

최근 단일 이미지 3D 가우시안 헤드 재구성을 통한 발전은 단일 초상화로부터 매우 사실적이고 자유롭게 렌더링 가능한 디지털 헤드를 생성할 수 있게 했습니다. 이는 디지털 휴먼과 AR/VR 분야에 유익하지만, 신원 인증 및 개인정보 보호에 상당한 위험을 초래합니다. 만약 3D 가우시안 헤드가 위조되거나 조작된 2D 초상화로부터 재구성된다면, 이는 사칭을 용이하게 하는 지속적이고 렌더링 가능한 신원 자산을 생성하게 됩니다.

본 연구에서 다루는 핵심 과제는 **소스 페이스 진위 여부 탐지(Source-Face Authenticity Detection)**입니다. 즉, 재구성된 3D 가우시안 헤드의 단일 렌더링 뷰만을 보고, 그 근간이 되는 소스 페이스가 실제인지 아니면 가짜인지를 판별하는 것입니다. 기존의 2D 위조 탐지기들은 다음과 같은 두 가지 주요 요인으로 인해 이 영역에서 실패합니다:

1. 정보 손실: 3D 재구성 및 재렌더링 과정은 원래의 2D 위조 흔적을 압축하거나 변형시키며, 이로 인해 표준 탐지기가 포착하기 어려운 미세하고 국소적인 증거만을 남깁니다.
2. 시점 불일치: 렌더링 시점의 변화는 이러한 단서들의 가시성과 투영 방식을 변화시킵니다. 표준 2D 감독 학습(supervision)에 기반하여 훈련된 탐지기는 시점별 렌더링 지름길(shortcuts)에 과적합되어, 시점에 강건한 진위 특징을 학습하는 데 어려움을 겪습니다.

방법론

저자들은 미세한 외형 정보를 보존하고 렌더링된 뷰 사이의 특징 일관성을 강제하도록 설계된 2단계 탐지기를 제안합니다.

1단계: 자기 지도 학습 기반 미세 조정 (Self-Supervised Fine-Tuning)

이 단계는 두 가지 자기 지도 학습 목적 함수를 사용하여 시각적 백본을 3D 가우시안 스플래팅(3DGS) 렌더링 도메인에 적응시킵니다:

• 마스크 오토인코딩 (MAE): 미세한 국소 외형 정보의 유지를 장려하기 위해, 모델은 이미지 패치의 높은 비율(75%)을 무작위로 마스킹합니다. 백본은 가시적인 패치로부터 누락된 패치를 재구성해야 합니다. 이 과정은 명시적인 진위 레이블에 의존하지 않고도, 실제와 가짜를 구별하는 데 결정적인 구조적 및 미세한 질감 세부 사항(가우시안 아티팩트 포함)을 인코더가 학습하도록 강제합니다.
• 다중 뷰 대조 학습 (Multi-View Contrastive Learning): 시점 불일치 문제를 해결하기 위해, 모델은 동일한 3D 헤드의 서로 다른 렌더링 뷰를 양성 쌍(positive pairs)으로, 서로 다른 신원의 뷰를 음성 쌍(negative pairs)으로 취급합니다. 이 목적 함수는 시점에 관계없이 동일한 헤드의 표현(representation)을 잠재 공간(latent space)에서 가깝게 모아, 시점 불변적인 진위 특징을 촉진합니다.

2단계: 다층적 특징 융합 및 분류 (Multi-Level Feature Fusion and Classification)

두 번째 단계에서는 시각적 백본을 고정(freeze)합니다. 단순히 최종 CLS 토큰에만 의존하는 대신, 이 방법은 저수준(low-), 중수준(middle-), 고수준(high-) 네트워크 깊이에서 추출한 CLS 토큰을 결합합니다.

• 근거: 서로 다른 네트워크 깊이는 상호 보완적인 공간적 주의(spatial attention) 패턴을 나타냅니다. 저수준 토큰은 미세한 질감을 포착하고, 고수준 토큰은 의미론적 일관성을 포착합니다.
• 분류: 선택된 레이어들로부터 추출된 정규화된 CLS 토큰들을 결합하여 다층 퍼셉트론(MLP)에 입력함으로써 최종적인 실제/가짜 분류를 수행합니다.

주요 기여

1. 최초의 대규모 벤치마크: 저자들은 실제/가짜 3D 가우시안 헤드 탐지를 위한 최초의 데이터셋을 도입했습니다. 이 데이터셋은 16,372개의 고유 신원에서 추출한 약 360,000개의 다중 뷰 렌더링으로 구성됩니다. 데이터셋에는 다음이 포함됩니다:
   • 실제 소스: 5개의 실제 얼굴 데이터셋 (예: CelebV-HQ, FFFFQ).
   • 가짜 소스: 텍스트-이미지 생성, 페이스 스왑, 표정 기반 합성을 포함하는 9가지 위조 방식.
   • 재구성: 5가지 단일 이미지 3D 가우시안 헤드 재구성 방식 (예: CAP4D, FaceLift, Any3DAvatar).
2. 체계적인 벤치마킹: 대표적인 2D 위조 탐지기(범용 및 얼굴 특화 모델 모두 포함)를 3DGS 데이터에 대해 테스트하는 통합 평가 프로토콜을 구축하였으며, 이를 통해 미세한 단서 유지 및 교차 뷰 일관성 유지 측면에서의 한계를 밝혀냈습니다.
3. 새로운 탐지기 아키텍처: 마스크 오토인코딩과 다중 뷰 대조 학습을 결부터 다층 CLS 토큰 융합을 결합한 2단계 프레임워크를 통해 최첨단(SOTA) 성능을 달달성했습니다.

실험 결과

제안된 방법은 신원 분리(identity-disjoint) 벤치마크에서 강력한 베이스라인 모델들(AIDE, Effort, PGC 및 IID, ForAda와 같은 얼굴 특화 탐지기 포함)을 대상으로 평가되었습니다.

• 전반적인 성능: 제안된 방법은 표준 테스트 세트에서 가장 높은 정확도(89.51%)와 Macro-F1(89.51%)을 기록하며, 가장 강력한 베이스라인인 Effort를 상당한 차이로 앞질렀습니다. 또한 우수한 AUC(95.36%)와 AP(fake)(96.03%)를 달성했습니다.
• 일반화 (OOD): 본 방법은 보지 못한 위조 방식 및 재구성 파이프라인에 대해 강력한 일반화 능력을 입증했습니다:
  • 미학습 생성기 (Unseen Generators): 홀드아웃 위조 방식(예: GPT-Image-2, HyperSwapper, PersonaLive)에 대해 테스트했을 때, 제안된 방법은 모든 지표에서 일관되게 1위를 차지했습니다. 특히, GPT-Image-2 OOD 서브셋에서 **96.54%**의 정확도와 Macro-F1을 달 기록했습니다.
  • 미학습 재구성 (Unseen Reconstruction): 새로운 3D 재구성 방식(Any3DAvatar)에 대해 테스트했을 때도 89.24%의 높은 정확도를 유지하며, 약 82% 이하로 떨어진 베이스라인들을 크게 상회했습니다.
• 절제 연구 (Ablation Studies):
  • MAE 브랜치나 대조 학습 브랜치를 개별적으로 제거했을 때 성능이 저하되었으며, 이는 세부 사항 보존과 시점 일관성 모두의 필요성을 확인시켜 줍니다.
  • 다층 CLS 토큰(저, 중, 고)을 융합하는 것이 단일 레이어 토크이나 최종 레이어만을 사용하는 것보다 성능이 우수하여, 네트워크 깊이에 따른 특징의 상호 보완성을 입증했습니다.
  • DINOv3 ViT-H+/16 백본을 사용했을 때 최상의 결과를 얻었으나, 프레임워크 자체는 더 작은 백본을 사용하더라도 베이스라인보다 우수함을 유지했습니다.

의의 및 주장

본 논문은 단일 초상화로부터 재구성된 3D 가우시안 헤드의 진위 여부 탐지를 체계적으로 다룬 최초의 연구라고 주장합니다. 저자들은 2D 이미지에서 3D 렌더링 가능한 자산으로의 전환이 위조 흔적의 본질을 근본적으로 변화시켜 기존 2D 탐지기를 무력화한다는 점을 강조합니다.

저자들은 본 접근 방식이 특정 조작 아티팩트를 탐지하는 데 의존하는 것이 아니라, 미세한 외형 세부 사항을 보존하고 뷰 간의 일관성을 유지하는 **강건한 표현(robust representations)**을 학습하는 데 중점을 둔다고 강조합니다. 대규모 벤치마크와 전용 탐지기를 도입함으로써, 본 연구는 신흥 3D 디지털 휴먼 애플리케이션에서 신원 인증을 보안하고 얼굴 프라이버시를 보호하기 위한 토대를 제공하고자 합니다.

참고: 저자들은 표정 기반 위조(특정 분할에서 76.24%의 정확도 달성)가 여전히 도전적인 하위 집합임을 겸허히 인정하며, 이 범주에 대한 탐지 능력을 확장하기 위한 향후 연구 과제를 제시합니다.