QBK-ProtoNet: Quality-Calibrated Bio-Kinematic Covariance Prototype Learning for Deepfake Video Detection

기술 요약: QBK-ProtoNet: 딥페이크 비디오 탐지를 위한 품질 보정 생체-운동학적 공분산 프로토타입 학습

문제 정의
딥페이크 비디오 탐지기는 소셜 미디어 처리, 저품질 캡처, 또는 학습되지 않은 조작 도메인에 적용된 비디오에서 성능 저하를 빈번하게 겪는다. 기존의 많은 모델은 일반적인 포렌식 단서보다는 데이터셋 특유의 시각적 아티팩트(예: 블렌딩 경계 또는 질감 불일치)에 과도하게 의존한다. 결과적으로, 이러한 모델들은 비디오가 재압축되거나, 다운샘플링되거나, 저조도에서 캡처되거나, 혹은 보지 못한 파이프라인에 의해 생성될 때 일반화에 실패하는 경우가 많다. 또한, 표준 탐지기들은 관찰된 비디오 품질 하에서 포렌식 증거의 신뢰성을 나타내지 못한 채 이진 결정만을 출력하며, 이는 실제 포렌식 워크플로우에서의 활용도를 제한한다.

방법론: QBK-ProtoNet
저자들은 품질 보정형 딥페이크 탐지를 위해 설계된 가볍고 해석 가능한 프레임워크인 QBK-ProtoNet을 제안한다. 이 방법은 무거운 엔드 투 엔드 딥러닝 백본에 의존하는 대신, 생리학적, 운동학적, 그리고 품질 기술자를 결합한 특징 수준의 표현(feature-level representation) 상에서 작동한다.

1. 생체-운동학적 증거 표현 (Bio-Kinematic Evidence Representation):
   각 비디오는 다음 네 가지 핵심 요소로 구성된 정규화된 증거 벡터($x \in \mathbb{R}^d$)로 변환된다:

• 생리학적 일관성 (Physiological Consistency): 원격 광혈류 측정(rPPG) 신호와 관련된 교차 영역 색상 변화를 포착한다.
• 운동학적 일관ity (Kinematic Consistency): 지역적 안면 미세 움직임 및 입-얼굴 결합(동기화)을 측정한다.
• 시간적 불안정성 (Temporal Instability): 위상 및 셔플 섭동(perturbations) 하에서의 불안정성을 평가한다.
• 품질 신뢰성 (Quality Reliability): 프레임 수, 프레임 레이트, 얼굴 탐지 신뢰도, 휘도 통계치를 포함하는 별도의 벡터($q \in \mathbb{R}^r$).

2. 공분산 프로토타입 학습 (Covariance Prototype Learning):
   프레임워크는 훈련 세트의 평균을 기반으로 진본($\mu_0$)과 조작($\mu_1$) 증거에 대한 "프로토타입"을 정의한다. 단순 유클리드 거리를 사용하는 대신, QBK-ProtoNet은 포렌식 기술자 간의 규모와 상관관계를 고려하기 위해 **마할라노비스 거리(Mahalanobis distance)**를 채택한다.

• 거리 메트릭: $d_c(x) = \sqrt{(x - \mu_c)^T \Sigma^{-1} (x - \mu_c)}$, 여기서 $\Sigma$는 공분산 행렬이다.
• 공분산 변형: 논문은 두 가지 접근 방식의 성능을 평가한다:
  • 공유 공분산 (Shared Covariance): 모든 훈련 데이터에 대해 추정된 단일 행렬.
  • 클래스별 공분산 (Class-Specific Covariance): 실제 클래스와 가짜 클래스에 대해 각각 추정된 별도의 행렬.
• 안정성: 수치적 안정성을 보장하기 위해 공분산 수축(covariance shrinkage)이 적용된다: $\hat{\Sigma} = (1 - \lambda)\Sigma + \lambda \text{diag}(\Sigma) + \epsilon I$, 여기서 $\lambda = 0.25$이다.

3. 스코어링 및 불확실성 (Scoring and Uncertainty):

• 마진 스코어링 (Margin Scoring): 비디오는 마진 $m = d_0(x) - d_1(x)$를 기준으로 점수가 매겨진다. 양수의 마진은 해당 비디오가 조작된 프로토타입에 더 가깝다는 것을 의미한다.
• 품질 신뢰성 (Quality Reliability): 비디오의 품질 프로파일이 훈련 세트의 품질 중심으로부터 떨어진 거리에 기반하여 신뢰도 점수($r_q$)가 계산된다.
• 불확실성 (Uncertainty): 결정 경계 근처에 있거나 훈련 품질 프로파일에서 멀리 떨어진 비디오는 높은 불확실성 점수를 받으며, 이는 불확실한 비디오를 거부하거나 인간의 검토를 위해 보류할 수 있는 "보류 세트(retained-set)" 프로토콜을 가능하게 한다.

주요 기여

1. 품질 보정 표현: 생리학적, 운동학적, 시간적 단서와 명시적인 비디오 품질 기술자를 결합한 새로운 증거 표현.
2. 공분산 인식 프로토타입 탐지기: 유클리드 베이스라인에 비해 중복되거나 불안정한 특징 방향의 가중치를 낮추는 마할라노피스 거리를 프로토타입 학습에 도입.
3. 불확실성 인식 평가: 이진 분류 정확도에만 의 Rely하지 않고, 프로토타입 거리, 품질 신뢰성, 그리고 (불확실한 샘플을 제외한 후의) 보류 세트 성능을 보고하는 평가 프로토콜.
4. 강건성 분석: 도메인 내 특화와 교차 데이터셋 일반화 사이의 트레이드오프를 보여주는 종합적인 교차 데이터셋 및 열화된 비디오 실험.

실험 결과
방법론은 균형 잡힌 Celeb 기반 매니페스트(도메인 내)와 FaceForensics++ (FF++) 데이터셋(교차 데이터셋) 하에서 다양한 열화 조건(저해상도, 15-fps 감소, 저조도)을 대상으로 평가되었다.

• 도메인 내 성능: 클래스별 마할라노피스 프로토타입이 Celeb 테스트 분할에서 80.09% AUC로 가장 높은 도메인 내 성능을 달성했다.
• 교차 데이터셋 일반화: 공유 공분사 마할라노피스 프로토타입은 외부 FF++ 데이터셋에 대해 우수한 일반화 성능을 보였으며, 클래스별 변형의 51.46%와 비교하여 66.49% AUC를 달성했다. 클래스별 변형은 Celeb 특유의 조작 통계에 오버피팅되는 징후를 보였다.
• 열화 강건성: 두 마할라노피스 변형 모두 모든 열화 설정에서 유클리드 베이스라인을 실질적으로 상회했다 (예: 공유 마할라노피스는 저해상도 비디오에서 유클리드 63.49% 대비 77.02% AUC 달성).
• 불확실성 제거: 가장 불확실한 30%의 비디오를 제거했을 때, 공유 공분사 변형의 FF++ AUC는 66.49%에서 68.52%로, 15-fps AUC는 74.41%에서 80.76%로 향상되었다.
• 효율성: 프로토타입 스코어링은 특징 추출 후 CPU에서 비디오당 약 0.143 ms를 소요하여 매우 가볍다.

의의 및 주장
저자들은 QBK-ProtoNet을 범용적인 상태 최고(SOTA) 탐지기로서 고용량 파운데이션 모델을 대체하는 것이 아니라, 해석 가능하고 신뢰성에 중점을 둔 프레임워크로 명확히 위치시킨다.

• 해석 가능성: 블랙박스 분류기와 달리, QBK-ProtoNet은 특정 생체-운동학적 불일치와 품질 신뢰도 지표를 노출하여 포렌식 분석가가 왜 비디오가 플래그(flag)되었는지 이해할 수 있게 한다.
• 정확도보다 신뢰성: 저자들은 포렌식 워크플로우에서 (낮은 품질이나 도메인 변화로 인해) 탐지기가 언제 불확실한지를 아는 것이 탐지 점수 자체만큼이나 중요하다고 주장한다. 이 프레임워크는 불확실한 사례를 보류할 수 있는 메커니즘을 제공한다.
• 공분사 설계 트레이드오프: 핵심적인 발견은 도메인 내 특화와 교차 도메인 신뢰성 사이의 트레이드오프이다. 클래스별 공분사는 더 풍부한 도메인 내 기하학적 구조를 포착하지만 오버피팅 위험이 있는 반면, 공유 공분사는 더 안전하고 강건한 접근 방식을 제공한다.
• 제한적 범위: 저자들은 현재의 작업이 전체 엔드 투 엔드 파운데이션 모델이 아닌, 특징 수준의 데이터를 사용하는 "프로토타입 수준의 원고"임을 인정한다. 그들은 절대적인 리더보드 우위가 아니라, "공분사-프로토타입 신뢰성 레이어"와 도메인 내 대 전이(transfer) 트레이드오프의 명시적 모델링이 본 연구의 기여라고 밝힌다.