기술 요약: FakeI2V-Bench

문제 정의

Sora 및 Gen2와 같은 비디오 생성 모델(VGM)의 최근 발전은 딥페이크 영상의 위협을 심화시켰으며, 이는 강력한 탐지 메커니즘에 대한 긴급한 필요성을 창출했습니다. 최근 연구는 비디오 레벨의 딥페이크 탐지기에 집중해 왔으나, 이러한 접근 방식은 다양한 콘텐츠에 대한 낮은 일반화 능력과 높은 계산 오버헤드라는 근본적인 한계에 직면해 있습니다. 동시에 이미지 레벨의 딥페크 탐지기는 눈부신 발전을 이루었으나 비디오 도메인에서는 여전히 미개척 영역으로 남아 있습니다. 기존 벤치마크들은 정적 이미지와 비디오 프레임 간의 분포 변화(distribution shift)를 해결하지 못한 채 프레임 레벨의 집계에 의존하는 경우가 많아, 이미지 레벨 탐지기를 비디오 작업에 적용하기 위한 체계적인 평가가 부족합니다. 또한, 현재의 벤치마크들은 최신 세대 모델의 역량을 반영하지 못하는 오래된 탐지기 커버리지와 제한된 콘텐츠 다양성 문제를 겪고 있습니다.

방법론

저자들은 종합적인 벤치마킹 프레임워크인 FakeI2V-Bench와 이미지 레벨 탐지기를 비디오 시나리오에 적응시키기 위한 일반 강화 프레임워크인 IV-Bridge를 제안합니다.

1. FakeI2V-Bench 프레임워크

이 벤치마크는 네 가지 핵심 모듈을 중심으로 구축되었습니다:

• 평가 데이터셋: 얼굴 및 일반 카테로리로 나뉜 97,548개의 비디오 컬렉션입니다. 이는 다음 네 가지 데이터셋을 통합합니다:
  • 얼굴 콘텐츠를 위한 Celeb-DF v2 (CDFV2) 및 DeepFake Detection (DFD).
  • 다양한 VGM(Sora, Gen2, SVD와 같은 확산 및 자기회귀 모델 포함)에 의해 생성된 일반 콘텐츠를 위한 GenVideo (GV) 및 GenVidBench (GVB).
• 평가 대상 탐지기:
  • 비디오 레벨: 얼굴 집중형(예: FTCN, LAA-Net) 및 범용 모델(예: DeMamba, D3)을 포함한 8개의 최첨단 탐지기.
  • 이미지 레벨: 다양한 백본(예: ResNet, Vision Transformer)을 사용하여 GAN 또는 확산 데이터로 학습된 12개의 대표적인 탐지기.
• 평가 지표: AUC(Area Under Curve) 및 AP(Average Precision).
• 집계 전략: 본 벤치마크는 6가지 프레임-투-비디오 집계 모드(Sampling (SMP), Averaging (AVG), Maximum (MAX), Minimum (MIN), Median (MED), Variance (VAR))를 사용하여 이미지 레벨 탐지기를 평가합니다.

2. IV-Bridge 강화 프레임워크

이미지 레벨 탐지기를 비디오에 적용할 때 발생하는 성능 격차를 해결하기 위해, 저자들은 2단계 파이프라인인 IV-Bridge를 도입합니다:

• 비디오-프레임 미세 조정 (VFT): 정적 이미지와 동적 비디오 콘텐츠 사이의 분포 차이를 메우기 위해, 비디오 프레임 데이터셋(FF++ 및 GenVideo에서 추출)을 사용하여 이미지 레벨 탐지기를 미세 조정합니다. 미세 조정 과정은 탐지기의 출력 유형(two-logit vs. single-logit)에 따라 손실 함수를 적응시킵니다.
• 다중 모드 집계 (MMA): 단일 고정 집계 전략에 의존하는 대신, IV-Bridge는 6가지 서로 다른 프레임-투-비디오 집계 모드로부터 특징을 추출합니다. 이 특징들은 가벼운 랜덤 포레스트(Random Forest) 분류기에 입력되어 최종 비디오 레벨 결정을 위한 최적의 모드 조합을 학습합니다.

주요 기여

1. FakeI2V-Bench: 최신 2025년형 모델(GVB)을 포함한 광범위한 데이터셋에 대해 비디오 레벨 및 이미지 레벨 탐지기를 체계적으로 평가하는 최초의 벤치마크입니다. 이는 97,548개의 비디오와 20개의 탐지기를 다룹니다.
2. IV-Bridge 프레임워크: VFT와 MMA를 통해 이미지 레벨 탐지기를 비디오 탐지용으로 강화하여, 이들이 전용 비디오 레벨 모델보다 뛰어난 성능을 낼 수 있도록 하는 새로운 방법입니다.
3. 체계적 평가: 이미지 레벨 탐지기가 비디오 프레임에서 성능 저하를 겪지만, 제안된 프레임워크를 통해 크게 개선될 수 있음을 입증하는 엄격한 분석을 제공합니다.

실험 결과

• 비디오 레벨 탐지기 (RQ1): 현재의 최첨단 비디오 레벨 탐지기들은 제한된 일반화 능력을 보입니다. 일부는 특정 데이터셋(예: DFD에서의 FTCN)에서 높은 AUC(>90%)를 달ach하지만, 다른 데이터셋으로 이동할 때(특히 얼굴에서 일반 콘텐츠로 이동할 때) 성능이 급격히 하락합니다(종종 ~50% AUC까지).
• 이미지 레벨 탐지기 (RQ2): 비디오 프레임에 직접 적용될 경우, 이미지 레벨 탐지기는 정적 이미지에서의 성능에 비해 심각한 성능 저하를 경험합니다 (예: NPR의 경우 AUC가 92.17%에서 55.38%로 하락). 그러나 단순한 집계 전략은 성능을 부분적으로 회복할 수 있습니다. 특히 가장 우수한 이미지 레벨 탐지기(MIN 집계를 사용한 RINE)는 80.16% AUC를 기록하여, 가장 우수한 비디오 레벨 탐지기(FTCN, 79.99% AUC)를 약간 상회했습니다.
• IV-Bridge 성능 (RQ3): IV-Bridge 프레임워크는 성능을 크게 향상시킵로 합니다.
  • 우월성: 12개의 IV-Bridge 강화 탐지기 중 11개가 가장 강력한 비디오 레벨 탐지기(FTCN)를 능가했습니다. 가장 우수한 변체인 RINE-IV는 93.80% AUC와 97.63% AP를 달성했습니다.
  • 일반화: 강화된 탐지기들은 비디오 레벨 탐지기들에 비해 다양한 VGM(예: Sora, Gen2, SVD)에 대해 더 강력한 일반화 능력을 보여주었습니다.
  • 효율성: 여러 강화된 이미지 레벨 탐지기(예: Patch-IV, CNNDet-IV)는 비디오 레벨 탐지기에 비해 훨씬 적은 모델 파라미터와 추론 시간으로 더 높은 성능을 달성했습니다. 예를 들어, Patch-IV(4.34M 파라미터)는 속도와 정확도 모두에서 FTCN(14.77M 파라미터)을 능가했습니다.
  • 희소 위조 (Sparse Forgery): 단기 위조 시나리오(20%의 위조된 프레임)에서도 IV-Bridge 강화 탐지기들은 경쟁력 있는 성능을 유지했으며, Patch-IV는 77.15% AUC를 달성했습니다.

의의 및 주장

본 논문은 FakeI2V-Bench가 딥페이크 비디오 탐지를 위한 엄격한 벤치마크를 구축하였으며, 그 과정에서 저평가된 이미지 레벨 탐지기의 잠재력을 강조한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

1. 현재의 비디오 레벨 탐지기들은 충분한 교차 도메인 일반화 능력이 부족합니다.
2. 이미지 레벨 탐지기를 비디오에 적용하는 것은 체계적인 적응 없이는 불충분하지만, 이러한 적응은 매우 효과적입니다.
3. IV-Bridge 프레임워크는 성숙한 이미지 레벨 탐지기를 비디오 도메인으로 확장하는 실용적이고 효율적이며 고성능인 경로를 제공하며, 복잡한 비디오 레벨 모델을 처음부터 학습시키는 것보다 우수한 대안을 제시합니다.

이 연구는 향-후 연구가 비디오 전용 아키텍처를 개발하는 데만 집중하기보다, 계산 비용과 일반화 문제를 고려할 때 이미지 레벨 탐지기를 활용하고 적응시키는 데 초점을 맞춰야 함을 시사합니다.