기술 요약: CAM-VFD

문제 제기

생성적 적대 신경망 (GAN), 확산 모델, 자기회귀 아키텍처를 활용하는 딥페이크 기술의 급속한 발전으로 인해, 점점 더 실제 영상과 구별하기 어려운 합성 비디오가 생성되고 있습니다. 현재 비디오 포렌식은 단일 프레임의 공간적 아티팩트를 탐지하는 수준에서 시공간적 불일치를 분석하는 단계로 진화했으나, 여전히 중요한 한계가 존재합니다. 대부분의 탐지기는 단일 모달리티 신호 (외관, 기하학, 운동을 독립적으로 처리) 에 의존합니다.

최첨단 생성 모델은 이제 단일 모달리티 내에서는 높은 일관성을 유지하면서도 모달리티 간에는 미묘한 모순을 도입할 수 있게 되었습니다. 예를 들어, 생성된 비디오는 개별적으로 그럴듯한 질감 (외관) 과 일관된 운동을 가질 수 있지만, 그 운동이 기하학적 깊이 또는 의미론적 외관과 일치하지 않을 수 있습니다. 한 모달리티를 다른 모달리티와 대조하여 질의할 수 있는 효과적인 메커니즘이 부족한 현재 탐지기는 이러한 교차 모달리티 모순을 식별하지 못하여, 차세대 텍스트 - 비디오 (T2V) 및 이미지 - 비디오 (I2V) 생성기에 대한 탐지 실패로 이어집니다.

방법론: CAM-VFD 프레임워크

저자들은 CAM-VFD(Cross-Attention Multimodal Video Forgery Detection, 교차 주의 다중 모달리티 비디오 위조 탐지) 를 제안합니다. 이는 교차 모달리티 모순을 방향성 있는 포렌식 신호로 취급하는 프레임워크입니다. 핵심 가설은 AI 생성 비디오가 고립된 상태에서는 국소적으로 그럴듯해 보일 수 있지만, 외관, 기하학, 운동 사이에 물리적으로 촬영된 영상에서는 거의 발견되지 않는 체계적인 불일치를 보인다는 것입니다.

아키텍처 개요

이 프레임워크는 세 가지 모달리티별 인코더와 교차 주의 융합 모듈을 사용하여 통합된 잠재 공간에서 작동합니다.

1. 적응형 프레임 샘플링: 가변적인 비디오 길이와 프레임 레이트를 처리하기 위해 시스템은 적응형 연속 프레임 샘플링 전략을 사용합니다. 짧은 비디오는 순환 반복을, 중간 길이의 비디오는 시작과 끝의 세그먼트를, 긴 비디오는 시작, 중간, 끝의 분산된 세그먼트를 사용합니다. 이를 통해 포괄적인 시간적 커버리지를 보장합니다.
2. 모달리티별 특징 추출:
   • 외관: CLIP(Vision Transformer ViT-B/32) 을 사용하여 추출하며, 의미론적 콘텐츠, 질감, 조명, 객체 정체성을 포착합니다.
   • 깊이: 단안 깊이 추정을 위한 MiDaS(DPT-Hybrid) 를 사용하여 추출한 후, 경량 CNN(DepthNet) 을 통해 기하학적 구조를 인코딩합니다.
   • 운동: VideoMAE(Video Masked Autoencoder) 를 사용하여 추출하며, 객체 이동의 시간적 역동성과 불일치를 포착합니다.
3. 교차 주의 융합 (핵심 혁신):
   • 대칭적 융합 방법과 달리, CAM-VFD 는 비대칭적이고 방향성 있는 접근 방식을 사용합니다.
   • 외관 특징이 쿼리 (Q) 역할을 합니다.
   • 운동 및 깊이 특징이 키 (K) 와 값 (V) 역할을 합니다.
   • 모델은 명시적으로 다음과 같이 질문합니다: "이 장면의 외관이 주어졌을 때, 운동과 깊이 증거가 이를 지지하거나 모순하는가?"
   • 두 개의 병렬 교차 주의 블록이 상호작용을 계산합니다: 외관 - 운동 및 외관 - 깊이.
   • 출력과 시간적으로 강화된 외관 특징은 풀링되어 연결되고, 통합된 표현을 형성합니다.
4. 분류: 융합된 벡터는 GELU 활성화 함수를 가진 다층 퍼셉트론 (MLP) 을 거쳐 처리되어 이진 예측 (실제 vs 위조) 을 출력합니다.

주요 기여

1. 방향성 포렌식 신호: 이 논문은 명시적인 포렌식 신호로서 교차 모달리티 모순 개념을 도입합니다. 실제 비디오는 모달리티 간에 높은 내부 일관성을 보이는 반면, 위조 비디오는 독특한 불일치 서명을 노출한다는 것을 검증합니다.
2. 비대칭 융합 메커니즘: 저자들은 외관이 운동 및 깊이 키/값에 대해 쿼리로 작용하는 교차 주의 모듈을 제안합니다. 이는 포렌식 관계를 운영화하여, 모델이 운동이나 깊이 증거가 시각적 외관과 모순될 때 이를 탐지할 수 있게 합니다.
3. 포괄적 평가: 이 프레임워크는 두 가지 대규모 벤치마크에서 평가되었습니다: GenVidBench(출처 정렬, 교차 생성기 강건성) 와 GenVideo(다양한 미시나 시나리오에 대한 제로샷 전이).
4. 강건성 분석: 이 연구는 실제 세계의 열화 (압축, 노이즈, 흐림) 와 적대적 교란 (FGSM, PGD) 하에서 엄격한 테스트를 포함하며, 교차 모달리티 추론이 단일 모달리티 베이스라인에 비해 회복탄력성을 향상시킨다는 것을 입증합니다.
5. 통계적 검증: 저자들은 교차 모달리티 주의 불일치 (CMAD) 분석을 도입하여 실제 및 위조 비디오의 주의 가중치가 통계적으로 분리 가능하다는 통계적 증거 (p < 0.001, Cohen's d = 0.68) 를 제공합니다.

실험 결과

이 모델은 여러 벤치마크에서 최첨단 성능을 입증합니다.

• GenVidBench: CAM-VFD 는 95.31% Top-1 정확도를 달성하여 최선의 베이스라인 (MViT V2, 83.27%) 보다 12% 이상 앞섰습니다. 이는 다섯 가지 미시나 생성기 하위 집합 (HD-VG-130M, CogVideo, SVD, MuseV, Mora) 전반에 걸쳐 90% 이상의 정확도를 유지한 반면, 기존 CNN 및 Transformer 모델은 특정 생성기에서 상당한 저하를 보였습니다 (예: MViT V2 는 CogVideo 에서 47.50% 로 하락).
• GenVideo: 열 가지 미시나 생성 시나리오에 대한 제로샷 평가에서 CAM-VFD 는 93.43% 정확도, 90.63% F1 점수, 96.56% AUROC를 달성했습니다. 이는 DeMamba(+9.22% 정확도) 와 같은 경쟁자들을 크게 능가했으며, 다른 방법들이 붕괴된 까다로운 시나리오 (예: 거의 정적인 장면) 에서도 높은 재현율을 유지했습니다.
• 일반화: 분포 내 (ID) 에서 분포 외 (OOD) 생성기로의 정확도 하락은 미미했습니다 (약 1.68% 에서 2.63%). 이는 교차 모달리티 모순 신호가 생성기 중립적임을 확인시켜 줍니다.
• 강건성: 심한 압축 (CRF=32) 과 모션 블러 하에서 CAM-VFD 는 DeMamba 베이스라인을 11~15% 포인트 차이로 일관되게 능가하여 신호 열화에 대한 우수한 회복탄력성을 입증했습니다.

중요성 및 주장

이 논문은 CAM-VFD가 모달리티 내 아티팩트에서 교차 모달리티 모순으로 초점을 이동시킴으로써 비디오 위조 탐지를 위한 새로운 패러다임을 확립한다고 주장합니다. 저자들은 생성 모델이 단일 모달리티 특징을 현실적으로 합성하는 능력이 향상됨에 따라, "포렌식 격차"는 점점 더 외관, 기하학, 운동 사이의 불일치에 존재할 것이라고 주장합니다.

이 작업의 중요성에 관한 주요 주장은 다음과 같습니다.

• 일반화 가능성: 교차 모달리티 모순 신호는 특정 생성기 아티팩트에 묶여 있지 않으므로, 미시나 생성 방법에 대해 강건한 접근 방식을 제공합니다.
• 해석 가능성: 교차 모달리티 주의 불일치 (CMAD) 지수는 불일치의 정량적 측정치를 제공하여, 왜 비디오가 위조로 표시되는지에 대한 해석 가능성을 제공합니다.
• 강건성: 방향성 융합 메커니즘은 실제 세계의 왜곡 (압축, 노이즈, 흐림) 과 적대적 공격에 대한 안정성을 향상시켜, 다중 모달리티 추론이 신뢰할 수 있는 미디어 포렌식으로 가는 실현 가능한 경로임을 시사합니다.

저자들은 한계를 인정하며, VideoMAE 특징의 시간적 판별력이 감소하는 약하거나 모호한 운동 단서가 있는 시나리오 (예: 거의 정적인 비디오) 에서는 성능이 저하될 수 있음을 지적합니다. 그들은 프레임워크가 강력한 기반을 제공하지만, 향후 작업은 적응형 모달리티 샘플링과 설명 가능한 AI(XAI) 의 통합을 탐구하여 투명성을 더욱 향상시켜야 한다고 결론지었습니다.