기술 요약: 신뢰할 수 있는 합성 비디오 탐지 발전 (SAFE 챌린지)

문제 정의

생성형 비디오 기술 (확산, 트랜스포머, 적대적 아키텍처) 의 급속한 발전은 진본과 합성 미디어 간의 경계를 모호하게 만들었습니다. 이러한 시스템이 창의적인 기회를 제공하지만, 미디어 출처 증명, 저널리즘, 사기 방지에는 상당한 도전을 제기합니다. 기존 벤치마크는 종종 과적합에 취약하고 주로 얼굴 또는 인간 중심 콘텐츠로 제한되는 고정된 공개 데이터셋에 의존합니다. furthermore, 많은 탐지기들은 미처 보지 못한 생성 기술에 대해 일반화되지 못하거나, 실제 온라인 유통 과정에서 발생하는 일반적인 후처리 작업 (예: 압축, 크기 조정) 에 대해 견고하지 못합니다. SAFE(합성 비디오 탐지) 챌린지는 이러한 격차를 해소하기 위해 실제 포렌식 제약을 시뮬레이션하는 완전 블라인드, 모델 제출 기반 평가 프레임워크를 구축하도록 설계되었습니다.

방법론

챌린지 설계 및 인프라

SAFE 챌린지는 ICCV 2025 APAI 워크숍에서 최종 결산된 90 일간 Hugging Face 플랫폼에서 개최되었습니다. 본 경기는 완전 블라인드 평가 프로토콜을 활용했습니다:

• 데이터 미공개: 참가자들은 테스트 데이터셋에 접근할 수 없었습니다.
• 모델 제출: 팀들은 컨테이너화된 스크립트를 비공개 저장소에 제출했습니다.
• 격리된 평가: 제출물은 공정한 평가와 재현성을 보장하기 위해 동일한 하드웨어 (NVIDIA L40S GPU, 48GB VRAM) 에서 오프라인 컨테이너 환경에서 실행되었습니다.
• 블라인드: 참가자들은 비공개 테스트 세트에 적용된 구체적인 비디오 소스, 생성기, 또는 후처리에 대한 정보를 알 수 없었습니다.

데이터셋 구축

데이터셋은 공개 (리더보드 피드백용) 와 비공개 (최종 평가용) 세트로 나뉜 6,000 개의 비디오 샘플로 구성되었으며, 총 20 시간의 콘텐츠를 포함합니다.

• 실제 콘텐츠: 야생동물 트레일 캠, 드론 영상, 소셜 미디어, 강의, 대시캠, 아날로그 이전 아카이브 영상 등 21 개의 다양한 카테고리에서 출처되었습니다. 오디오는 제거되었고, 클립은 5~10 초로 잘렸습니다.
• 합성 콘텐츠: 13 개의 최첨단 모델 (10 개 텍스트 + 이미지 -to-비디오, 1 개 오디오 구동, 2 개 물리적 환경 시뮬레이터) 을 사용하여 생성되었습니다.
  • 정렬: 의미적 정렬을 보장하기 위해 Qwen2.5-VL 을 사용한 자동화 파이프라인이 실제 비디오에서 대표 프레임을 추출하고 텍스트 프롬프트를 생성했습니다. 이러한 동일한 입력이 모든 생성기에 공급되어 콘텐츠 변동성에서 생성기 성능을 분리했습니다.
• 작업 1 (베이스라인): 수정되지 않은 합성 비디오 대 실제 비디오 탐지.
• 작업 2 (견고성): 업/다운스케일링, H.264/H.265/AV1 압축, 모션 블러, 노이즈, 프레임 보간, 그리고 "laundering"(카메라로 화면 녹화) 을 포함한 14 가지 후처리 기술 적용 후 합성 대 실제 비디오 탐지.

평가 지표

주요 지표는 True Positive Rate(TPR) 와 True Negative Rate(TNR) 의 평균으로 정의된 **균형 정확도 (Balanced Accuracy, BAC)**였습니다. 또한 곡선 아래 면적 (AUC) 도 보고되었습니다. 공개 리더보드는 과적합을 방지하기 위해 소스별 지표를 익명화하여 제공했으며, 최종 순위는 비공개 세트를 기반으로 결정되었습니다.

주요 기여

1. 현실적인 블라인드 벤치마크: 이전 오픈 데이터셋 노력과 달리, SAFE 는 메타데이터나 파일 형식 단서에 접근할 수 없는 격리된 데이터에서 모델을 평가하는 블랙박스 테스트 시나리오를 강제하여 운영상의 포렌식 워크플로우를 면밀히 반영했습니다.
2. 이중 작업 평가: 본 챌린지는 일반화(작업 1: 미처 보지 못한 생성기 및 소스) 와 견고성(작업 2: 일반적인 온라인 변환에 대한 내성) 을 동시에 측정했습니다.
3. 포괄적인 데이터셋: 13 개의 다양한 고품질 생성기와 240p 에서 4K 에 이르는 21 개의 실제 세계 소스 (얼굴 중심 벤치마크보다 더 넓은 의미 영역 제공) 의 포함이 이루어졌습니다.
4. SOTA 탐지기에 대한 실증적 분석: 이 논문은 12 개 팀의 600 건 이상의 제출물에서 도출된 결과를 집계하여 아키텍처 동향과 성능 병목 현상을 식별했습니다.

결과

작업 1: 일반화 성능

• 강력한 베이스라인 성능: 상위 팀들은 수정되지 않은 콘텐츠에서 높은 AUC 점수를 달성했습니다 (예: GRIP-UNINA: 0.93, ISPL-Realynx: 0.92). 이는 베이스라인 (0.74) 보다 훨씬 우수한 성과였습니다.
• 교차 생성기 전이성: 특정 생성기 (예: DASH 팀이 WAN2.2 만으로 학습) 에서 학습된 탐지기는 미처 보지 못한 생성기로도 놀라운 일반화 능력을 보여주었으며, 이는 포괄적인 생성기 커버리지보다 아키텍처와 학습 전략이 더 중요할 수 있음을 시사합니다.
• 소스 변동성: 성능은 다양한 실제 세계 소스 (공개 대 비공개 분할) 간에 상대적으로 일관되었으나, '대시캠'과 'TV 토크쇼'와 같은 특정 소스는 독특한 포렌식 또는 의미적 특성으로 인해 탐지율이 낮았습니다.

작업 2: 후처리에 대한 견고성

• 심각한 성능 저하: 모든 팀은 수정되지 않은 콘텐츠에 비해 비디오가 후처리를 거쳤을 때 5~25 점의 AUC 하락을 경험했습니다.
• 취약성 요인:
  • 압축: H.264, H.265, AV1 압축은 상당한 감소를 초래했습니다 (예: 약 0.88 에서 약 0.77 로).
  • 노이즈 및 블러: 가우시안 블러와 가산 노이즈는 각각 AUC 를 약 0.74 와 약 0.72 로 추가로 감소시켰습니다.
  • laundering: "실제 카메라" 기술 (디지털 - 아날로그 - 디지털 재녹화) 이 가장 어려웠으며, AUC 를 0.62 로 떨어뜨렸습니다. 흥미롭게도 이 작업은 오탐지율을 증가시켜, laundered 된 실제 비디오가 합성 비디오와 더 가까운 점수를 받도록 만들었습니다.

아키텍처 통찰

최상위 팀들의 분석 (표 9) 은 공통된 성공 전략을 드러냈습니다:

• 백본: 일반적인 컴퓨터 비전 작업을 위해 설계된 대규모 사전 학습 비전 백본 (특히 DINOv2) 의 활용.
• 증강: 실제 비디오를 VAE 를 통해 재구성하여 실제 입력과 완벽하게 콘텐츠가 일치하는 합성 학습 예제를 만드는 **자동 인코딩 증강 (autoencoding augmentation)**의 광범위한 사용.
• 학습 데이터: 일부 상위 팀은 학습 데이터와 챌린지 생성기 간의 최소한의 중복으로도 높은 성능을 달성하여, 학습된 특징의 전이성을 강화했습니다.

중요성과 주장

이 논문은 SAFE 챌린지가 통제되지만 현실적인 블라인드 조건 하에서 합성 비디오 탐지에 대한 구조화된 다중 요소 테스트를 제공한다고 주장합니다. 연구 결과는 교차 생성기 일반화에서 측정 가능한 진전을 강조하며, 현대 탐지기가 수정되지 않은 합성 콘텐츠를 효과적으로 구별할 수 있음을 보여줍니다. 그러나 연구는 온라인 비디오 유통의 노이즈가 많고 압축된 현실에 대해 현재 방법론이 아직 충분히 견고하지 않음을 나타내는 지속적인 취약성을 또한 강조합니다.

저자들은 수정되지 않은 합성 비디오 탐지가 유망하지만, 신뢰할 수 있는 대규모 포렌식 활용을 달성하기 위해서는 표준 온라인 변환 (압축, 재인코딩) 으로 인한 저하를 해결해야 한다고 결론지었습니다. 본 챌린지의 설계와 결과는 향후 견고하고 일반화 가능한 탐지 아키텍처에 대한 연구의 기준을 제공합니다.