기술 요약: AI 생성 비디오 탐지에서의 일반화 감사(Auditing Generalization)

1. 문제 정의

GenVidBench 및 AIGVDBench와 같은 현재의 AI 생성 비디오(AIGV) 탐지 벤치마크는 사실상의 리더보드 역할을 수행하지만, 정작 자신이 주장하는 바를 측정하는 데는 실패하는 경우가 많다. 본 논문은 보고된 일반화 지표(예: AUC)가 생성 아티팩트(generation artifacts)의 진정한 탐지가 아니라, 클립 길이, 코덱 설정 또는 데이터셋 정체성과 같은 데이터의 부수적 속성인 통제되지 않은 혼란 변수(confounds)에 의해 빈번하게 부풀려져 있음을 지적한다.

저자들은 존재 증명(existence proof)을 통해 이 문제의 심각성을 입증한다. 감사가 수행되지 않은 Gen-VidBench 환경에서 단 세 개의 클립 길이 특징만을 사용하는 사소한 분류기가 Leave-One-Generator-Out (LOGO) AUC 0.998을 달est했다. 이 분류기는 움직임이나 콘텐츠에 대해 아무것도 탐지하지 못함에도 불구하고, 최첨단 탐지기들과 구별할 수 없을 정도로 높은 성능을 보인다. 최근 20개의 탐지 논문(2024–2026)을 조사한 결과, 이러한 혼란 변수를 배제하기 위해 포괄적인 제어 세트를 적용한 연구는 하나도 없었으며, 이는 서로 다른 평가 프로토콜 간의 비정규화 및 비교 불가능한 점수로 이어진다.

2. 방법론: 6단계 제어 감사 프로토콜

이러한 문제를 해결하기 위해 저자들은 모든 평가 대상 탐지기에 일관되게 적용되는 6가지 표준 제어(C1–C6)로 구성된 통합 **감사 평가 프로토콜(audited evaluation protocol)**을 제안한다. 이 프로토콜은 보고된 AUC가 데이터 아티팩트가 아닌 탐지 능력을 반영하도록 보장한다.

6가지 제어 항목은 다음과 같다:

1. C1 (Canonical Re-encode): 코덱 측의 지문(fingerprint)을 제거하기 위해 모든 입력값은 특징 추출 전 고정된 단일 H.264 파이프라인을 통해 재인코딩된다.
2. C2 (Leakage Audit): 통제되지 않은 파이프라인에서 사소한 베이스라인(예: 원시 프레임 수를 사용하는 분류기)을 적합시켜 누출(leakage)의 상한선을 측정한다. 이후 클립 길이를 동일하게 맞추고 프레임 수 혼란 변수를 제거하기 위해 고정된 수의 비-I-프레임($K=12$)을 유지하는 필터를 적용한다.
3. C3 (Real-vs-Real Coherence Probe): 두 개의 실제 세계 비디오 소스를 구분하도록 분류기를 학습시킨다. 결과적인 AUC는 데이터셋 자체의 편향 기여도를 나타내는 "데이터셋 정체성 하한선(dataset-identity floor)"을 설정한다. 유효한 탐지기는 이 하한선보다 유의미하게 높은 성능을 보여야 한다.
4. C4 (Matched-Harness Re-training): 비교되는 모든 탐지기는 동일한 판독기(L2 정규화 로지스틱 회귀), 동일한 데이터 분할(80/20), 그리고 27,000개의 클립으로 구성된 매칭된 서브셋에 대한 동일한 LOGO 프로토콜을 사용하여 재학습된다. 이는 서로 다른 학습 헤드나 하이퍼파라미터로 인한 차이를 제거한다.
5. C5 (Multi-Seed Stability & Bootstrap CIs): 통계적 견고성을 확보하기 위해 모든 주요 지표는 멀티 시드 안정성 체크와 부트스트랩 신뢰 구간(5개 시드, $B=1000$)과 함께 보고된다.
6. C6 (Cross-Dataset Validation): 원래 데이터셋의 생성기 목록 및 실제 소스 풀을 넘어 일반화되는지 검증하기 위해 별도로 큐레이션된 벤치마크(AIGVDBench)에서 감사를 재실행한다.

3. 주요 기여 및 도구

A. VidAudit 툴킷

저자들은 이 작업을 위한 가장 크고 통합된 감사된 탐지기 컬렉션인 VidAudit를 공개한다. 이는 다음을 제공한다:

• 14개의 탐지기: 포렌식, 외형(appearance), 움직임, 코덱, 퓨전 및 멀티모달-LLM 계열을 포함하며, 단일 플러그인 API를 통해 접근 가능하다.
• 재점수화(Re-scoring) 기능: 단일 명령어로 전체 6단계 제어 감사하에 새로운 방법론을 점수화할 수 있는 표준화된 진입점을 제공한다.
• 메타데이터: Croissant 준수 메타데이터와 통합된 리더보드를 제공한다.

B. TemporalSpec 및 XSFF

"화이트박스 양성 대조군(white-box positive control)"으로서 저자들은 13개의 해석 가능한 코덱 모션 벡터(MV) 특징으로 구축된 탐지기인 TemporalSpec을 도입한다.

• 기반 구조(Substrate): 딥 외형 특징과는 구별되는 영역인 비트스트림에서 추출된 코덱 모션 벡터(H.264/HEVC)에서 작동한다.
• 특징 계열:
  • Tier 0: 크기 통계(평균, 희소성, 분산, 시간적 차이).
  • Tier 1: 매크로블록 격자 위에서 계산된 시간적-스펙트럼 구조(스펙트럼 기울기, 평탄도, ACF 감쇠, 가속도 첨도).
• 교차 기질 특징 퓨전 (XSFF): 저자들은 TemporalSpec의 코덱-MV 채널을 ReStraV 탐지기(DINOv2 기반)의 딥 특징 궤적과 융합한다. 이 융합은 두 기질이 직교하는 정보를 제공하여 감사를 통과한다는 점에서 진정한 상호 보완성을 입증한다.

4. 주요 결과

입증 및 인증

대표적인 탐지기에 감사를 적용하면 명확한 판결이 내려진다:

• 사소한 베이스라인의 붕괴: 미감사 시 0.998을 기록했던 세 가지 특징의 클립 길이 분류기는 C2 필터 하에서 거의 무작위 수준(0.529)으로 붕괴한다.
• 데이터셋 정체성 누출: CLIP 외형 베이스라인(AUC 0.852)과 WaveRep의 원시 768-d 특징 프로브(AUC 0.999)는 데이터셋 정체성을 운반하고 있음이 포착되었다. 이들의 성능은 "Real-vs-Real" 하한선(C3)을 고려할 때 크게 하락하며, 이들의 신호 중 상당 부분이 AI 생성을 탐지하는 것이 아니라 실제 비디오 소스를 구별하는 데서 온다는 것을 드러낸다.
• 인증: 네이티브 LLR을 사용하는 WaveRep 포렌식 탐지기는 Real-vs-Real(RvR) 점수가 0.534(무작위 근접)인 상황에서도 넓은 격차를 두고 하한선을 통과하여, LOGO OOD AUC 0.996을 달성함으로써 생성 아티팩트가 아닌 데이터셋 편향을 측정하고 있음을 확인하였다.
• TemporalSpec 성능: 제안된 코덱-MV 탐지기는 RvR이 0.643인 상태에서 LOGO OOD AUC 0.832를 달성하여 하한선보다 +0.189만큼 높은 성적을 거두며 하한선을 통과했다. 이는 낮은 비용(~CPU에서 클립당 14ms)으로 작동한다.

AUC를 넘어: 감사된 튜플(Audited Metric Tuple)

논문은 단일 AUC 지표만으로는 배포에 불충분하다고 주장한다. 0.1%의 배포 가능한 허위 양성률(FPR)에서:

• 높은 AUC를 가진 여러 방법론(예: FVMD, RAFT)이 한 자릿수 재현율(TPR $\le$ 3%)로 붕계한다.
• 리더보드의 순위가 크게 바뀐다. 예를 들어, CLIP은 더 낮은 AUC에도 불구하고 해당 작동 지점에서 FVMD보다 10배 더 많은 재현율을 유지한다.
• 권고 사항: 저자들은 (1) AUC, (2) Real-vs-Real 하한선과의 격차, (3) 작동 지점 재현율(고정된 FPR에서의 TPR), (4) 교정 지표(Brier score, ECE)로 구성된 감사된 튜플을 보고할 것을 제안한다.

교차 데이터셋 복제

AIGVDBench(2025년형 생성기)에 대한 감사 결과, 새로운 모델을 탐지하는 것의 어려움이 드러났다. 절대적인 성능은 하락하지만(예: TemporalSpec OOD가 0.602로 하락), 상호 보완성은 지속된다. 코덱-MV와 ReStraV 특징의 융합은 GenVidBench에서 관찰된 +1.4 포인트의 이득을 재현하며, ReStraV 단독 모델보다 OOD 성능을 +1.6 AUC 포인트 개선시킨다.

5. 의의 및 주장

본 논문은 현재의 AI 생성 탐지 평가 관행이 탐지가 어떻게 작동하는지를 가리고 있으며, 이로 인해 부풀려진 일반화 점수가 발생한다고 주장한다. 저자들은 6단계 제어 감사 프로토콜을 도입함으로써 다음을 위한 프레임워크를 제공한다:

1. 데이터 아티팩트(클립 길이 또는 데이터셋 정체성 등)에 의존하는 방법론을 **입증(Debunk)**한다.
2. 생성 아티팩트를 진정으로 탐지하는 방법론(WaveRep 및 TemporalSpec 등)을 **인증(Certify)**한다.
3. 직교하는 신호 채널(예: 코덱 모션을 딥 외형과 융합)을 식별함으로써 더 나은 탐지기를 **구축(Construct)**한다.

저자들은 자신들의 작업이 분야의 초점을 "리더보드 순위"에서 "결과가 무엇을 측정하는가"로 이동시킨다고 강조한다. 저자들은 재현 가능하고 비교 가능하며 신뢰할 수 있는 평가를 가능하게 하기 위해 프로토콜과 툴킷을 오픈 소스로 공개하며, 이 감사가 알려진 혼란 변수를 다루기는 하지만 미래의 테스트되지 않은 회피 전략에 대한 면역을 보장하는 것은 아니라고 명시한다. 회피 도구가 아닌 평가 제어 도구를 공개하는 것은 이중 용도(dual-use) 안전을 지원하기 위한 의도적인 선택이다.