기술 요약: 리드아웃(Readout)의 재고: AI 생성 비디오 탐지를 위한 비디오 백본의 잠재력 해방

1. 문제 정의

AI 생성 비디오(AIGV)는 프레임 내의 이상 징후보다는 프레임 간 불일치(플리커, 지터, 드리프트)와 같은 미세한 시간적 아티팩트(temporal artifacts)를 점점 더 많이 나타내고 있습니다. 비디오 사전 학습된 백본은 이론적으로 이러한 시간적 역동성을 모델링하는 데 적합하지만, 경험적 벤치마크에 따르면 표준 리드아웃을 사용하는 비디오 백본 기반 탐지기가 이미지 사전 학습된 인코더 기반 탐지기보다 성능이 떨어지는 역설적인 현상이 관찰됩니다.

저자들은 이 병목 현상이 백본의 표현 능력 문제가 아니라 리드아웃 레이어에 있다고 진단합니다. 일반적인 비디오 백본(예: TimeSformer, VideoMAE)은 액션 인식(action recognition)을 위해 사전 학습되며, 이들의 목적은 안정적인 글로벌 표현을 학습하는 것입니다. 결과적으로, 이들의 기본 리드아웃 메커니즘인 전역 평균 풀링(Global Average Pooling, GAP) 또는 CLS 토큰 집계는 과도한 시공간적 집계(spatiotemporal aggregation)를 수행합니다. 이 과정은 패치 토큰을 하나의 글로벌 벡터로 붕괴시키며, 이는 AIGV 탐지에 필수적인 다음과 같은 단서들을 의도치 않게 억제합니다:

1. 패치 간 관계의 상실: 집계 과정에서 서로 다른 프레임의 다양한 공간 패치 간의 공분산 구조(covariance structure)가 소멸됩니다.
2. 채널별 속도 크기의 희석: 선형 평균을 취하면 부호가 반대인 속도 성분들이 서로 상쇄되어, 국소적 시간 변화의 신호 강도가 약해집니다.

2. 방법론: 속도 게이트 패치 속도 프로파일링 (V-PVP)

백본을 재학습하지 않고 이러한 손실을 해결하기 위해, 저자들은 집계 레이어만을 교체하는 가볍고 플러그 앤 플레이 방식인 V-PVP를 제안합니다. V-PVP는 패치 속도장($v_t^{(p)} = z_{t+1}^{(p)} - z_t^{(p)}$) 위에서 작동하며, 두 개의 병렬 스트림으로 구성됩니다:

A. 속도 게이트 학습 가능 집계 ($\tilde{z}_t$)

이 스트림은 패치 간 관계의 상실(손실 1)을 해결합니다. 균일한 평균 대신, 입력 적응형 패치 가중치를 생성하기 위해 학습 가능한 스코어링 네트워크를 사용합니다.

• 메커니즘: 작은 MLP가 각 패치의 토큰 표현 $z_t^{(p)}$와 속도 크기 $\|v_t^{(p)}\|_2$를 기반으로 패치 점수를 매깁니다.
• 근거: 속도 크기에 따라 조건을 부여함으로써 "이상 징후"의 정의를 특정 생성기의 공간적 지문(spatial fingerprint)에 오버피팅되지 않는 생성기 불변적 물리량에 고정합니다. 결과적으로 생성된 가중치는 집계 과정에서 패치 간 이질성을 보존할 수 있게 합니다.

B. 채널 충실도 속도 스트림 ($r_t$)

이 스트림은 채널별 크기의 희석(손실 2)을 해결합니다.

• 메커니즘: 공간 집계를 수행하기 전에 패치 속도에 원소별 절대값 연산을 적용합니다: $r_t = \frac{1}{P} \sum_p |v_t^{(p)}|$.
• 근거: 비선형 연산을 합산 내부로 이동시킴으로써, 부호가 반대인 속도 성분들이 서로 상쇄되는 것을 방지하고, 채널 전체에 걸친 이상 활동의 크기를 충실하게 보존합니다.

C. 퓨전 및 시간적 헤드 (Fusion and Temporal Head)

두 스트림($\tilde{z}_t$ 와 $r_t$)의 출력은 독립적으로 투영된 후 결합되며, 얕은 시간적 헤드(GELU $\to$ Conv1D $\to$ MeanPool $\to$ Linear)를 통과합니다. 전체 백본은 **완전히 동결(fully frozen)**된 상태를 유지하며, 오직 리드아웃 파라미터(약 0.5M, 백본의 약 0.57%)만 학습됩니다.

3. 주요 기여

1. 리드아웃 병목 현상 진단: 본 논문은 스펙트럼 조건수(spectral condition numbers) 및 에너지 갭 분석을 통해, 표준 집계 레이어가 AIGV 탐지에 필수적인 패치 수준의 보완적 증거들을 버린다는 정량적 증거를 제시합니다.
2. V-PVP 아키텍처: 패치 속도장에 대한 듀얼 스트림 설계를 통해 손실된 시간적 단서를 복구하는 참신하고 최소한의 파라미터를 가진 리드아웃 모듈을 제안합니다.
3. 동결된 백본에서의 성능: 이 방법은 집계 레이어만을 교체함으로써 동결된 비디오 백본의 시간적 잠재력을 재활성화할 수 있음을 입증하며, 전체 파인튜닝 없이도 최첨단(SOTA) 결과를 달상합니다.

4. 실험 결과

본 방법은 AIGVDBench(20개 생성기) 및 GenVidBench-143k(교차 소스 프로토콜)에서 평가되었습니다.

• AIGVDBench: 동결된 VideoMAE 백본을 사용하여, V-PVP는 95.28의 생성기당 평균 AUC를 달성했습니다. 이는 다음을 능가합니다:
  • 표준 리드아웃을 사용한 엔드 투 엔드 파인튜닝 VideoMAE (88.34 AUC).
  • 강력한 이미지 사전 학습 탐지기 (예: NPR, UnivFD).
  • 완전히 파인튜닝된 경우를 포함한 다른 비디오 분류 백본들 (I3D, SlowFast, TimeSformer).
• GenVidBench-143k: V-PVP는 93.75 AUC를 기록하며 비교된 모든 방법 중 1위를 차지했습니다.
• 효율성: 본 방법은 전체 파인튜닝 접근 방식보다 약 두 자릿수 적은 약 0.5M 개의 파라미터만을 학습하면서도 이를 능가하는 성능을 보여주었습니다.
• 일반화 능력: 성능 향상은 다양한 백본(TimeSformer, UniFormerV2, Qwen3-VL-8B)에서 유지되었으며, CNN 기반 백본(I3D, SlowFast)에서도 효과가 나타났습니다 (다만 컨볼루션 레이어의 암묵적 공간 집계로 인해 CNN에서의 개선 폭은 약간 더 작았습니다).

5. 의의 및 주장

본 논문은 AI 생성 비디오 탐지에 있어 리드아웃 레이어가 주요 병목 지점이며, 백본의 표현력이 문제가 아니라고 주장합니다. 액션 인식에 사용되는 표준 시공간 집계는 미세한 국소적 불일치에 의존하는 AIGV 탐지의 요구 사항과 근본적으로 맞지 않습니다.

본 연구의 의의는 다음과 같습니다:

• 시간적 잠재력은 잠재되어 있다: 사전 학습된 비디오 백본은 이미 필요한 시간적 단서들을 포함하고 있으며, 단지 표준 리드아웃에 의해 억제되어 있을 뿐입니다.
• 파라미터 효율성: 고성능 탐지를 위해 비용이 많이 드는 전체 파인튜닝이 반드시 필요한 것은 아닙니다. 가볍고 물리 법칙에 기반한 리드아웃 교체만으로도 백본의 능력을 끌어낼 수 있습니다.
• 강건성: 리드아웃을 정적인 공간 특징이 아닌 생성기 불변적 물리량(속도 크기)에 고정함으로써, 본 방법은 엔드 투 엔드로 학습된 탐지기보다 미지의 생성기에 대해 더 나은 일반화 성능을 달성합니다.

저자들은 향데 AIGV 탐지기는 패치 수준의 시간적 증거를 너무 일찍 붕괴시키지 말아야 하며, 집계 레이어의 설계가 백본 아키텍처 자체만큼이나 중요하다는 결론을 내립니다.