Technische Samenvatting: Het heroverwegen van de Readout: Het ontsluiten van Video Backbones voor AI-gegenereerde Videodetectie

1. Probleemstelling

AI-gegenereerde video's (AIGV's) vertonen steeds vaker subtiele temporele artefacten, zoals inter-frame inconsistenties (flikkering, jitter, drift), in plaats van anomalieën binnen het frame zelf. Hoewel video-pre-trained backbones theoretisch geschikt zijn om deze temporele dynamiek te modelleren, onthullen empirische benchmarks een contra-intuïtief fenomeen: detectoren gebouwd op video-backbones met standaard readouts presteren vaak slechter dan die gebaseerd op beeld-pre-trained encoders.

De auteurs identificeren dat de bottleneck niet ligt in het representatievermogen van de backbone, maar in de readout-laag. Standaard video-backbones (bijv. TimeSformer, VideoMAE) zijn doorgaans getraind voor actieherkenning, waarbij het doel is om een stabiele globale representatie te leren. Bijgevolg vertonen hun standaard readout-mechanismen—Global Average Pooling (GAP) of CLS-token aggregatie—excessieve spatiotemporele aggregatie. Dit proces reduceert patch-tokens tot een enkele globale vector, wat onbedoeld de cues onderdrukt die essentieel zijn voor AIGV-detectie:

1. Verlies van inter-patch relaties: Aggregatie wist de covariantiestructuur tussen verschillende ruimtelijke patches over frames heen uit.
2. Verwatering van per-kanaal snelheidmagnitudes: Lineaire middeling zorgt ervoor dat snelheidcomponenten met tegengestelde tekens elkaar opheffen, waardoor de signaalsterkte van lokale temporele variaties afneemt.

2. Methodologie: Velocity Gated Patch Velocity Profiling (V-PVP)

Om deze verliezen aan te pakken zonder de zware backbone opnieuw te trainen, stellen de auteurs V-PVP voor, een lichtgewicht, plug-and-play readout-module die alleen de aggregatielaag vervangt. V-PVP opereert op het patch-snelheidsveld ($v_t^{(p)} = z_{t+1}^{(p)} - z_t^{(p)}$) en bestaat uit twee parallelle stromen:

A. Velocity-Gated Learnable Aggregation ($\tilde{z}_t$)

Deze stroom adresseert het verlies van inter-patch relaties (Verlies 1). In plaats van uniforme middeling, maakt het gebruik van een leerbaar scorend netwerk om input-adaptieve patch-gewichten te genereren.

• Mechanisme: Een kleine MLP scoort elke patch op basis van de token-representatie $z_t^{(p)}$ en de snelheidmagnitude $\|v_t^{(p)}\|_2$.
• Rationale: Het conditioneren op snelheidmagnitude verankert de definitie van "anomalie" aan een generator-invariante fysieke grootheid, wat voorkomt dat het model overfit op de ruimtelijke vingerafdrukken van specifieke trainingsgeneratoren. De resulterende gewichten maken het mogelijk dat de aggregatie de inter-patch heterogeniteit behoudt.

B. Channel-Faithful Velocity Stream ($r_t$)

Deze stroom adresseert de verwatering van per-kanaal magnitudes (Verlies 2).

• Mechanisme: Het past een elementgewijze absolute waarde-operatie toe op de patch-snelheden voordat de ruimtelijke aggregatie plaatsvindt: $r_t = \frac{1}{P} \sum_p |v_t^{(p)}|$.
• Rationale: Door de niet-lineariteit binnen de sommatie te plaatsen, voorkomt deze stroom dat snelheidcomponenten met een tegengesteld teken elkaar opheffen, waardoor de magnitude van abnormale activiteit over de kanalen heen getrouw wordt behouden.

C. Fusion en Temporal Head

De outputs van de twee stromen ($\tilde{z}_t$ en $r_t$) worden onafhankelijk geprojecteerd, geconcateneerd en door een ondiepe temporal head gestuurd (GELU $\to$ Conv1D $\to$ MeanPool $\to$ Linear). De gehele backbone blijft volledig bevroren, waarbij alleen de readout-parameters (ca. 0,5M, of ~0,57% van de backbone) worden getraind.

3. Belangrijkste Bijdragen

1. Diagnose van de Readout Bottleneck: Het artikel levert kwantitatief bewijs (via spectrale conditiegetallen en energy gap-analyse) dat standaard aggregatielagen complementaire vormen van patch-niveau bewijs weggooien die essentieel zijn voor AIGV-detectie.
2. V-PVP Architectuur: Een nieuw, minimaal-parameter readout-ontwerp dat verloren gegane temporele cues herstelt via een dual-stream ontwerp over het patch-snelheidsveld.
3. Prestaties met Bevroren Backbones: De methode toont aan dat het reactiveren van het temporele potentieel van bevroren video-backbones mogelijk is door simpelweg de aggregatielaag te vervangen, waarmee state-of-the-art resultaten worden behaald zonder volledige fine-tuning.

4. Experimentele Resultaten

De methode werd geëvalueerd op AIGVDBench (20 generatoren) en GenVidBench-143k (cross-source protocol).

• AIGVDBench: Met een bevroren VideoMAE-backbone bereikte V-PVP een gemiddelde per-generator AUC van 95,28. Dit overtreft:
  • End-to-end fine-tuned VideoMAE met standaard readouts (88,34 AUC).
  • Sterke beeld-pre-trained detectoren (bijv. NPR, UnivFD).
  • Andere video-classificatie backbones (I3D, SlowFast, TimeSformer), zelfs wanneer deze backbones volledig werden gefine-tuned.
• GenVidBench-143k: V-PVP behaalde een 93,75 AUC, waarmee het opnieuw de eerste plaats verwierf onder alle vergeleken methoden.
• Efficiëntie: De methode traint slechts ~0,5M parameters, ongeveer twee ordes van grootte minder dan full fine-tuning benaderingen, terwijl het deze overtreft.
• Generaliseerbaarheid: De prestatiewinst houdt stand bij diverse backbones (TimeSformer, UniFormerV2, Qwen3-VL-8B) en strekt zich uit tot CNN-gebaseerde backbones (I3D, SlowFast), hoewel de verbetering op CNN's iets kleiner is vanwege de impliciete ruimtelijke aggregatie in convolutionele lagen.

5. Betekenis en Claims

Het artikel claimt dat voor AI-gegenereerde video-detectie de readout-laag de primaire bottleneck is, en niet de backbone-representatie. De standaard spatiotemporele aggregatie gebruikt voor actieherkenning is fundamenteel mismatch met de behoeften van AIGV-detectie, die afhankelijk is van subtiele lokale inconsistenties.

De betekenis van dit werk ligt in het aantonen dat:

• Temporeel potentieel is latent: Pre-trained video-backbones bevatten al de noodzakelijke temporele cues; deze worden enkel onderdrukt door standaard readouts.
• Parameter-efficiëntie: Hoge-prestatie detectie vereist geen dure full fine-tuning. Een lichtgewicht, natuurkundig geïnformeerde vervanging van de readout is voldoende om de capaciteiten van de backbone te ontsluiten.
• Robuustheid: Door de readout te verankeren aan generator-invariante fysieke grootheden (snelheidsmagnitude) in plaats van statische ruimtelijke kenmerken, bereikt de methode een betere generalisatie naar onbekende generatoren vergeleken met end-to-end getrainde detectoren.

De auteurs concluderen dat toekomstige AIGV-detectoren moeten voorkomen dat ze patch-niveau temporeel bewijs te vroeg laten instorten, wat suggereert dat het ontwerp van de aggregatielaag even cruciaal is als de backbone-architectuur zelf.