Detect Early, Escalate Rarely: Anytime Detection of AI-Generated Video from the Compressed Bitstream

Technisch overzicht: Detecteer vroeg, escaleer zelden: Anytime detectie van door AI gegenereerde video uit de gecomprimeerde bitstream

1. Probleemstelling

Huidige detectoren voor door AI gegenereerde video (AIGV) zijn primair ontworpen voor offline evaluatie, waarbij een volledige videoclip wordt gedecodeerd naar pixels en eenmaal wordt gescoord, vaak gebruikmakend van zware Vision-Language Models (VLM's) of grote neurale netwerken. Echter, de realiteit van implementatie is online (streaming), waarbij video sequentieel binnenkomt in gecomprimeerde chunks. Deze setting legt strikte latentiebudgetten en computationele beperkingen op die het draaien van modellen met miljarden parameters op elke inkomende frame onpraktisch maken. Bovendien richten bestaande streaming perceptiemethoden zich op objectdetectie of actieherkenning, niet op synthetische videogeneratie, en vertrouwen real-time deepfake-detectoren doorgaans op gedecodeerde gezichtsbewerkingen in plaats van op de gecomprimeerde bitstream zelf.

De kernuitdaging is het detecteren van AIGV die streamt vanuit de gecomprimeerde bitstream met anytime validiteit (beslissingen nemen op elk punt in de stream met gecontroleerde foutmarges) en compute adaptiviteit (alleen onzekere clips escaleren naar duurdere modellen).

2. Methodologie

De voorgestelde aanpak, StreamDet, herformuleert AIGV-detectie als een streaming perceptieprobleem dat direct opereert op het bewegingsveld van de codec.

2.1 Het Streaming Protocol

• Input: Video arriveert als een geordende sequentie van Groups of Pictures (GOP's), aangeduid als $g_1, g_2, \dots, g_N$.
• Feature Extractie (Fase 1): In plaats van frames te decoderen naar pixels, parseert het systeem het gekwantiseerde motion-vector (MV) veld dat al in de bitstream door de codec is geschreven. Voor elke GOP extraheert het een vaste 13-dimensionale feature vector $\phi_t$ (4 globale bewegingsstatistieken en 9 spectrale dimensies).
• Scoring: Een lichtgewicht CPU-gebaseerde scorer $f_R$ brengt deze features in kaart naar een score $s_t$, waarbij een hogere score duidt op "gegenereerd". Dit proces vereist ongeveer $10^5$ multiply-accumulate operaties (MAC's) per GOP, wat vijf ordes van grootte minder is dan een pixel-domein CNN.
• Aggregatie: Het systeem houdt een lopend maximum aggregaat bij: $M_t = \max_{i \le t} s_i$. Deze monotone aggregatie stelt de detector in staat om te handelen zodra de score een drempelwaarde overschrijdt.

2.2 Het Beslissingsmechanisme (Cascade met Uitstel)

Het systeem hanteert een twee-fasen cascade met een "geprijsde" compute frontier:

1. Fase 1 (Altijd aan): Een enkele, eind-gekalibreerde drempelwaarde $\tau$ wordt toegepast op het lopende maximum $M_t$.
   • Als $M_t \ge \tau$, wordt de clip onmiddellijk geclassificeerd als gegenereerd (vroegtijdige exit).
   • Als de stream eindigt of een latentiebudget wordt bereikt zonder de $\tau$ te overschrijden, controleert het systeem de nabijheid van de drempelwaarde.
2. Deferral Band (Uitstelband): Een breedte $w$ definieert een onzekere band $W = [\tau - w, \tau)$.
   • Als $M_t < \tau - w$, wordt de clip geclassificeerd als echt.
   • Als $M_t \in W$, wordt de clip uitgesteld naar Fase 2.
3. Fase 2 (Op aanvraag): Uitgestelde clips worden geëscaleerd naar een duurdere detector (bijv. een pixel CNN of een VLM) toegepast op de geobserveerde prefix. De definitieve beslissing is het oordeel van Fase 2 voor uitgestelde clips en Fase 1 voor alle anderen.

2.3 Theoretische Garanties

Het paper stelt twee belangrijke theoretische eigenschappen vast:

• Anytime-Valid False-Positive Control: Omdat het aggregaat $M_t$ monotoon is, controleert een enkele drempelwaarde $\tau$, gekalibreerd op de uiteindelijke prefix van echte clips, de false-positive rate (FPR) bij de data-afhankelijke stopping time (het moment waarop de poort opent). Dit voorkomt het "optional stopping" probleem waarbij herkalibratie per prefix de foutmarge zou opblazen.
• Compute-Accuracy Frontier: De verwachte computekosten hebben een gesloten vorm: $\mathbb{E}[C] = \bar{t}C_1 + \text{Pr}(s \in W)C_2$. De nauwkeurigheid van de cascade is monotoon ten opzichte van het compute budget indien en alleen indien de uitstelconditie standhoudt (d.w.z. Fase 2 nauwkeuriger is dan Fase 1, specifiek op de uitgestelde set).

3. Belangrijkste Bijdragen

1. Streaming AIGV Detectie Framework: De auteurs hebben detectie geherformuleerd als streaming perceptie, waarbij metrieken zoals anytime AUC (ROC-AUC over geobserveerde prefixes) en latency-budgeted streaming AUC zijn gedefinieerd.
2. Compressed-Domain Anytime Front-End: Een CPU-only fase die het codec motion field scoort zonder pixel-decodering. Het levert een monotone score-aggregaat dat vroege exits mogelijk maakt met een enkele, eind-gekalibreerde drempelwaarde, wat de FPR controleert bij de stopping time.
3. Priced Compute Frontier: Een cascade-mechanisme dat alleen onzekere clips escaleert. Het paper leidt de compute-accuracy frontier af, waarbij wordt aangetoond dat de nauwkeurigheid verbetert met het budget alleen wanneer de escalatie wordt toegepast op clips waar de goedkope methode daadwerkelijk onzeker is (de "deferral condition").

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op GenVidBench (een gematchte cel van ~27k clips) en AIGVDBench.

• Efficiëntie vs. Nauwkeurigheid (Fase 1): De codec-fase alleen bereikt een AUC van 0.64 bij volledige lengte en 0.80 bij de eerste GOP (sAUC(1)), gebruikmakend van $10^5$ MAC's per GOP. Dit is vijf ordes van grootte minder rekenkracht dan een pixel CNN ($1.8 \times 10^{10}$ MAC's), terwijl het vanaf de allereerste chunk al informatief blijft.
• Cascade Prestaties: Het uitstellen van 15% van de clips naar een pixel CNN verhoogt de beslissingsnauwkeurigheid van 0.75 (codec alleen) naar 0.78. Dit bereikt een hogere nauwkeurigheid dan het scoren van elke clip met de pixel CNN (0.76), terwijl er 7$\times$ minder compute wordt gebruikt.
• VLM Escalatie: Bij escalatie naar een kleine VLM (Ivy-xDetector) op een steekproef, bereikt de cascade een nauwkeurigheid van 0.79 bij 55% uitstel, wat de pixel CNN (0.68) op dezelfde uitgestelde set aanzienlijk overtreft. De VLM alleen is echter computationeel onhaalbaar ($\sim 10^{13}$ MAC's/clip) en onbetrouwbaar bij "harde" generatoren.
• Garanties: De eind-gekalibreerde drempelwaarde hield de stopping-time FPR succesvol op 0.039 (doel $\alpha=0.05$). In tegen tegenstelling hiermee veroorzaakte naïeve per-prefix herkalibratie een significante drift in de FPR onder distributieverschuivingen.
• Ablaties:
  • Motion Bias: Het signaal overleeft matching op bewegingsgrootte, wat suggereert dat het niet louter een "gegenereerde video's bewegen minder" artefact is.
  • Aggregator: Het lopend maximum is de enige monotone aggregator, wat vereist is voor de theoretische garanties, ook al levert mean-pooling een hogere offline nauwkeurigheid op.
  • Cross-Dataset: De methode repliceert op AIGVDBench, hoewel de FPR-controle licht afwijkt (0.068) wanneer de testdistributie verschilt van de kalibratieset.

5. Betekenis en Claims

Het paper claimt dat AIGV-detectie behandeld moet worden als een streaming probleem in plaats van een offline batch-taak. De betekenis ligt in:

• Herformulering: Het verplaatsen van detectie van het pixeldomein naar de gecomprimeerde bitstream, waarbij gebruik wordt gemaakt van signalen die de codec reeds heeft berekend.
• Garanties: Het bieden van anytime-valid inferentie, waarbij de false-positive rate wordt gecontroleerd op het exacte moment waarop een beslissing wordt genomen, ongeacht wanneer dat moment optreedt.
• Efficiëntie: Het aantonen dat een "goedkope" codec-parse kan dienen als een robuuste front-end, die dure compute (GPU/VLM) alleen reserveert voor de meest moeilijke gevallen. Dit creëert een monotone compute-accuracy frontier waarbij de nauwkeurigheid schaalt met het budget, mits de escalatielogica solide is.

De auteurs stellen expliciet dat zij geen nieuwe detectorarchitectuur voorstellen, maar eerder een protocol en herformulering die efficiënte, gegarandeerde en adaptieve detectie mogelijk maakt. Zij erkennen beperkingen, waaronder de afhankelijkheid van toegang tot de bitstream, de noodzaak van kalibratie op gehouden (held-out) echte data, en het potentieel voor motion-bias shortcuts bij specifieke generatoren.