Detecting AI-Generated Videos with Spiking Neural Networks

Technische Samenvatting: Detectie van door AI gegenereerde video's met Spiking Neural Networks (MAST)

Probleemstelling
Moderne door AI gegenereerde video's hebben een fotorealisme bereikt op het niveau van een enkel frame, waardoor statische artefactdetectie ineffectief is geworden. Het primaire onderscheid tussen echte en synthetische video ligt nu in de inter-frame temporele dynamiek. Bestaande detectoren pakken dit doorgaans aan door volledige sequenties naar temporele backbones te voeren, wat de aanwijzingen reduceert tot vaste video-niveau beschrijvers, of door temporele statistieken te vergelijken met baselines van echte video's. Deze strategieën lijden echter onder aanzienlijke prestatievermindering onder cross-generator evaluatie, waarbij het type en de tijdschaal van temporele artefacten sterk variëren tussen verschillende generatieve modellen. De kernuitdaging is het detecteren van temporele inconsistenties die schaars, asynchroon en gelokaliseerd zijn, zonder de tijdvariërende bewijslast te reduceren tot statische samenvattingen die kritieke dynamische informatie verliezen.

Methodologie: MAST
De auteurs stellen MAST voor (Multi-channel pseudo-event SNN with Adaptive Spiking Temporal integrators), een detector die gebruikmaakt van Spiking Neural Networks (SNNs) om temporele residuen te verwerken als event-achtige signalen. De architectuur bestaat uit twee complementaire takken:

1. Spike-Driven Temporal Branch (SDTB):

   • Pseudo-Event Generatie: In plaats van ruwe RGB-frames te verwerken, zet het model inter-frame verschillen om in "pseudo-events". Het berekent vier pixel-niveau residu-kanalen: hoogfrequente Laplacian, Sobel edge magnitude verschil, absoluut frame verschil en tweede-orde frame verschil. Deze worden getransformeerd naar soft binaire events via een differentieerbare drempelwaarde functie.
   • Adaptieve Temporele Integratie: De pseudo-events worden ingevoerd in een Per-Channel Leaky Integrate-and-Fire (LIF) module. In tegenstelling tot standaard SNNs met vaste tijdconstanten, gebruikt MAST leerbare tijdconstanten ($\tau_c$) en vuurdrempels ($V_{th,c}$) voor elk kanaal. Dit stelt het netwerk in staat om signalen op verschillende temporele schalen die specifiek zijn voor elk type residu adaptief te integreren.
   • Spike-Driven Attention: De geïntegreerde spikes worden verwerkt door een Spike-Driven Transformer (gebaseerd op SDT-V3) met behulp van spike-gebaseerde self-attention om langetermijn temporele afhankelijkheden te vangen en ruimtelijke gate maps te genereren.

2. Semantic Trajectory Branch:

   • Deze tak maakt gebruik van een bevroren X-CLIP encoder om semantische kenmerken te extraheren. Deze levert twee belangrijke inputs:
     • Een globale video-niveau embedding ($Z_{video}$) voor semantische priors.
     • Een sequentie van patch tokens die worden gebruikt om de trajectkromming (trajectory curvature) en verplaatsing in de semantische kenmerkruimte te berekenen.
   • De auteurs observeren dat door AI gegenereerde video's compactere en minder gekromde trajecten vertonen in de semantische ruimte vergeleken met echte video's.

3. Fusie en Training:

   • De uiteindelijke representatie concateneert de video-niveau semantische feature, de temporele anomalie vector (afgeleid van de SDTB's gate maps) en de ruimtelijke gate vector.
   • Training maakt gebruik van een multi-objective loss: binary cross-entropy op de gefuseerde voorspelling, een auxiliary cross-entropy op de SDTB-alleen voorspelling (om te garanderen dat de temporele tak zelfvoorzienend is), en supervised contrastive learning om real en fake clusters in de feature-ruimte te scheiden.

Belangrijkste Bevindingen en Observaties
Vóór het voorstellen van MAST voerden de auteurs een gepaard onderzoek uit op de GenVidBench dataset, waarbij twee duidelijke kenmerken van door AI gegenereerde video's werden vastgesteld:

• Pixel Niveau: Gegenereerde video's vertonen gladdere, laat accumulerende temporele residuen. Wanneer deze in een SNN worden gevoerd, lokken fake clips voornamelijk activatie uit bij object- en bewegingsgrenzen, terwijl echte clips meer diffuse activaties produceren.
• Semantisch Niveau: De trajecten van gegenereerde video's in de feature-ruimte bezetten kleinere, minder gekromde regio's vergeleken met natuurlijke video's.
• SNN Geschiktheid: De auteurs beargumenteren dat SNNs een natuurlijke match zijn voor deze taak omdat hun event-gestuurde, schaarse activatiedynamiek aansluit bij de structuur van inter-frame residuen, die schaars zijn en geconcentreerd zijn op momenten van verandering.

Experimentele Resultaten

• Cross-Generator Generalisatie: Op de GenVideo benchmark werd MAST getraind op Kinetics-400 en Pika clips en getest op 10 onbekende generatoren (waaronder ModelScope, MorphStudio, MoonValley, HotShot, Show1, Gen2, Crafter, Lavie, Sora en WildScrape). MAST behaalde een gemiddelde nauwkeurigheid van 93,14%, waarmee het de op één na beste baseline (NSG-VD met 91,46%) versloeg en op 5 van de 10 onbekende generatoren op de eerste plaats eindigde.
• Backbone-Matched Vergelijking: Op de IvyFake benchmark, bij een vergelijking met detectoren die dezelfde X-CLIP semantische backbone gebruiken maar andere temporele modules (Mamba-gebaseerde DeMamba, RAFT-gebaseerde D3), behaalde MAST 85,91% mACC, waarmee het de ANN-gebaseerde alternatieven overtrof.
• Efficiëntie: In een vergelijking met een gelijk aantal parameters (9,3M parameters voor SNN versus 10,7M voor ANN), behaalde MAST een hogere nauwkeurigheid (93,14% vs. 92,78%) met 1,6x lagere latentie (33,88ms vs. 54,19ms).
• Ablatie: Het verwijderen van de pseudo-event kanalen of de leerbare tijdconstanten resulteerde in significante prestatieverminderingen, wat de noodzaak van zowel de event-gestuurde formulering als de adaptieve integratie valideert.

Betekenis en Claims
Het artikel beweert de eerste SNN-gebaseerde detector te presenteren die specifiek is ontworpen voor de detectie van door AI gegenereerde video's. De significantie ligt in het aantonen dat:

1. SNNs praktisch zijn voor AIGV-detectie: Door inter-frame residuen te behandelen als pseudo-events, kunnen SNNs de prestaties van dichte ANN-backbones evenaren of zelfs overtreffen, terwijl ze een superieure energie-efficiëntie en lagere latentie bieden.
2. Temporele Structuur is Cruciaal: Effectieve detectie vereist het behoud van de tijdvariërende structuur van residuen in plaats van het reduceren ervan tot vaste beschrijvers.
3. Adaptieve Integratie: Verschillende temporele aanwijzingen opereren op verschillende tijdschalen, wat leerbare, kanaalspecifieke integratieconstanten noodzakelijk maakt in plaats van een enkele globale tijdconstante.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen, waarbij zij opmerken dat de prestaties van MAST afnemen bij zeer korte clips waar de temporele signalen zwak zijn, en dat het direct toepassen van SNNs op dichte RGB-domeinen minder effectief blijft dan ANNs, een gat dat zij openlaten voor toekomstig onderzoek.