Technische Samenvatting: SpecSem-Net

Probleemstelling

De snelle vooruitgang van commerciële AI-video-generatiemodellen (bijv. Sora, Kling, Veo) heeft synthetische content geproduceerd met hoge visuele kwaliteit en spatiotemporale consistentie. Hoewel dit gunstig is voor creatieve industrieën, vormt deze capaciteit aanzienlijke risico's voor desinformatie en kwaadwillend misbruik. Bestaande detectiemethoden falen vaak tegen deze hoogwaardige generatoren omdat ze sterk vertrouwen op semantische kenmerken (bijv. logische inconsistenties, objectpermanente). Naarmate generatieve modellen verbeteren, worden deze semantische artefacten steeds subtieler of niet-bestaand. Bovendien, terwijl spectrale (frequentie) artefacten inherente vingerafdrukken zijn van neurale rendering, worstelt pure spectrale analyse om generatieve sporen te onderscheiden van onschadelijke hoogfrequente omgevingsruis (bijv. haar, bladeren, spattende vonken) die inherent is aan natuurlijke videodynamiek.

Methodologie: SpecSem-Net

De auteurs stellen SpecSem-Net voor, een tweestromenframework ontworpen om spectrale en semantische kenmerken te integreren. De kerninnovatie is een Semantisch-Gestuurde Spectrale Ruisverwijderingsmechanisme dat semantische context gebruikt om onschadelijke ruis uit spectrale kenmerken te filteren, waardoor het model zich kan richten op echte generatieve artefacten.

1. Tweestromenarchitectuur

Het framework verwerkt videoframes via twee parallelle takken:

• Semantische Tak: Neemt rauwe videoframes als invoer en extrahert laag-voor-laag semantische representaties met behulp van een vooraf getrainde CLIP-Encoder.
• Spectrale Tak:
  • Invoerconstructie: Past een 2D Fast Fourier Transform (FFT) toe om frames om te zetten naar het frequentiedomein.
  • Hoogdoorlaatfiltering: Gebruikt een binaire masker om laagfrequente semantische content (objectcontouren, kleuren) te onderdrukken en hoogfrequente residuen te behouden waar generatieve artefacten (bijv. roostpatronen, textuurafwijkingen) doorgaans voorkomen.
  • Reconstructie: Past een Inverse FFT (iFFT) toe om de spectrale residukaart te reconstrueren, die vervolgens wordt ingevoerd in een trainbare CLIP-Encoder voor kenmerkextractie.

2. Gated Merging Mechanisme

Om de uitdaging aan te pakken om te onderscheiden tussen "natuurlijke hoogfrequente texturen" en "gegenereerde artefacten", hanteert het model een Gated Merging Mechanisme op elke encoderlaag:

• Gate-berekening: De gecodeerde semantische kenmerken ($\hat{F}_{sem}$) en spectrale kenmerken ($\hat{F}_{spec}$) worden samengevoegd en doorgestuurd via een lichtgewicht Multi-Layer Perceptron (MLP) met een Sigmoid-activering om een gating-weigvector $g$ te genereren.
• Adaptieve Modulatie: De spectrale kenmerken worden gemoduleerd door $(1 + g)$. Dit stelt de semantische tak in staat om adaptief spectrale kanalen te onderdrukken die overeenkomen met onschadelijke omgevingsruis, terwijl kanalen die generatieve sporen bevatten behouden en versterkt worden.
• Kenmerk-evolutie: De semantische tak wordt direct bijgewerkt, terwijl de spectrale tak wordt verfijnd via deze eenrichtingssturing, zodat het model zich richt op hoogwaardige frequentiesporen zonder afgeleid te worden door natuurlijke texturen.

3. Temporele Aggregatie

Na het verkrijgen van verfijnde frame-niveau kenmerken, aggregeert een Temporele Transformer de reeks kenmerken in de tijd. Deze module maakt gebruik van Multi-Head Self-Attention om de evolutie en continuïteit van artefacten langs de temporele as vast te leggen, wat leidt tot de uiteindelijke video-niveau voorspelling.

Belangrijkste Bijdragen

1. SpecSem-Net Framework: Het eerste framework dat een semantisch-gestuurde spectrale ruisverwijderingsmechanisme introduceert, specifiek voor detectie van hoogwaardige AI-generatievideo's. Het combineert effectief spectrale kenmerken voor artefactopname met semantische kenmerken voor ruisreductie.
2. Uitgebreide Benchmark: De auteurs hebben een nieuwe benchmark samengesteld bestaande uit 5.000 video's gegenereerd door vijf state-of-the-art commerciële modellen (Sora, Kling, Hailuo, Veo, Wan) en 1.000 authentieke video's. Deze dataset is ontworpen om generalisatie tegen onbekende, topklasse generatoren streng te testen, waardoor de kloof in bestaande benchmarks wordt gedicht die vertrouwen op oudere of open-source modellen.
3. Superieure Prestaties: Uitgebreide experimenten tonen aan dat SpecSem-Net presteert boven bestaande state-of-the-art detectoren (waaronder DeMamba, D3, VideoMAE en Qwen-2.5-VL) op zowel de nieuwe benchmark als publieke datasets.

Experimentele Resultaten

• Prestaties op Nieuwe Benchmark: Op de voorgestelde benchmark met onbekende commerciële generatoren behaalde SpecSem-Net een gemiddelde nauwkeurigheid van 87,25% en een F1-score van 86,96%. Dit vertegenwoordigt een aanzienlijke verbetering ten opzichte van de op één na beste methode (ResNet50), die een nauwkeurigheid van ongeveer 79,45% behaalde. Opvallend is dat modellen die uitsluitend vertrouwen op semantische kenmerken (zoals DeMamba) daalden tot bijna willekeurige gokniveaus (~52-69%) op modellen zoals Sora en Veo.
• Generalisatie op Publieke Benchmarks: Op het publieke GenVideo-dataset behaalde SpecSem-Net een gemiddelde nauwkeurigheid van 95,59%, en eindigde als eerste in 6 van de 7 subdatasets.
• Robuustheid: Het model toonde superieure stabiliteit tegen real-world degradaties, waaronder H.264/H.265-compressie en Gaussische vervaging, en behield een hogere Average Precision (AP) dan baselines, zelfs onder ernstige vervaging.
• Ablatiestudies:
  • Alleen Semantisch: Behaalde slechts 55,68% nauwkeurigheid, wat bevestigt dat semantische kenmerken alleen onvoldoende zijn voor detectie van hoogwaardige content.
  • Alleen Spectraal: Verbeterde tot 70,34%, wat de waarde van frequentieanalyse toont.
  • Gated Merging: De introductie van het gating-mechanisme bood de grootste winst, waarbij de nauwkeurigheid steeg van 74,54% (eenvoudige concatenatie) naar 87,25%, wat zijn rol in het filteren van spectrale ruis valideert.

Betekenis en Claims

Het artikel beweert dat SpecSem-Net de kritieke beperking van huidige detectoren aanpakt: hun overmatige afhankelijkheid van semantische kenmerken die falen naarmate generatieve modellen verbeteren. Door gebruik te maken van de inherente, veerkrachtige aard van spectrale artefacten en semantische context te gebruiken om deze te ontdoen van ruis, bereikt de methode robuuste detectie, zelfs tegen de meest geavanceerde commerciële generatoren.

De auteurs positioneren dit werk als een noodzakelijke stap richting geautomatiseerde, robuuste detectiemechanismen die zich kunnen aanpassen aan diverse en krachtige toekomstige generatoren. Zij wijzen expliciet op beperkingen, zoals het huidige gebrek aan pixel-niveau lokalisatie en gevoeligheid voor extreme vervaging, maar benadrukken de effectiviteit van het model voor video-niveau classificatie voor onderzoek en desinformatiebestrijding. De code en de samengestelde benchmark worden beloofd voor openbare release om toekomstig onderzoek te faciliteren.