GenVidBench: A 6-Million Benchmark for AI-Generated Video Detection

Dit paper introduceert GenVidBench, een uitdagend en tot nu toe grootste dataset van 6,78 miljoen video's afkomstig van 11 state-of-the-art generatoren, die is ontworpen om de ontwikkeling en evaluatie van effectieve detectiemodellen voor door AI gegenereerde video's te bevorderen.

De kern

Stel je voor dat we leven in een wereld waar het steeds moeilijker wordt om te zeggen wat echt is en wat nep. Vroeger was een nepfoto makkelijk te herkennen: de oren waren raar, de lach te breed. Maar nu, met de nieuwe AI-video's (zoals die van Sora of Kling), zijn de nepvideo's zo goed dat ze eruitzien als echte opnames. Het is alsof iemand een perfecte nep-uitkering heeft gemaakt die er precies uitziet als het echte geld, zelfs voor de bankier.

De auteurs van dit paper, een team van Huawei, zeggen: "Dit is gevaarlijk. Mensen kunnen nepnieuws verspreiden, reputaties vernietigen en we weten het niet eens." Om dit te stoppen, hebben we nodig dat computers leren om de nep te spotten. Maar daarvoor heb je een goede trainer nodig. En dat is precies wat dit paper doet.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Nep-Video" Oefening

Stel je voor dat je een agent wilt trainen om valse paspoorten te herkennen.

• Het oude probleem: Je gaf de agent alleen paspoorten van één nepmaker te zien. Als de agent dan een paspoort van een andere nepmaker zag, dacht hij: "Oh, dit is echt!" omdat het er anders uitzag.
• De oplossing: Je moet de agent trainen met neppe paspoorten van alle denkbare nepmakers, en je moet ze ook laten zien dat de inhoud (de foto op het paspoort) hetzelfde kan zijn, maar de maker anders.

2. De Oplossing: GenVidBench (De "Super-Oefenhal")

De auteurs hebben GenVidBench gemaakt. Dit is een gigantische database met 6,78 miljoen video's. Dat is een enorm aantal, veel groter dan alles wat er eerder was.

Je kunt dit zien als een enorme sportschool voor AI:

• De "Echte" Video's: Dit zijn de "echte" video's (zoals nieuwsbeelden of documentaires).
• De "Nep" Video's: Dit zijn video's gemaakt door 11 verschillende, supermoderne AI-generatoren (zoals Pika, Sora, MuseV).

Het unieke aan deze sportschool:
Ze hebben een slimme truc bedacht. Ze nemen één tekst of één foto (bijvoorbeeld: "een vlinder op een bloem") en laten 11 verschillende AI's diezelfde video maken.

• De ene AI maakt het misschien heel realistisch.
• De andere AI maakt het wat vaag.
• Maar de inhoud is hetzelfde.

Dit is cruciaal. Als een AI-detector leert om alleen te kijken naar wat er te zien is (een vlinder), faalt hij. Hij moet leren kijken naar hoe het eruitziet (de subtiele bewegingen, de lichtval, de "handtekening" van de AI).

3. De "Cross-Source" Test: De Uiteindelijke Examen

In de meeste oude tests mocht de AI tijdens het examen oefenen met dezelfde video's als tijdens de training. Dat is als een student die de antwoorden van de toets al kent.

Bij GenVidBench doen ze het anders:

• Training: De AI leert op video's gemaakt door AI A, B, C en D.
• Examen: De AI moet video's herkennen gemaakt door AI E, F, G, H en I.

Dit is alsof je een student traint op de vragen van leraar X, en hem dan een examen geeft van leraar Y. Als de student de principes van nepheid heeft begrepen, haalt hij het. Zo niet, dan zakt hij. Dit maakt de test extreem moeilijk, maar ook extreem waardevol.

4. De "Semantic Labels": De Gids in het Dikste Bos

Omdat er 6 miljoen video's zijn, zou je verdwalen. Daarom hebben de auteurs elk stukje video "etiketjes" gegeven.
Ze kijken naar drie dingen:

1. Wie of wat? (Mensen, dieren, gebouwen, natuur).
2. Wat gebeurt er? (Stilzitten, rennen, iets vasthouden).
3. Waar? (In de stad, in de natuur, in een huis).

Dit is alsof je in een gigantische bibliotheek bent. In plaats van alle boeken door te zoeken, kun je zeggen: "Ik wil alleen boeken over dieren die rennen in de stad". Zo kunnen onderzoekers precies kijken: "Hoe goed is de AI in het detecteren van nepvideo's van dieren? Misschien is hij daar slecht in, maar goed in gebouwen."

5. Wat hebben ze ontdekt?

Ze hebben verschillende "trainers" (bestaande AI-modellen) getest in deze sportschool.

• Het nieuws: Het is heel moeilijk! Zelfs de slimste AI's halen maar ongeveer 85% goed.
• De verrassing: Video's gemaakt door de nieuwste, beste AI's (zoals Sora) zijn het lastigst te detecteren. Ze zijn zo goed dat ze bijna niet van echt te onderscheiden zijn.
• De les: Als je een detector wilt bouwen die echt werkt in de echte wereld, moet je trainen met deze moeilijke, gevarieerde dataset. Oude datasets waren te makkelijk en te eentonig.

Samenvattend

GenVidBench is de grootste en moeilijkste "nep-detectie" sportschool die er tot nu toe bestaat. Het dwingt AI-systemen om niet te trappen in de inhoud van een video, maar om de subtiele, onzichtbare sporen van een nepmaker te vinden, zelfs als de maker wisselt. Het is een noodzakelijke stap om te voorkomen dat we in een wereld terechtkomen waar we niets meer kunnen geloven wat we op beeldschermen zien.

Technische samenvatting

Probleemstelling

De snelle vooruitgang van video-generatiemodellen (zoals Sora, Kling, en Mora) heeft de grens tussen echte en door AI gegenereerde video's onduidelijk gemaakt. Dit creëert een urgent risico voor de verspreiding van desinformatie, reputatieschade en cyberveiligheidsbedreigingen. Hoewel er een dringende behoefte is aan effectieve detectoren, wordt de ontwikkeling van hoogwaardige detectiemodellen gehinderd door het gebrek aan grote, hoogwaardige datasets die specifiek zijn ontworpen voor generatieve videodetectie. Bestaande datasets zijn vaak te klein, missen semantische labels, of hebben een te simpele opzet waarbij trainings- en testsets te veel op elkaar lijken (bijvoorbeeld door dezelfde generator te gebruiken), wat de generalisatie van modellen in de echte wereld beperkt.

Methodologie: GenVidBench Dataset

De auteurs introduceren GenVidBench, een baanbrekende dataset met de volgende kernkenmerken:

1. Schaal en Diversiteit:

   • De dataset bevat 6,78 miljoen video's, wat het momenteel de grootste dataset is voor AI-generatieve videodetectie.
   • Er is een lichtgewicht versie beschikbaar (GenVidBench-143k) voor snellere iteratie, die representatief is voor de volledige dataset.
   • De dataset omvat video's gegenereerd door 11 state-of-the-art (SOTA) AI-video-generatoren (waaronder Pika, VideoCraftV2, Modelscope, T2V-Zero, MuseV, SVD, Mora, CogVideo, Sora, Kling en HD-VG-130M).

2. Cross-Source en Cross-Generator Ontwerp:

   • Om de detectie uitdagender te maken, zijn de video's opgedeeld in twee paren die zijn gegenereerd vanuit dezelfde bron (dezelfde tekstprompts of afbeeldingen).
   • Trainingsset: Bevat video's van Pika, VideoCraftV2, Modelscope en T2V-Zero.
   • Testset: Bevat video's van MuseV, SVD, Mora, CogVideo, HD-VG-130M, Sora en Kling.
   • Doel: Deze opzet voorkomt dat modellen leren om te vertrouwen op specifieke artefacten van één generator of op de inhoud van de video zelf. De taak vereist dat het model onderscheid maakt op basis van generieke kenmerken van AI-generatie, ongeacht de bron of de generator.

3. Semantische Annotatie:

   • Een uniek kenmerk is de rijke semantische labeling van de video-inhoud in drie dimensies:
     • Objectcategorieën: (bijv. mensen, dieren, gebouwen, natuur).
     • Acties: (bijv. statische houdingen, het vasthouden van objecten, waarnemen).
     • Locaties: (bijv. natuurlijke landschappen, steden, interieurs).
   • Deze labels maken het mogelijk om specifieke scenario's te analyseren en datasets te filteren op basis van inhoudelijke complexiteit.

Belangrijkste Bijdragen

• De Grootste Benchmark: GenVidBench is de eerste dataset ter wereld met een schaal van 6 miljoen video's die specifiek is opgezet voor AI-videodetectie.
• Uitdagende Evaluatie-omgeving: Door de "Cross-Source" en "Cross-Generator" instelling (trainen op de ene set generators, testen op een volledig andere set) wordt een realistischere en moeilijkere evaluatie mogelijk dan bestaande benchmarks.
• Semantische Diepgang: De dataset biedt niet alleen labels voor "echt" of "nep", maar ook gedetailleerde semantische metadata, wat onderzoekers in staat stelt om de prestaties van detectoren te analyseren per scenario (bijv. hoe goed werkt het bij video's van planten versus mensen?).
• Open Access: De dataset en de code zijn openbaar beschikbaar via de projectpagina.

Resultaten en Experimentele Analyse

De auteurs hebben diverse state-of-the-art video-classificatiemodellen getest op GenVidBench, waaronder CNN's (I3D, SlowFast), Transformers (VideoSwin, UniFormerV2, TimeSformer) en Mamba-architecturen (DeMamba).

• Prestatieverschil: De resultaten tonen aan dat de taak extreem uitdagend is. Hoewel modellen binnen één generator (same-source) vaak >97% nauwkeurigheid halen, daalt deze prestatie drastisch bij cross-generator testen (vaak rond de 50-60%).
  • Voorbeeld: VideoSwin-Tiny haalde 96,93% nauwkeurigheid bij testen op Pika (getraind op Pika), maar daalde naar 54,66% bij testen op SVD (getraind op Pika).
• Beste Modellen: DeMamba behaalde de hoogste Top-1 nauwkeurigheid van 85,47%, gevolgd door MViTv2 (80,45%) en VideoSwin (80,39%). Transformer-architecturen over het algemeen presteerden beter dan CNN's.
• Vergelijking met andere datasets: Modellen presteerden significant slechter op GenVidBench dan op bestaande datasets zoals GVF of GenVideo. Bijvoorbeeld, SlowFast haalde 70,06% op GenVidBench versus 82,55% op NeuralTextures, wat aantoont dat GenVidBench een veel zwaardere uitdaging vormt.
• Scenario-specifieke inzichten: Analyse per categorie toonde aan dat bepaalde generatoren (zoals SVD) zeer moeilijk te detecteren zijn (lage nauwkeurigheid, wat wijst op hoge kwaliteit), terwijl andere (zoals CogVideo) makkelijker te onderscheiden zijn. Video's met "Planten" als onderwerp bleken bijvoorbeeld een specifieke uitdaging te zijn voor sommige modellen.

Betekenis en Impact

GenVidBench stelt een nieuwe standaard voor in het onderzoek naar AI-generatieve contentdetectie. Door de enorme schaal, de diversiteit aan generators en de strikte cross-source/test-omgeving, dwingt het de gemeenschap om modellen te ontwikkelen die generaliseren in plaats van te "leren" op specifieke artefacten van één model.

De dataset biedt onderzoekers de middelen om:

1. Robuustere detectiemodellen te bouwen die bestand zijn tegen de snel evoluerende landschap van AI-generatoren.
2. Diepgaande analyses uit te voeren over welke semantische inhoud (bijv. menselijke beweging vs. landschappen) het moeilijkst te detecteren is.
3. De grenzen van huidige generatieve modellen te testen door te kijken waar de detectie faalt.

Kortom, GenVidBench is een cruciale stap om de verspreiding van nepvideo's te bestrijden en de betrouwbaarheid van digitale media te waarborgen.