Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning

Technische Samenvatting: Skyra – Detectie van AI-gegenereerde video's via Gebaseerde Redenering over Artefacten

Probleemstelling
De snelle vooruitgang van op diffusie gebaseerde en multimodale generatieve modellen heeft de creatie van fotorealistische synthetische video's mogelijk gemaakt, wat aanzienlijke risico's voor de sociale veiligheid met zich meebrengt door desinformatie en deepfakes. Hoewel bestaande detectiemethoden grotendeels zijn gericht op binaire classificatie met behulp van ruimtelijk-temporele kenmerken, kampen ze met twee kritieke beperkingen: een gebrek aan interpreteerbaarheid (ondoorzichtige besluitvormingsprocessen) en het onvermogen om door mensen waarneembare artefacten te vangen. Empirische analyse in het artikel toont aan dat zelfs de meest geavanceerde algemene Multimodale Grootte Taalmodellen (MLLM's) bij deze taak bijna willekeurig presteren; ze falen vaak bij het identificeren van subtiele generatieve artefacten of interpreteren natuurlijke video-degradaties (bijvoorbeeld bewegingsonscherpte, compressie) ten onrechte als vervalsing. Bovendien hebben bestaande MLLM-gebaseerde detectoren de neiging om te vertrouwen op oppervlakkige aanwijzingen zoals visuele kwaliteit of belichting, in plaats van intrinsieke, de natuurwetten schendende inconsistenties die mensen gebruiken om synthetische content te identificeren.

Methodologie
De auteurs stellen Skyra voor, een gespecialiseerd MLLM dat is ontworpen om AI-gegenereerde video's te detecteren door het identificeren en redeneren over gebaseerde visuele artefacten. De methodologie is gebaseerd op drie kerncomponenten:

1. ViF-CoT-4K Dataset: Om het gebrek aan fijnmazige menselijke annotaties aan te pakken, hebben de auteurs de eerste grootschalige dataset van AI-gegenereerde video-artefacten samengesteld. Deze dataset omvat:

   • Dataverzameling: Reële video's uit bronnen zoals Panda-70M en Kinetics-400, en synthetische video's gegenereerd door meer dan tien state-of-the-art modellen (bijvoorbeeld Sora-2, Wan2.2, Kling, HunyuanVideo).
   • Hiërarchische Taxonomie: Een drie-laagse artefact-taxonomie die onderscheid maakt tussen Laag-niveau Vervalsing (bijvoorbeeld textuuranomalieën, kleur/belichtingsproblemen) en Schending van Wetten (bijvoorbeeld objectinconsistentie, onnatuurlijke beweging, schendingen van causaliteit).
   • Annotatieproces: Professionele annotatoren hebben zij-aan-zij vergelijkingen uitgevoerd van echte en nepvideo's om artefacten te identificeren, waarbij ze ruimtelijk-temporele lokalisatie (tijdstippen en omkaderende kaders) en tekstuele uitleg leverden. Deze werden omgezet in Chain-of-Thought (CoT)-data met behulp van een prompt-engineeringstrategie die zelf-curatie en leren in context omvatte.

2. Twee-fasen Trainingsstrategie:

   • Fase 1: Supervised Fine-Tuning (SFT) / Cold-Start Initialisatie: Het basismodel (Qwen2.5-VL-7B) wordt gefinetuned op ViF-CoT-4K met behulp van een gestructureerd outputformaat dat vereist dat het model een <thinking>-blok (redeneerproces) en een <answer>-blok (oordeel) uitvoert. Voor nepvideo's moet het model artefacten expliciet markeren met type, tijd en locatie; voor echte video's moet het systematisch verdachte gebieden inspecteren en vrijwaren. Deze fase verleent het model basisdetectie- en uitlegcapaciteiten.
   • Fase 2: Reinforcement Learning (RL): Om het vermogen van het model om discriminerende artefacten te ontdekken en de generalisatie te verbeteren, maken de auteurs gebruik van Group Relative Policy Optimization (GRPO). Een aangepaste beloningsfunctie is ontworpen met twee componenten:
     • Asymmetrische Nauwkeurigheidsbeloning: Straft vals-positieven (voorspellen van "Nep" voor echte video's) zwaarder dan vals-negatieven om bias ten opzichte van de "Nep"-klasse te voorkomen.
     • Inspectiebeloning: Moedigt het model aan om zich te houden aan het vereiste formaat en actief visuele aanwijzingen te verkennen, in plaats van te vertrouwen op oppervlakkige patronen.

3. ViF-Bench Benchmark: Een uitgebreide evaluatiebenchmark bestaande uit 3.000 hoogwaardige samples gegenereerd door meer dan tien recente videogeneratoren, die semantisch en qua formaat zijn uitgelijnd met echte tegenhangers om shortcut learning te mitigeren.

Belangrijkste Bijdragen

• Skyra Model: Een gespecialiseerd MLLM dat state-of-the-art prestaties bereikt in zowel detectienauwkeurigheid als interpreteerbaarheid door gebruik te maken van gebaseerde redenering over artefacten.
• ViF-CoT-4K Dataset: De eerste grootschalige dataset met fijnmazige, menselijk geannoteerde ruimtelijk-temporele artefacten met een hiërarchische taxonomie, wat superviserende training voor interpreteerbare detectie mogelijk maakt.
• ViF-Bench: Een rigoureuze benchmark ontworpen om detectierobuustheid te evalueren over diverse, state-of-the-art generatoren, met echte-nep-paren die semantisch zijn uitgelijnd.
• Trainingskader: Een nieuw tweefasenproces dat SFT combineert met een zorgvuldig ontworpen RL-strategie (inclusief asymmetrische beloningen) om de perceptie van artefacten en redeneercapaciteiten te verbeteren.

Experimentele Resultaten
Uitgebreide experimenten op ViF-Bench en de externe GenVideo-benchmark tonen de superioriteit van Skyra aan:

• Detectieprestaties: Skyra-RL bereikt een nauwkeurigheid van 91,02% en een F1-score van 90,27% op ViF-Bench, en presteert beter dan de op één na beste methode (DeMamba) met +17,27% in F1-score en overtreft bestaande MLLM-gebaseerde detectoren met een aanzienlijke marge (bijvoorbeeld +32% F1 ten opzichte van BusterX++).
• Generalisatie: Skyra toont sterke cross-domein generalisatie. Wanneer het wordt aangepast aan de GenVideo-benchmark (out-of-domain), bereikt het een +19,22% winst in nauwkeurigheid ten opzichte van zijn SFT-only-versie, wat aangeeft dat RL het model helpt intrinsieke artefact-aanwijzingen te leren in plaats van generator-specifieke patronen.
• Robuustheid: Het model behoudt hoge prestaties onder diverse video-degradaties, waaronder compressie, Gaussisch ruis en kleuropties, waarbij binaire classifiers en andere MLLM's vaak falen.
• Kwaliteit van Uitleg: Casestudies tonen aan dat Skyra subtiele, door mensen waarneembare artefacten kan identificeren (bijvoorbeeld vervorming van vorm, abnormale objectverschijning) en coherente, gebaseerde uitleg kan geven met precieze ruimtelijk-temporele lokalisatie, terwijl basale MLLM's vaak generieke beschrijvingen geven of artefacten volledig missen.

Betekenis en Claims
Het artikel beweert dat Skyra een verschuiving vertegenwoordigt van ondoorzichtige binaire classificatie naar interpreteerbare, artefact-gerichte detectie. Door menselijk redeneren na te bootsen – actief zoeken naar fysieke en logische inconsistenties – levert het model niet alleen een oordeel, maar ook een "gebaseerde" uitleg die menselijke verificatie kan ondersteunen. De auteurs stellen dat hun dataset en benchmark een gestandaardiseerde testomgeving bieden voor de vooruitgang van het veld van interpreteerbare AIGC-detectie. Ze erkennen beperkingen, met name dat de prestaties van het model gebonden zijn aan de generatoren die in hun dataset zijn behandeld en dat het geen intentie of maatschappelijke schade van een video beoordeelt. Ze benadrukken dat Skyra is ontworpen om mens-in-de-lus-verificatie te ondersteunen in plaats van deze te vervangen, en wijzen op de noodzaak van gekalibreerde onzekerheidsschatting in toepassingen met kritieke veiligheidsaspecten.