Technische Samenvatting: CoCoVideo en CoCoDetect

1. Probleemstelling

De snelle vooruitgang van Artificial Intelligence Generated Content (AIGC) heeft geleid tot steeds geavanceerdere videofraude, wat aanzienlijke uitdagingen vormt voor het publieke debat en de maatschappelijke veiligheid. Hoewel deepfake-detectie vooruitgang heeft geboekt, kampen huidige methoden met twee kritieke beperkingen:

1. Kwaliteitskloof in Datasets: Bestaande benchmarks (bijv. GenBuster, GenVidBench) leunen zwaar op open-source videogeneratiemodellen. Deze modellen produceren outputs met een lagere visuele getrouwheid en een zwakkere bewegings- en scèneconsistentie vergeleken met state-of-the-art commerciële systemen. Bijgevolg hebben modellen die op dergelijke data zijn getraind de neiging om te overfitten op kwalitatief minderwaardige generatieve patronen en falen ze in het generaliseren naar hoogwaardige commerciële AIGC-video's.
2. Methodologische Beperkingen: Traditionele detectiemethoden richten zich vaak op specifieke generatieve architecturen of laag-niveau manipulatiekenmerken (bijv. visuele artefacten, frequentie-anomalieën). Ze hebben moeite met het benutten van hoog-niveau semantische kenmerken, zoals fysieke logica en scènecoherentie, die cruciaal zijn voor het onderscheiden van hoogwaardige vervalsingen die geen duidelijke laag-niveau artefacten vertonen.

2. Methodologie

Het artikel introduceert een tweeledige oplossing: een nieuwe hoogwaardige dataset (CoCoVideo-26K) en een nieuw detectiekader (CoCoDetect).

2.1. CoCoVideo-26K Dataset

CoCoVideo-26K is een contrastieve, op commerciële modellen gebaseerde benchmark, ontworpen om de kwaliteitskloof tussen onderzoeksdata en real-world dreigingen te overbruggen.

• Data Compositie: De dataset bestaat uit 26.000 videoclips, georganiseerd in semantisch uitgelijnde "real–fake" paren.
  • Real Video's: Afkomstig van OpenVid-1M, gefilterd op hoge getrouwheid en real-world scènes (~13.000 clips).
  • Fake Video's: Gegenereerd met behulp van 13 verschillende, state-of-the-art commerciële video-generatiemodellen (bijv. Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7). Elk model draagt 1.000 video's bij.
• Contrastieve Structuur: Elke echte video is gekoppeld aan een synthetische tegenhanger die gegenereerd is vanuit dezelfde eerste frame en identieke tekstprompt. Dit zorgt voor strikte semantische uitlijning, wat een fijnmazige analyse mogelijk maakt van verschillen in textuur, beweging en scèneconsistentie onder gematchte inhoudelijke condities.
• Schaal en Diversiteit: De dataset dekt diverse categorieën, waaronder menselijke interacties, voedselbereiding, plantengroei en natuurlijke landschappen, met een consistente duur van ~5 seconden en framerates van 24–30 FPS.

2.2. CoCoDetect Framework

CoCoDetect is een detectiekader dat contrastief leren integreert met een confidence-gated Multimodal Large Language Model (MLLM) redeneermechanisme.

• Backbone: Het systeem maakt gebruik van een R3D-18 netwerk om spatio-temporele representaties uit videobatches te extraheren.
• Dual-Head Architectuur:
  1. Confidence Head: Een drie-laags MLP gevolgd door een Sigmoid-activatie geeft een betrouwbaarheidsscore ($p \in [0, 1]$) die de waarschijnlijkheid aangeeft dat een video echt is.
  2. Projection Head: Een twee-laags MLP brengt kenmerken in kaart naar een 128-dimensionale embeddingruimte voor contrastief leren.
• Loss Functie:
  • Confidence Loss: Binary Cross-Entropy (BCE) voor authenticiteitsclassificatie.
  • Paired Contrastive Loss: In tegen tegenstelling tot traditioneel gesuperviseerd contrastief leren, waarbij alle monsters van dezelfde klasse worden gegroepeerd, dwingt deze loss specifiek de scheiding af tussen semantisch uitgelijnde real–fake paren (die dezelfde eerste frame en prompt delen). Het gebruikt een hinge penalty om ervoor te zorgen dat de cosinusgelijkenis tussen een real–fake paar onder een specifieke drempelwaarde blijft, zonder niet-gepaarde monsters te beperken.
• Confidence-Gated MLLM Inferentie:
  • Routing Mechanisme: Tijdens inferentie, indien de betrouwbaarheidsscore $p$ binnen een onzekere range valt (gedefinieerd door drempelwaarde $\tau$), wordt het monster gerouteerd naar een MLLM (LLaVA-NeXT-Video-7B). Scenario's met een hoge betrouwbaarheid worden direct geclassificeerd door de backbone.
  • MLLM Redenering: Voor onzekere gevallen analyseert de MLLM sleutelframes en de betrouwbaarheidsscore om te redeneren over fysieke plausibiliteit en scènecoherentie. Het produceert een gestructureerde JSON met een binaire beoordeling, een semantische betrouwbaarheidsscore en een verklaring in natuurlijke taal.
  • Decision Fusion: De output van de MLLM wordt in kaart gebracht naar dezelfde semantische ruimte als de betrouwbaarheid van de backbone en gefuseerd via een adaptieve weegstrategie om de uiteindelijke classificatie te produceren.

3. Belangrijkste Bijdragen

1. CoCoVideo-26K Benchmark: De vestiging van een hoogwaardige dataset met contrastieve real–fake paren van 13 commerciële modellen, wat een nieuwe standaard biedt voor het evalueren van AIGC-detectie onder realistische, hoogwaardige condities.
2. CoCoDetect Framework: Een nieuwe architectuur die dual-head contrastief leren (voor discriminatie op textuurniveau) combineert met een confidence-gated MLLM-mechanisme (voor redenering op semantisch niveau), wat een systematische beoordeling over beide niveaus mogelijk maakt.
3. Empirische Validatie: Uitgebreide experimenten die state-of-the-art prestaties demonstreren op de CoCoVideo testset en sterke generalisatiecapaciteiten over meerdere publieke open-source benchmarks.

4. Experimentele Resultaten

4.1. Prestaties op CoCoVideo-26K

Op de voorgestelde testset behaalde CoCoDetect de beste gemiddelde prestaties op het gebied van Accuracy (90,69%), F1-score (90,62%), Recall (89,95%) en AUC (95,93%), waarmee het sterke baselines zoals DeMamba, VideoMAE en 3D ResNeXt overtreft.

• Observatie: De methode toonde een conservatieve beslissingsstrategie, waarbij de voorkeur werd gegeven aan precisie boven recall in sommige modellen, waardoor valse alarmen effectief werden verminderd door selectief de MLLM in te schakelen voor onzekere gevallen.
• Beperking: De prestaties namen licht af bij modellen zoals Jimeng en Veo3, waar resolutie-inconsistenties tussen real en fake paren de semantische uitlijning verstoorden.

4.2. Cross-Dataset Generalisatie

Geëvalueerd op vijf publieke benchmarks (GVD, GVF, GenVideo, GenVidBench, GenBuster), demonstreerde CoCoDetect robuuste generalisatie:

• Het behaalde de hoogste nauwkeurigheid op vier van de vijf benchmarks.
• Op GenBuster, die oudere versies van dezelfde commerciële modellen gebruikt, behield CoCoDetect sterke prestaties, wat suggereert dat het minder leunt op specifieke generatieve artefacten en meer op generaliseerbare semantische en texturele kenmerken.
• Op GenVideo daalde de prestatie in F1-score door de prevalentie van korte, bijna statische clips in die dataset, wat de temporele coherentie die nodig is voor de bewegingsanalyse van de MLLM verstoorde.

4.3. Ablatie Studies

Ablatie-experimenten bevestigden de noodzaak van beide componenten:

• Het verwijderen van de Projection Head (contrastief leren) verlaagde de AUC van 95,93% naar 91,39%.
• Het verwijderen van de MLLM (vertrouwen op enkel betrouwbaarheidsscores) verlaagde de AUC naar 95,46%.
• Het volledige model behaalde de hoogste scores, wat valideert dat laag-niveau contrastieve kenmerken en hoog-niveau semantische redenering synergetisch samenwerken.

4.4. Casestudies

• Hoge Betrouwbaarheid: Het contrastieve netwerk identificeerde correct duidelijke textuurartefacten zonder MLLM-interventie.
• Lage Betrouwbaarheid (Gered): In ambigue gevallen identificeerde de MLLM succesvol semantische fouten (bijv. een hangende brug die werd geïnterpreteerd als een schoorsteen) die de backbone miste, en corrigeerde de voorspelling.
• Foutgeval: In eenvoudige natuurlijke scènes met subtiele artefacten en geen duidelijke semantische inconsistenties faalden beide modules, wat de huidige moeilijkheid benadrukt bij het detecteren van vervalsingen in omgevingen met lage complexiteit.

5. Betekenis en Claims

Het artikel claimt dat CoCoVideo-26K de kritieke kloof tussen onderzoeksdatasets en real-world commerciële AIGC-dreigingen aanpakt, en een betrouwbaardere benchmark biedt voor training en evaluatie. CoCoDetect wordt gepresenteerd als een robuust framework dat de beperkingen van louter op textuur gebaseerde detectie overwint door semantische redenering te integreren voor onzekere gevallen.

De auteurs benadrukken dat hun aanpak de effectiviteit valideert van het combineren van fijnmazig contrastief leren met hoog-niveau semantische verificatie. Zij concluderen dat hoewel de methode state-of-the-art prestaties en sterke generalisatie vertoont, toekomstig werk zich zal richten op het uitbreiden van de dataset met audio-modaliteiten en rijkere semantische annotaties om de detectie van betrouwbare AIGC-content verder te verbeteren.