Technische Samenvatting: VINA - Video als Natuurlijke Augmentatie voor Gecombineerde AIGC-detectie

1. Probleemstelling

De snelle vooruitgang van AI-genererende content (AIGC) heeft een dringende behoefte gecreëerd aan detectoren die generaliseren over diverse databronnen, implementatiepijplijnen en visuele modaliteiten. Hoewel state-of-the-art AI-genererende afbeeldingsdetectoren (AIGI) competitief presteren op afbeeldingsbenchmarks, identificeert dit artikel een kritieke en consistente faalmodus: deze detectoren bezwijken wanneer ze worden toegepast op frames die zijn geëxtraheerd uit AI-genererende video's (AIGV).

De auteurs betogen dat het behandelen van AIGI- en AIGV-detectie als gescheiden taken een fundamentele generalisatiekloof tussen modaliteiten achterlaat. Deze kloof ontstaat uit twee primaire bronnen:

1. Synthese-agnostische verschuivingen in videobewerking: Realistische videoframes ondergaan complexe, verweven degradaties die niet aanwezig zijn in standaard afbeeldingsdatasets, waaronder codec-compressie (bijv. H.264), bewegingsonscherpte, herschaling en kleuromvorming met beperkt bereik (bijv. TV-luminantiebereiken). Deze verschuivingen onderdrukken hoogfrequente micro-artefacten waarop afbeeldingsdetectoren vaak vertrouwen als shortcuts.
2. Model-specifieke vingerafdrukken: Moderne videogeneratoren introduceren distincte temporale artefacten en bewegingsgerelateerde vingerafdrukken die aanzienlijk verschillen van de ruimtelijke artefacten van afbeeldingsgeneratoren.

Bijgevolg falen detectoren die uitsluitend op afbeeldingen zijn getraind om de specifieke statistische verdelingen en degradatiepatronen te herkennen die inherent zijn aan videoframes, wat leidt tot prestatiedalingen die dicht bij willekeurig gokken liggen op videobenchmarks.

2. Methodologie: VINA

Om deze kloof aan te pakken, stellen de auteurs VINA (VIdeo as Natural Augmentation) voor, een geünificeerd kader dat gezamenlijk traint op zowel afbeeldings- als videodata om robuuste cross-modale detectie te bereiken.

Kernfilosofie

VINA behandelt videoframes niet louter als een aparte taak, maar als fysisch onderbouwde natuurlijke augmentaties voor afbeeldingsdata. Videoframes blootstellen detectoren aan realistische, complexe degradaties (compressie, onscherpte, kleurschommelingen) die moeilijk te simuleren zijn met handgemaakte 2D-augmentaties (bijv. Gaussische onscherpte of JPEG-hercompressie).

Technische Componenten

1. Gezamenlijk Trainingsparadigma: Het kader traint een enkele detector op een gemengde batch van statische afbeeldingen ($D_{img}$) en videoframes ($D_{vid}$). Videoframes worden gemodelleerd als ongerepte visuele signalen die onderhevig zijn aan een complexe, niet-differentieerbare degradatiefunctie $T(\cdot)$ die de videopijplijn vertegenwoordigt (codec, bewegingsonscherpte, herschaling).
2. Cross-Modale Supervised Contrastive (CM-SupCon) Loss: Om te voorkomen dat de feature-ruimte modaal gescheiden blijft (waarbij afbeeldings- en videofeatures apart clusteren ondanks dat ze hetzelfde label real/fake delen), introduceert VINA een expliciete regularisatieterm.
   • Mechanisme: Voor een gegeven ankerstip omvat de positieve set uitsluitend cross-modale stips (bijv. een videoframe gekoppeld aan een afbeelding) die hetzelfde grondwaarheid-label (echt of nep) delen.
   • Doel: Dit trekt echte-afbeeldingsfeatures naar echte-videofeatures en nep-afbeeldingsfeatures naar nep-videofeatures, terwijl de scheiding tussen echte en nep klassen behouden blijft. Dit dwingt het model om generatieve sporen te leren die discriminerend zijn voor zowel schone afbeeldingen als gedegradeerde videoframes, en onderdrukt de afhankelijkheid van modaliteit-specifieke shortcuts.
3. Gecombineerde Doelfunctie: De uiteindelijke lossfunctie combineert de standaard binaire cross-entropy ($L_{BCE}$) met de CM-SupCon-term:
   $$L = L_{BCE} + \lambda L_{CM-SupCon}$$

3. Belangrijkste Bijdragen

1. Identificatie van Systematisch Falen: Het artikel onthult dat SOTA AIGI-detectoren systematisch falen op videobenchmarks, en formuleert gecombineerde AIGC-detectie als een generalisatieprobleem dat gezamenlijke dekking van afbeeldingen en video's vereist in plaats van geïsoleerde taken.
2. VINA-kader: Het voorstellen van een gezamenlijk video-afbeelding trainingskader dat gebruikmaakt van een CM-SupCon-doelstelling om representaties te regulariseren onder een gecombineerde beslissingsgrens, waardoor bron- en modaliteit-specifieke shortcut-signalen effectief worden onderdrukt.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over 14 benchmarks (inclusief afbeeldings-, video- en in-the-wild datasets) tonen aan dat VINA bidirectionele winsten bereikt, de prestaties verbetert op zowel video- als afbeeldingstaken zonder complexe dataset-specifieke afstemming of expliciete afstemmingspijplijnen.

4. Experimentele Resultaten

De auteurs evalueerden VINA tegen een breed scala aan baselines, waaronder videospecifieke detectoren (bijv. DeMamba, WaveRep), afbeeldingspecifieke detectoren (bijv. NPR, Effort, Co-SPY) en methoden getraind op afgeleide datasets (bijv. DDA, B-Free).

• Benchmarkprestaties:
  • Videobenchmarks: VINA behaalde een gemiddelde nauwkeurigheid van 90,4%, aanzienlijk beter dan afbeeldings-only detectoren (die vaak onder de 60% zakte) en concurrerende videospecifieke detectoren.
  • Afbeeldingsbenchmarks: VINA behaalde 94,1% gemiddelde nauwkeurigheid, wat beter is dan gespecialiseerde afbeeldingsdetectoren en aantoont dat videodata de afbeeldingsprestaties niet verslechtert.
  • In-the-Wild Benchmarks: Op uitdagende real-world datasets (bijv. Chameleon, SynthWildX, WildRF) bereikte VINA 92,9% gemiddelde nauwkeurigheid, wat superieure robuustheid toont tegen onbekende generators en nabewerking vergeleken met eerdere werken.
• Robuustheid: Het model toonde sterke weerstand tegen diverse verstoringen, waaronder JPEG/HEIF-compressie, schaling en bijsnijden, zonder dat expliciete formaatafstemming tijdens het trainen vereist was.
• Efficiëntie: Ondanks het gebruik van een grote DINOv3-ruggengraat, werkt VINA op een resolutie van 256×256 met 82,4G FLOPs per frame, en bereikt de snelste inferencedoorvoer (15,7s per 1K frames) onder de vergeleken methoden.
• Ablatiestudies:
  • Ruggengraten: Winsten waren consistent over CLIP-, DINOv2- en DINOv3-ruggengraten.
  • Data Bronnen: Prestatieverbeteringen werden waargenomen over diverse data-combinaties (bijv. Pika+ProGAN, GenVideo+SD1.4, 140k+DDA), wat aangeeft dat de methode niet gebonden is aan specifieke datasets.
  • Augmentatie versus Gezamenlijk Trainen: Synthetische degradatiestrategieën (kleurtrilling, HEIF-compressie) leverden gematigde verbeteringen op, maar werden aanzienlijk overtroffen door het gebruik van echte videodata als natuurlijke augmentatie.

5. Betekenis en Claims

Het artikel beweert dat VINA een nieuw paradigma voor AIGC-detectie vestigt door realistische videodegradaties te behandelen als een vorm van natuurlijke augmentatie in plaats van een apart domein. De betekenis ligt in:

• Gecombineerde Detectie: Aantonen dat een enkel model zowel afbeeldingen als video's effectief kan detecteren, waardoor de cross-modale kloof wordt overbrugd die het veld momenteel teistert.
• Robuustheid zonder Complexiteit: Het bereiken van state-of-the-art prestaties zonder te vertrouwen op complexe data-afstemming, zware augmentatiepijplijnen of dataset-specifieke hyperparameterafstemming.
• Generalisatie: Het bieden van een oplossing die generaliseert over onzichtbare generators en in-the-wild scenario's, wat de kritieke behoefte aan detectoren adresseert die betrouwbaar functioneren in diverse real-world implementatieomgevingen.

De auteurs concluderen dat, hoewel hun huidige detector werkt op enkele frames en expliciete temporale relaties niet modelleert, de filosofie van gezamenlijk trainen effectief gebruik maakt van de fysieke eigenschappen van videodata om een robuuster en universeel detectiekader te creëren.