Technische Samenvatting: VendorBench-100

Probleemstelling

De snelle democratisering van synthetische mediageneratie heeft de last van het detecteren van deepfakes verschoven van gespecialiseerde forensische laboratoria naar algemene platforms en individuen. Momenteel concurreren drie verschillende paradigma's om dit detectiegat te vullen, maar zij worden zelden onder een gemeenschappelijk protocol geëvalueerd, wat directe vergelijking onmogelijk maakt:

1. Commerciële API's: Propriëtaire diensten die "black-box" detectie aanbieden met onverifieerde nauwkeurigheidsclaims.
2. Zero-Shot Vision-Language Modellen (LLM's): Algemene multimodale modellen die ad hoc worden geprompt voor vervalsingsdetectie zonder specifieke training.
3. Open-Source Detectoren: Een gefragmenteerd ecosysteem van academische checkpoints en community-classifiers die lokale infrastructuur vereisen.

Bestaande benchmarks evalueren deze paradigma's doorgaans in isolatie, waarbij vaak gebruik wordt gemaakt van grote, homogene datasets die er niet in slagen de "rommelige, adversariële content" te reflecteren die in de echte wereld circuleert. Bovendien zijn standaard evaluatiemetrieken zoals ruwe nauwkeurigheid misleidend op ongebalanceerde datasets, en is er een gebrek aan verenigde kaders om te beoordelen of het rangschikkingsvermogen (discriminatieve kracht) van een model vertaalt naar betrouwbare beslissingen bij het werkpunt (default threshold accuracy).

Methodologie

De auteurs introduceren VendorBench-100, een verenigde cross-paradigma benchmark ontworpen om 36 representatieve modellen te evalueren over de drie paradigma's (5 Commerciële API's, 7 Zero-Shot Vision LLM's en 24 Open-Source detectoren) met behulp van een enkele, vaste, adversariële corpus.

De Corpus

• Samenstelling: Een gecureerde set van 100 afbeeldingen (79 nep, 21 echt).
• Ontwerpfilosofie: Geoptimaliseerd voor moeilijkheidsgraad in plaats van schaal. Elke afbeelding is handmatig geselecteerd om specifieke, onderbediende faalmodi te onderzoeken, in plaats van statistische kracht te bieden voor training.
• Edge-Case Taxonomie: De 79 nepafbeeldingen beslaan acht verschillende families:
  1. Live face-swap smearing (verstrengeld met webcam bewegingsonscherpte).
  2. Bijna-duplicaten van online face swaps (globale statistieken blijven authentiek).
  3. Letterboxed text-to-video stills (cinematografische grading bootst post-processing na).
  4. AI avatar compositing seams (gloeiende contouren die gemist worden door frequentiedetectoren).
  5. Volledig synthetische text-to-image output (hoge resolutie, fotorealistisch).
  6. On-device AI foto-bewerkingen van echte scènes (gelokaliseerde synthese in authentieke achtergronden).
  7. Opaque-provenance manipulaties (onbekende tools).
  8. Gecomprimeerde research-dataset frames (lage resolutie, wasachtige huid blending).
• Anti-Leakage: Afbeeldingen worden geleverd met neutrale numerieke bestandsnamen om te voorkomen dat modellen (vooral LLM's) labels afleiden uit metadata.

Evaluatieprotocol

• Verenigd Schema: Alle modellen worden genormaliseerd naar een gedeeld outputrecord met een hard label (FAKE/REAL), een betrouwbaarheidsscore $P(fake) \in [0, 1]$, en een succesflag.
• Metrieken:
  • Primaire Metriek: Matthews Correlation Coefficient (MCC). Gekozen omdat de 79:21 klasse-imbalans ruwe nauwkeurigheid triviaal manipeerbaar maakt (bijv. een "altijd nep" voorspeller scoort ~79% nauwkeurigheid maar 0.00 MCC). MCC houdt rekening met klasse-balans en vereist dat prestaties op beide klassen hoog zijn.
  • Tie-Breaker: ROC-AUC. Een drempelonafhankelijke maat voor rangschikkingsvermogen.
  • Secundaire Metrieken: Nauwkeurigheid, F1, Precisie, Recall, Specificiteit en Coverage.
• Executie: Commerciële API's werden live bevraagd; Vision LLM's werden zero-shot geprompt met een gedeeld forensisch schema; Open-source detectoren werden lokaal op GPU gedraaid.

Belangrijkste Bijdragen

1. Cross-Paradigma Benchmark: De eerste verenigde evaluatie van 36 modellen over commerciële, LLM- en open-source tracks met behulp van een enkele adversariële corpus en normalisatieschema.
2. Adversariële Corpus Constructie: Een bewust moeilijke dataset van 100 afbeeldingen, georganiseerd rond acht specifieke faalmodus-families, vergezeld van een provenance-register en anti-leakage protocollen.
3. Metriek Divergentie Analyse: De identificatie van een consistente, kritieke divergentie tussen rangschikkingskracht (ROC-AUC) en kwaliteit van het werkpunt (MCC), wat aantoont dat sterke score-discriminatie geen betrouwbare beslissingen bij de standaarddrempel garandeert.
4. Reproduceerbaarheid: Publicatie van het volledige evaluatieframework, per-afbeelding bewijs en geaggregeerde resultaten.

Resultaten

De evaluatie onthult een complex landschap waar het lidmaatschap van een paradigma weliswaar typische prestaties voorspelt, maar niet de individuele modelcapaciteit:

• Paradigma Ordening: Commerciële API's bereiken over het algemeen de sterkste mediane prestaties, gevolgd door Vision LLM's, met de open-source track als laatste in mediane prestaties.
• Uitzonderingen: Individuele open-source modellen kunnen de beste Vision LLM's overtreffen in pure rangschikkingskracht. Specifiek bereikte het open-source model DRCT een ROC-AUC van 0.866, waarmee het alle Vision LLM's versloeg (waarbij de beste Claude Opus 4.8 was met 0.791).
• De "Nauwkeurigheidsval": Verschillende modellen behaalden misleidend hoge nauwkeurigheid- of F1-scores door standaard naar de meerderheidsklasse ("fake") te neigen. Bijvoorbeeld, zai_glm52 (Vision LLM) scoorde 71% nauwkeurigheid en 0.83 F1, maar had 0% specificiteit en een negatieve MCC (-0.152), wat aangeeft dat het alle echte afbeeldingen als nep markeerde.
• De Divergentie Bevinding: De centrale empirische bevinding van het papier is de ontkoppeling tussen ROC-AUC en MCC:
  • TruthScan (Commercieel): Behaalde de hoogste ROC-AUC (0.915) maar de slechtste MCC onder de commerciële API's (-0.130) omdat de standaarddrempel bijna elke afbeelding als nep markeerde.
  • Neural Defend (Commercieel): Behaalde de hoogste MCC (0.876) maar een bijna toevallige ROC-AUC (0.516), wat duidt op uitstekende beslissingskalibratie ondanks zwakke onderliggende score-scheiding.
  • Implicatie: Een model kan een uitstekende ranker zijn (hoge AUC), maar een slechte beslisser (lage MCC) bij zijn geleverde drempel, en vice versa.

Betekenis en Claims

Het papier claimt dat VendorBench-100 de focus van de evaluatie fundamenteel verschuift van geïsoleerde leaderboard-ranglijsten naar een genuanceerder begrip van detectorgedrag.

• Metriek Onenigheid is Centraal: De divergentie tussen rangschikkingsvermogen en kwaliteit van het werkpunt wordt gepresenteerd als een significantere bevinding dan de rang van een enkel model. Het demonstreert dat het rapporteren van slechts één metriek (bijv. AUC of Nauwkeurigheid) een model systematisch kan miskarakteriseren wat betreft de bruikbaarheid in de echte wereld.
• Praktische Richtlijnen: Voor professionals suggereert de benchmark dat inkoopbeslissingen zowel MCC als ROC-AUC moeten meewegen. Vertrouwen op een enkele metriek kan leiden tot de inzet van een model dat ofwel onbetrouwbaar is (hoge AUC, lage MCC) of conservatief tot het nutteloze (lage AUC, hoge specificiteit maar lage recall).
• Paradigma Nuance: Hoewel commerciële API's gemiddeld leiden, weerlegt de studie het idee dat open-source detectoren universeel inferieur zijn, door te laten zien dat zorgvuldig ontworpen academische methoden (zoals DRCT) concurrerend blijven met algemene foundation modellen.
• Beperkingen: De auteurs geven expliciet aan dat de resultaten diagnostische signalen zijn van een enkele, kleine (100-afbeeldingen) adversariële corpus. Zij beweren niet dat deze resultaten representatieve populatie-accuraatheidsschattingen zijn of dat er statistische significantietoetsen zijn uitgevoerd over alle 630 mogelijke paarwijze vergelijkingen. De corpus is bedoeld als een stresstest om faalmodi bloot te leggen, in plaats van een populatie-benchmark.

Concluderend stelt het artikel dat het vakgebied moet bewegen naar verenigde, reproduceerbare en multi-metrische evaluaties die prioriteit geven aan eerlijke vergelijkingen tussen paradigma's boven geïsoleerde leaderboard scores.