🤖 AI

VendorBench-100: A Unified Cross-Paradigm Benchmark for Deepfake Image Detection

Das Paper stellt VendorBench-100 vor, einen vereinheitlichten, paradigmenübergreifenden Benchmark, der 36 Deepfake-Detektionsmodelle über kommerzielle APIs, Vision-Language-Modelle und Open-Source-Detektoren hinweg anhand eines kuratierten 100-Bilder-Korpus evaluiert und aufzeigt, dass kommerzielle APIs zwar in der medianen Performance führen, jedoch eine kritische Divergenz zwischen der Ranking-Fähigkeit (ROC-AUC) und zuverlässiger Entscheidungsfindung (MCC) besteht.

Ursprüngliche Autoren: Sharayu N. Deshmukh, Md Rashidunnabi, Nelton Tiago Gemo, Kurundkar G. D., Mahamune M. R., Nilesh K. Deshmukh

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sharayu N. Deshmukh, Md Rashidunnabi, Nelton Tiago Gemo, Kurundkar G. D., Mahamune M. R., Nilesh K. Deshmukh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager eines Sicherheitsteams. Ihr Job ist es, gefälschte Fotos (Deepfakes) aufzuspüren, die dazu verwendet werden, Menschen zu täuschen. Sie haben drei sehr unterschiedliche Arten von Sicherheitswächtern zur Anstellung zur Verfügung:

Die High-Tech-Profis (Kommerzielle APIs): Sie bezahlen ein Unternehmen wie „Neural Defend“ oder „Reality Defender“, um die Fotos zu prüfen. Sie haben ein teures, spezialisiertes Training, das genau für diesen Job entwickelt wurde.
Die klugen Generalisten (Vision LLMs): Sie fragen einen superintelligenten KI-Assistenten (wie einen Chatbot, der Bilder sehen kann), um eine Vermutung anzustellen. Sie wurden nicht speziell darauf trainiert, Fälschungen zu erkennen, aber sie sind sehr intelligent und können begründen, was sie sehen.
Die DIY-Enthusiasten (Open-Source-Detektoren): Sie laden kostenlose Tools herunter, die von Forschern und Hobbyisten entwickelt wurden. Einige sind brillant, einige sind fehlerhaft, und sie alle laufen auf Ihren eigenen Computern.

Das Problem ist, dass noch nie jemand diese drei Gruppen in denselben Raum gebracht hat, um denselben Test zu absolvieren. Die „Profis“ haben ihre eigenen Berichte, die „Generalisten“ haben allgemeine Testergebnisse und die „DIY“-Leute haben ihre eigenen Bestenlisten. Es ist, als würde man die Rundenzeit eines Rennwagens auf einer Rennstrecke mit der Geschwindigkeit eines LKWs auf einer Autobahn vergleichen und beide als „schnell“ bezeichnen.

Die große Idee des Papers: Der „VendorBench-100“-Test
Die Autoren dieses Papers haben beschlossen, einen einzigen, unfairen und sehr schwierigen Test zu erstellen, um zu sehen, wer tatsächlich gewinnt. Sie haben nicht einfach nur einen Test mit 1.000 leichten Fotos gemacht. Sie haben 100 spezifische, knifflige Fotos handverlesen, die darauf ausgelegt sind, diese Systeme zu Fall zu bringen.

Betrachten Sie diesen Test wie einen „Hindernisparcours“ für Detektoren:

Einige Fotos bestehen nur aus einem Gesicht, das auf einen Körper getauscht wurde, während der Hintergrund echt ist.
Einige sind Einzelbilder aus KI-Videos, die wie normale Filme aussehen.
Einige sind Fotos, bei denen jemand eine Handy-App benutzt hat, um nur einen kleinen Teil eines echten Bildes zu bearbeiten.
Einige sind winzig, unscharf und stark komprimiert (wie ein Foto, das per Textnachricht verschickt wurde).

Sie haben 36 verschiedene Modelle (5 Profis, 7 Generalisten und 24 DIY-Tools) durch genau diesen 100-Foto-Hindernisparcours geschickt.

Die Falle: Warum „Genauigkeit“ eine Lüge ist
Hier ist der wichtigste Teil des Papers, erklärt mit einer einfachen Analogie.

Stellen Sie sich vor, der Test besteht aus 79 gefälschten Fotos und 21 echten Fotos.
Wenn Sie einen Wächter eingestellt hätten, der zu faul ist, um die Fotos wirklich anzusehen, und einfach bei jedem einzelnen „FÄLSCHUNG!“ schreit, was würde passieren?

Er hätte die 79 Fälschungen richtig erkannt.
Er hätte die 21 echten Fotos falsch erkannt.
Seine „Genauigkeits“-Bewertung (Accuracy) läge bei 79 %. Das klingt großartig!

Aber in Wirklichkeit wäre dieser Wächter nutzlos. Er rät nur basierend auf den Wahrscheinlichkeiten. Das Paper argumentiert, dass das Betrachten der „Genauigkeit“ so ist, als würde man einen Koch nur danach beurteilen, wie viele Teller er serviert hat, ohne zu prüfen, ob das Essen überhaupt genießbar war.

Stattdessen verwendeten die Autoren einen klügeren Wert namens MCC (Matthews Correlation Coefficient). Dieser Wert steigt nur dann, wenn man sowohl die Fälschungen als auch die echten Fotos richtig erkennt. Er bestraft den faulen „Immer-sag-Fälschung“-Wächter.

Die überraschenden Ergebnisse
Als sie alle nach diesem klügeren Wert rankten, fanden sie Folgendes heraus:

Die Profis gewannen (meistens): Die bezahlten kommerziellen Dienste machten im Allgemeinen den besten Job. Sie waren die zuverlässigsten Wächter.
Die Generalisten lagen im Mittelfeld: Die smarten Chatbots waren ganz okay, aber sie waren nicht so gut wie die Profis.
Die DIY-Crowd war ein gemischtes Paket: Die meisten kostenlosen Tools waren am schlechtensten. Einige spezifische kostenlose Tools waren jedoch tatsächlich besser als die smarten Chatbots darin, Muster zu erkennen.

Der große Twist: „Ranking“ vs. „Entscheidung“
Dies ist die wichtigste Entdeckung des Papers. Sie fanden heraus, dass ein Modell großartig im Ranking (Sortieren von Fälschungen höher als echte Fotos) sein kann, aber schrecklich in der Entscheidung (tatsächlich „Falsch“ oder „Echt“ zu sagen, wenn man es wird gefragt).

Das „TruthScan“-Beispiel: Ein kommerzielles Tool war fantastisch im Sortieren. Wenn man ihm eine Liste von 100 Fotos gab, konnte es die Fälschungen perfekt in der richtigen Reihenfolge von den echten Fotos trennen. Sein „Ranking-Score“ war der höchste von allen.
Das Problem: Aber als man es aufforderte, eine endgültige Entscheidung zu treffen, war es so sehr darauf bedacht, keine Fälschung zu übersehen, dass es ALLES als Fälschung einstufte. Es scheiterte am Test, weil es alle echten Fotos als Fälschungen markierte.

Es ist wie ein Metalldetektor am Flughafen, der für alles piept – Münzen, Schlüssel, Gürtelschnallen und Pistolen. Er hat ein perfektes „Ranking“ (er findet alles Metall), aber er ist als Sicherheitswächter nutzlos, weil er niemanden mehr durchgehen lässt.

Das Fazit
Das Paper kommt zu dem Schluss, dass man nicht einfach nur nach einer einzigen Zahl (wie einem Leaderboard-Score) schauen kann, um zu entscheiden, welchen Detektor man verwenden soll.

Wenn Sie nur auf das Ranking schauen, wählen Sie vielleicht ein Tool, das zwar gut im Sortieren, aber schlecht im Treffen von Entscheidungen ist.
Wenn Sie nur auf die Genauigkeit schauen, wählen Sie vielleicht ein träges Tool, das einfach ständig „Fälschung“ rät.

Um den richtigen Wächter auszuwählen, müssen Sie beides prüfen: wie gut er zwischen echt und falsch unterscheiden kann UND wie gut er die endgültige Entscheidung trifft, ohne zu viele Fehler zu machen. Die Autoren haben alle ihre Daten und Tools veröffentlicht, damit andere Menschen diese Tests erneut durchführen und die Ergebnisse überprüfen können.

Technisches Resümee: VendorBench-100

Problemstellung

Die rasante Demokratisierung der Generierung synthetischer Medien hat die Last der Deepfake-Erkennung von spezialisierten forensischen Laboren auf allgemeine Plattformen und Einzelpersonen verlagert. Derzeit konkurrieren drei unterschiedliche Paradigmen, um diese Erkennungslücke zu schließen, doch werden sie selten unter einem gemeinsamen Protokoll evaluiert, was einen direkten Vergleich unmöglich macht:

Kommerzielle APIs: Proprietäre Dienste, die eine „Black-Box“-Erkennung mit unverifizierten Genauigkeitsansprüchen anbieten.
Zero-Shot Vision-Language-Modelle (LLMs): Allgemeine multimodale Modelle, die ad hoc für die Fälschungsdetektion mittels Prompting verwendet werden, ohne spezifisches Training.
Open-Source-Detektoren: Ein fragmentiertes Ökosystem aus akademischen Checkpoints und Community-Klassifikatoren, die lokale Infrastruktur erfordern.

Bestehende Benchmarks evaluieren diese Paradigmen typischerweise isoliert und verwenden oft große, homogene Datensätze, die nicht den „unordentlichen, adversariellen Inhalten“ entsprechen, die in der realen Welt zirkulieren. Zudem sind Standard-Evaluationsmetriken wie die rohe Genauigkeit bei imbalancierten Datensätzen irreführend, und es mangelt an vereinheitlichten Frameworks, um zu bewerten, ob die Ranking-Fähigkeit eines Modells (diskriminative Kraft) in zuverlässige Operating-Point-Entscheidungen (Standard-Schwellenwert-Genauigkeit) übergeht.

Methodik

Die Autoren führen VendorBench-100 ein, einen vereinheitlichten Cross-Paradigma-Benchmark, der darauf ausgelegt ist, 36 repräsentative Modelle über die drei Paradigmen hinweg (5 kommerzielle APIs, 7 Zero-Shot Vision LLMs und 24 Open-Source-Detektoren) unter Verwendung eines einzigen, fixen, adversariellen Korpus zu evaluieren.

Der Korpus

Zusammensetzung: Ein kuratierter Satz von 100 Bildern (79 Fake, 21 Real).
Design-Philosophie: Optimiert auf Schwierigkeit statt auf Skalierung. Jedes Bild wurde handverlesen, um distinkte, unterversorgte Fehlermodi zu untersuchen, anstatt statistische Power für das Training bereitzustellen.
Edge-Case-Taxonomie: Die 79 Fake-Bilder decken acht distinkte Familien ab:
1. Live Face-Swap Smearing (vermischt mit Webcam-Bewegungsunschärfe).
2. Nahezu identische Online Face Swaps (globale Statistiken bleiben authentisch).
3. Letterboxed Text-to-Video Stills (kinematografische Gradierung imitiert Post-Processing).
4. KI-Avatar-Compositing-Nähte (leuchtende Umrisse, die von Frequenzdetektoren übersehen werden).
5. Vollständig synthetische Text-to-Image-Outputs (hochauflösend, fotorealistisch).
6. On-Device-KI-Foto-Edits realer Szenen (lokalisierte Synthese in authentischen Hintergründen).
7. Undurchsichtige Provenienz-Manipulationen (unbekannte Werkzeuge).
8. Komprimierte Forschungsdatensatz-Frames (niedrige Auflösung, wachsartige Hauttextur).
Anti-Leakage: Bilder werden mit neutralen numerischen Dateinamen bereitgestellt, um zu verhindern, dass Modelle (insbesondere LLMs) Labels aus Metadaten ableiten.

Evaluationsprotokoll

Vereinheitlichtes Schema: Alle Modelle werden auf einen gemeinsamen Output-Datensatz normalisiert, der ein Hard-Label (FAKE/REAL), einen Konfidenzwert $P(fake) \in [0, 1]$ und ein Erfolgsflag enthält.
Metriken:
- Primäre Metrik: Matthews Correlation Coefficient (MCC). Gewählt, da die Klassenimbalance von 79:21 die rohe Genauigkeit trivial manipulierbar macht (z. B. erzielt ein „immer Fake“-Prädiktor eine Genauigkeit von ~79 %, aber einen MCC von 0,00). MCC berücksichtigt die Klassenbalance und erfordert eine hohe Performance auf beiden Klassen.
- Tie-Breaker: ROC-AUC. Ein schwellenwertunabhängiges Maß für die Ranking-Fähigkeit.
- Sekundäre Metriken: Genauigkeit (Accuracy), F1, Präzision (Precision), Recall, Spezifität (Specificity) und Coverage.
Ausführung: Kommerzielle APIs wurden live abgefragt; Vision LLMs wurden Zero-Shot mit einem gemeinsamen forensischen Schema gepromptet; Open-Source-Detektoren wurden lokal auf einer GPU ausgeführt.

Zentrale Beiträge

Cross-Paradigm Benchmark: Die erste vereinheitlichte Evaluierung von 36 Modellen über kommerzielle, LLM- und Open-Source-Tracks hinweg unter Verwendung eines einzigen adversariellen Korpus und eines Normalisierungsschemas.
Konstruktion eines adversariellen Korpus: Ein bewusst schwieriger 100-Bild-Datensatz, organisiert um acht spezifische Fehlermodi-Familien, begleitet von einem Provenienz-Register und Anti-Leakage-Protokollen.
Analyse der Metrik-Divergenz: Die Identifizierung einer konsistenten, kritischen Divergenz zwischen Ranking-Power (ROC-AUC) und Operating-Point-Qualität (MCC), was zeigt, dass eine starke Diskriminierung der Scores nicht zwangsläufig zu zuverlässigen Entscheidungen am Standard-Schwellenwert führt.
Reproduzierbarkeit: Veröffentlichung des vollständigen Evaluations-Frameworks, der Evidenz pro Bild sowie der aggregierten Ergebnisse.

Ergebnisse

Die Evaluation offenbart eine komplexe Landschaft, in der die Zugehörigkeit zum Paradigma zwar die typische Leistung vorhersagt, aber nicht die individuelle Modellkapazität:

Paradigma-Ordnung: Kommerzielle APIs erreichen im Allgemeinen die stärkste mediane Performance, gefolgt von Vision LLMs, wobei der Open-Source-Track in der medianen Performance zurückbleibt.
Ausnahmen: Einzelne Open-Source-Modelle können die besten Vision LLMs in der reinen Ranking-Power übertreffen. Speziell das Open-Source-Modell DRCT erreichte einen ROC-AUC von 0,866 und übertraf damit alle Vision LLMs (das beste war Claude Opus 4.8 mit 0,791).
Die „Genauigkeitsfalle“: Mehrere Modelle erzielten täuschend hohe Genauigkeits- oder F1-Werte, indem sie standardmäßig auf die Mehrheitsklasse („Fake“) setzten. Beispielsweise erzielte zai_glm52 (Vision LLM) eine Genauigkeit von 71 % und einen F1 von 0,83, hatte aber eine Spezifität von 0 % und einen negativen MCC (-0,152), was bedeutet, dass es fast alle realen Bilder als Fake markierte.
Das Divergenz-Ergebnis: Der zentrale empirische Befund der Arbeit ist die Diskrepanz zwischen ROC-AUC und MCC:
- TruthScan (Kommerziell): Erreichte den höchsten ROC-AUC (0,915), aber den schlechtesten MCC unter den kommerziellen APIs (-0,130), da der Standard-Schwellenwert fast jedes Bild als Fake klassifizierte.
- Neural Defend (Kommerziell): Erreichte den höchsten MCC (0,876), aber einen ROC-AUC nahe dem Zufallswert (0,516), was auf eine exzellente Entscheidungs-Kalibrierung trotz schwacher zugrunde liegender Score-Separation hindeutet.
- Implikation: Ein Modell kann ein exzellenter Ranker (hoher AUC) sein, aber ein schlechter Entscheider (niedriger MCC) am ausgelieferten Schwellenwert – und umgekehrt.

Signifikanz und Ansprüche

Das Paper behauptet, dass VendorBench-100 den Fokus der Evaluation grundlegend von isolierten Leaderboard-Rankings hin zu einem nuancierteren Verständnis des Detektorverhaltens verschiebt.

Metrik-Diskrepanz ist zentral: Die Divergenz zwischen Ranking-Fähigkeit und Operating-Point-Qualität wird als ein bedeutenderer Befund präsentiert als der bloße Rang eines einzelnen Modells. Es demonstriert, dass die Berichterstattung nur einer Metrik (z. B. AUC oder Accuracy) ein Modell in der realen Welt systematisch falsch charakterisieren kann.
Praktische Orientierung: Für Praktiker legt der Benchmark nahe, dass Beschaffungsentscheidungen sowohl MCC als auch ROC-AUC berücksichtigen müssen. Sich nur auf eine Metrik zu verlassen, kann zur Implementierung eines Modells führen, das entweder unzuverlässig (hoher AUC, niedriger MCC) oder zu konservativ (niedriger AUC, hohe Spezifität, aber niedriger Recall) ist.
Nuancierung der Paradigmen: Während kommerzielle APIs im Durchschnitt führen, widerlegt die Studie die Annahme, dass Open-Source-Detektoren universell unterlegen sind, und zeigt, dass sorgfältig konzipierte akademische Methoden (wie DRCT) mit allgemeinen Foundation-Modellen konkurrenzfähig bleiben.
Limitierungen: Die Autoren geben explizit an, dass die Ergebnisse diagnostische Signale aus einem einzelnen, kleinen (100-Bild) adversariellen Korpus sind. Sie behaupten nicht, dass diese Ergebnisse Populations-Genauigkeitsschätzungen darstellen oder dass statistische Signifikanztests über alle 630 möglichen paarweisen Vergleiche durchgeführt wurden. Der Korpus ist als Stresstest gedacht, um Fehlermodi aufzuzeigen, und nicht als Populations-Benchmark.

Zusammenfassend argumentiert das Paper, dass das Feld sich zu vereinheitlichten, reproduzierbaren und Multi-Metrik-Evaluationen bewegen muss, die den fairen Vergleich über Paradigmen hinweg gegenüber isolierten Leaderboard-Scores priorisieren.