Résumé technique : VendorBench-100

Énoncé du problème

La démocratisation rapide de la génération de médias synthétiques a déplacé la charge de la détection des deepfakes des laboratoires de criminalistique spécialisés vers les plateformes générales et les individus. Actuellement, trois paradigmes distincts rivalisent pour combler ce fossé de détection, pourtant ils sont rarement évalués sous un protocole commun, rendant toute comparaison directe impossible :

1. API commerciales : Services propriétaires offrant une détection en « boîte noire » avec des affirmations de précision non vérifiées.
2. Modèles de vision-langage zero-shot (LLM) : Modèles multimodaux à usage général sollicités de manière ad hoc pour la détection de falsifications sans entraînement spécifique.
3. Détecteurs open-source : Un écosystème fragmenté de points de contrôle académiques et de classificateurs communautaires nécessitant une infrastructure locale.

Les benchmarks existants évaluent généralement ces paradigmes de manière isolée, utilisant souvent de grands ensembles de données homogènes qui ne parviennent pas à refléter le « contenu mésomère et adversarial » qui circule dans le monde réel. De plus, les métriques d'évaluation standard comme l'exactitude brute sont trompeuses sur des ensembles de données déséquilibrés, et il existe un manque de cadres unifiés pour évaluer si la capacité de classement d'un modèle (pouvoir discriminatif) se traduit par des décisions de point de fonctionnement fiables (exactitude du seuil par défaut).

Méthodologie

Les auteurs introduisent VendorBench-100, un benchmark unifié trans-paradigme conçu pour évaluer 36 modèles représentatifs à travers les trois paradigmes (5 API commerciales, 7 LLM de vision zero-shot et 24 détecteurs open-source) en utilisant un corpus adversarial unique et fixe.

Le Corpus

• Composition : Un ensemble curaté de 100 images (79 fausses, 21 réelles).
• Philosophie de conception : Optimisé pour la difficulté plutôt que pour l'échelle. Chaque image a été sélectionnée à la main pour sonder des modes de défaillance distincts et sous-desservis, plutôt que pour fournir une puissance statistique pour l'entraînement.
• Taxonomie des cas limites : Les 79 images fausses couvrent huit familles distinctes :
  1. Flou de mouvement de webcam lié au lissage de face-swap en direct (live face-swap smearing).
  2. Face-swaps en ligne quasi-duplicata (les statistiques globales restent authentiques).
  3. Images fixes de text-to-video avec bandes noires (le étalonnage cinématographique imite le post-traitement).
  4. Coutures de composition d'avatars IA (contours brillants manqués par les détecteurs de fréquence).
  5. Sorties text-to-image entièrement synthétiques (haute résolution, photoréalistes).
  6. Éditions photo par IA sur scène réelle (synthèse localisée dans des arrière-plans authentiques).
  7. Manipulations à provenance opaque (outils inconnus).
  8. Images de jeux de données de recherche compressées (basse résolution, peau cireuse).
• Anti-fuite (Anti-Leakage) : Les images sont servies avec des noms de fichiers numériques neutres pour empêcher les modèles (particulièrement les LLM) d'inférer les étiquettes à partir des métadonnées.

Protocole d'évaluation

• Schéma unifié : Tous les modèles sont normalisés vers un enregistrement de sortie partagé contenant une étiquette stricte (FAKE/REAL), un score de confiance $P(fake) \in [0, 1]$, et un indicateur de succès.
• Métriques :
  • Métrique primaire : Coefficient de corrélation de Matthews (MCC). Choisi car le déséquilibre des classes (79:21) rend l'exactitude brute trivialement manipulable (ex: un prédicteur « toujours faux » obtient ~79 % d'exactitude mais un MCC de 0,00). Le MCC tient compte de l'équilibre des classes et exige une performance élevée sur les deux classes.
  • Égalité (Tie-breaker) : ROC-AUC. Une mesure indépendante du seuil de la capacité de classement.
  • Métriques secondaires : Exactitude (Accuracy), F1, Précision, Rappel (Recall), Spécificité et Couverture (Coverage).
• Exécution : Les API commerciales ont été interrogées en direct ; les LLM de vision ont été sollicités en zero-shot avec un schéma de criminalistique partagé ; les détecteurs open-source ont été exécutés localement sur GPU.

Contributions clés

1. Benchmark trans-paradigme : La première évaluation unifiée de 36 modèles à travers les pistes commerciale, LLM et open-source en utilisant un corpus adversarial unique et un schéma de normalisation.
2. Construction d'un corpus adversarial : Un ensemble de 100 images délibérément difficile organisé autour de huit familles de modes de défaillance, accompagné d'un registre de provenance et de protocoles anti-fuite.
3. Analyse de la divergence des métriques : L'identification d'une divergence constante et critique entre le pouvoir de classement (ROC-AUC) et la qualité du point de fonctionnement (MCC), démontrant qu'une forte discrimination de score ne garantit pas des décisions fiables au seuil par défaut.
4. Reproductibilité : Publication du cadre d'évaluation complet, des preuves par image et des résultats agrégés.

Résultats

L'évaluation révèle un paysage complexe où l'appartenance au paradigme prédit le comportement typique de performance, mais échoue à prédire la capacité individuelle du modèle :

• Ordre des paradigmes : Les API commerciales atteignent généralement la meilleure performance médiane, suivies par les LLM de vision, tandis que la piste open-source arrive en queue de classement en termes de médiane.
• Exceptions : Des modèles open-source individuels peuvent surpasser les meilleurs LLM de vision en pur pouvoir de classement. Plus précisément, le modèle open-source DRCT a atteint un ROC-AUC de 0,866, surpassant tous les LLM de vision (le meilleur étant Claude Opus 4.8 à 0,791).
• Le « Piège de l'exactitude » : Plusieurs modèles ont obtenu des scores d'exactitude ou de F1 trompeurs en adoptant par défaut la classe majoritaire (« fake »). Par exemple, zai_glm52 (LLM de vision) a obtenu 71 % d'exactitude et 0,83 de F1, mais avait 0 % de spécificité et un MCC négatif (-0,152), indiquant qu'il marquait toutes les images réelles comme fausses.
• La découverte de la divergence : La découverte empirique centrale de l'article est le déconnect entre le ROC-AUC et le MCC :
  • TruthScan (Commercial) : A atteint le ROC-AUC le plus élevé (0,915) mais le pire MCC parmi les API commerciales (-0,130) car son seuil par défaut marquait presque chaque image comme fausse.
  • Neural Defend (Commercial) : A atteint le MCC le plus élevé (0,876) mais un ROC-AUC proche du hasard (0,516), indiquant une excellente calibration de décision malgré une faible séparation de score sous-jacente.
  • Implication : Un modèle peut être un excellent classificateur (haut AUC) mais un mauvais décideur (bas MCC) à son seuil de déploiement, et vice versa.

Signification et revendications

L'article affirme que VendorBench-100 déplace fondamentalement l'accent de l'évaluation, passant des classements isolés de leaderboards à une compréhension plus nuancée du comportement des détecteurs.

• La divergence des métriques est centrale : La divergence entre la capacité de classement et la qualité du point de fonctionnement est présentée comme une découverte plus significative que le rang de n'importe quel modèle individuel. Elle démontre que le rapport d'une seule métrique (ex: AUC ou Exactitude) peut systématiquement caractériser de manière erronée l'utilité réelle d'un modèle.
• Orientation pratique : Pour les praticiens, le benchmark suggère que les décisions d'achat doivent peser à la fois le MCC et le ROC-AUC. Se fier à une seule métrique peut conduire à déployer un modèle qui est soit peu fiable (haut AUC, bas MCC), soit trop conservateur au point d'être inutile (bas AUC, haute spécificité mais bas rappel).
• Nuance des paradigmes : Bien que les API commerciales mènent en moyenne, l'étude réfute l'idée que les détecteurs open-source soient universellement inférieurs, montrant que des méthodes académiques soigneusement conçées (comme DRCT) restent compétitives avec les modèles de fondation à usage général.
• Limites : Les auteurs déclarent explicitement que les résultats sont des signaux diagnostiques provenant d'un seul et petit corpus adversarial (100 images). Ils ne prétendent pas que ces résultats représentent des estimations de précision au niveau de la population ou qu'un test de signification statistique a été effectué sur les 630 comparaisons par paires possibles. Le corpus est destiné à être un test de résistance pour faire émerger des modes de défaillance plutôt qu'un benchmark de population.

En conclusion, l'article soutient que le domaine doit évoluer vers des évaluations unifiées, reproductibles et multi-métriques qui privilégient les comparaisons équitables entre les paradigmes plutôt que les scores isolés de leaderboards.