Resumen Técnico: VendorBench-100

Planteamiento del Problema

La rápida democratización de la generación de medios sintéticos ha desplazado la carga de la detección de deepfakes desde los laboratorios forenses especializados hacia las plataformas generales y los individuos. Actualmente, tres paradigmas distintos compiten por llenar este vacío de detección, pero rara vez se evalúan bajo un protocolo común, lo que imposibilita la comparación directa:

1. APIs Comerciales: Servicios propietarios que ofrecen detección de "caja negra" con afirmaciones de precisión no verificadas.
2. Modelos de Visión-Lenguaje Zero-Shot (LLMs): Modelos multimodales de propósito general utilizados mediante prompts ad hoc para la detección de falsificaciones sin entrenamiento específico.
3. Detectores de Código Abierto: Un ecosistema fragmentado de checkpoints académicos y clasificadores comunitarios que requieren infraestructura local.

Los benchmarks existentes suelen evaluar estos paradigmas de forma aislada, utilizando frecuentemente conjuntos de datos grandes y homogéneos que no logran reflejar el "contenido de combate, adversarial" que circula en el mundo real. Además, las métricas de evaluación estándar como la precisión bruta son engañosas en conjuntos de datos desbalanceados, y existe una falta de marcos unificados para evaluar si la capacidad de clasificación de un modelo (poder discriminativo) se traduce en decisiones de punto de operación fiables (precisión del umbral predeterminado).

Metodología

Los autores presentan VendorBench-100, un benchmark unificado trans-paradigma diseñado para evaluar 36 modelos representativos a través de los tres paradigmas (5 APIs Comerciales, 7 LLMs de Visión Zero-Shot y 24 detectores de Código Abierto) utilizando un único corpus adversarial fijo.

El Corpus

• Composición: Un conjunto curado de 100 imágenes (79 falsas, 21 reales).
• Filosofía de Diseño: Optimizado para la dificultad en lugar de la escala. Cada imagen fue seleccionada a mano para sondear modos de fallo distintos y poco atendidos, en lugar de proporcionar potencia estadística para el entrenamiento.
• Taxonomía de Casos Límte (Edge-Case): Las 79 imágenes falsas abarcan ocho familias distintas:
  1. Difuminado de face-swap en vivo (entrelazado con desenfoque de movimiento de webcam).
  2. Face-swaps online de duplicados cercanos (las estadísticas globales permanecen auténticas).
  3. Fotogramas de texto-a-video con letterboxing (la gradación cinematográfica imita el post-procesamiento).
  4. Costuras de composición de avatares de IA (contornos brillantes que los detectores de frecuencia pasan por alto).
  5. Salida de texto-a-imagen totalmente sintética (alta resolución, fotorrealista).
  6. Ediciones fotográficas de IA en dispositivos sobre escenas reales (síntesis localizada en fondos auténticos).
  7. Manipulaciones de procedencia opaca (herramientas desconocidas).
  8. Fotogramas de datasets de investigación comprimidos (baja resolución, mezcla de piel cerosa).
• Anti-Fuga (Anti-Leakage): Las imágenes se sirven con nombres de archivo numéricos neutros para evitar que los modelos (especialmente los LLMs) infieran las etiquetas a partir de los metadatos.

Protocolo de Evaluación

• Esquema Unificado: Todos los modelos se normalizan a un registro de salida compartido que contiene una etiqueta dura (FALSO/REAL), un puntaje de confianza $P(fake) \in [0, 1]$ y un indicador de éxito.
• Métricas:
  • Métrica Primaria: Coeficiente de Correlación de Matthews (MCC). Elegido porque el desbalance de clases de 79:21 hace que la precisión bruta sea trivialmente manipulable (por ejemplo, un predictor que "siempre dice falso" obtiene ~79% de precisión pero 0.00 de MCC). El MCC tiene en cuenta el equilibrio de clases y requiere que el rendimiento en ambas clases sea alto.
  • Desempate: ROC-AUC. Una medida independiente del umbral que mide la capacidad de clasificación (ranking).
  • Métricas Secundarias: Precisión (Accuracy), F1, Precisión (Precision), Recall, Especificidad y Cobertura.
• Ejecución: Las APIs comerciales fueron consultadas en vivo; los Vision LLMs fueron instados mediante zero-shot con un esquema forense compartido; los detectores de código abierto fueron ejecutados localmente en GPU.

Contribuciones Clave

1. Benchmark Trans-Paradigma: La primera evaluación unificada de 36 modelos a través de las pistas comercial, de LLM y de código abierto utilizando un único corpus adversarial y un esquema de normalización.
2. Construcción de Corpus Adversarial: Un conjunto de datos deliberadamente difícil de 100 imágenes organizado en torno a ocho familias de modos de fallo específicos, acompañado de un registro de procedencia y protocolos anti-fuga.
3. Análisis de Divergencia de Métricas: La identificación de una divergencia constante y crítica entre el poder de clasificación (ROC-AUC) y la calidad del punto de operación (MCC), demostrando que una fuerte discriminación de puntuación no garantiza decisiones fiables en el umbral predeterminado.
4. Reproducibilidad: Lanzamiento del marco de evaluación completo, la evidencia por imagen y los resultados agregados.

Resultados

La evaluación revela un panorama complejo donde la pertenencia al paradigma predice el rendimiento típico, pero no logra predecir la capacidad individual del modelo:

• Orden de Paradigmas: Las APIs comerciales generalmente logran el rendimiento mediano más fuerte, seguidas por los Vision LLMs, con la pista de código abierto quedando al final en rendimiento mediano.
• Excepciones: Modelos individuales de código abierto pueden superar a los mejores Vision LLMs en puro poder de clasificación. Específicamente, el modelo de código abierto DRCT logró un ROC-AUC de 0.866, superando a todos los Vision LLMs (el mejor siendo Claude Opus 4.8 con 0.791).
• La "Trampa de la Precisión": Varios modelos lograron puntuaciones de precisión o F1 engañosamente altas al predeterminarse a la clase mayoritaria ("falso"). Por ejemplo, zai_glm52 (Vision LLM) obtuvo un 71% de precisión y 0.83 de F1, pero tuvo un 0% de especificidad y un MCC negativo (-0.152), indicando que marcó todas las imágenes reales como falsas.
• El Hallazgo de la Divergencia: El hallazgo empírico central del artículo es la desconexión entre ROC-AUC y MCC:
  • TruthScan (Comercial): Logró el ROC-AUC más alto (0.915) pero el peor MCC entre las APIs comerciales (-0.130) porque su umbral predeterminado marcó casi todas las imágenes como falsas.
  • Neural Defend (Comercial): Logró el MCC más alto (0.876) pero un ROC-AUC cercano al azar (0.516), indicando una excelente calibración de decisión a pesar de una débil separación de puntuación subyacente.
  • Implicación: Un modelo puede ser un excelente clasificador (alto AUC) pero un mal tomador de decisiones (bajo MCC) en su umbral de entrega, y viceversa.

Significancia y Reivindicaciones

El artículo afirma que VendorBench-100 cambia fundamentalmente el enfoque de la evaluación, pasando de los rankings aislados en tablas de clasificación a una comprensión más matizada del comportamiento de los detectores.

• El Desacuerdo de Métricas es Central: La divergencia entre la capacidad de clasificación y la calidad del punto de operación se presenta como un hallazgo más significativo que el rango de cualquier modelo individual. Demuestra que reportar solo una métrica (por ejemplo, AUC o Precisión) puede caracterizar sistemáticamente de forma errónea la utilidad real de un modelo.
• Guía Práctica: Para los profesionales, el benchmark sugiere que las decisiones de adquisición deben ponderar tanto el MCC como el ROC-AUC. Confiar en una sola métrica puede llevar a desplegar un modelo que es o bien poco fiable (alto AUC, bajo MCC) o bien conservador hasta la inutilidad (bajo AUC, alta especificidad pero bajo recall).
• Matiz de Paradigma: Aunque las APIs comerciales lideran en promedio, el estudio refuta la noción de que los detectores de código abierto sean universalmente inferiores, mostrando que los métodos académicos cuidadosamente diseñados (como DRCT) siguen siendo competitivos con los modelos fundacionales de propósito general.
• Limitaciones: Los autores declaran explícitamente que los resultados son señales diagnósticas de un único y pequeño corpus adversarial (100 imágenes). No pretenden que estos resultados representen estimaciones de precisión a nivel de población o que se haya realizado una prueba de significancia estadística a través de las 630 posibles comparaciones por pares. El corpus está destinado a ser una prueba de estrés para sacar a la luz modos de fallo en lugar de un benchmark poblacional.

En conclusión, el artículo argumenta que el campo debe avanzar hacia evaluaciones unificadas, reproducibles y multimétricas que prioricen las comparaciones justas entre paradigmas por encima de los puntajes aislados de las tablas de clasificación.