Resumen Técnico: Auditoría de la Generalización en la Detección de Vídeo Generado por IA

1. Planteamiento del Problema

Los benchmarks actuales para la detección de vídeo generado por IA (AIGV), como GenVidBench y AIGVDBench, sirven como tablas de clasificación de facto pero a menudo no miden lo que pretenden medir. El artículo identifica que las métricas de generalización reportadas (por ejemplo, el Área Bajo la Curva, AUC) están frecuentemente infladas por confundidores no controlados—propiedades incidentales de los datos como la longitud del clip, la configuración del códec o la identidad del conjunto de datos—en lugar de una detección genuina de artefactos de generación.

Los autores demuestran la gravedad de este problema con una prueba de existencia: un clasificador trivial que utiliza únicamente tres características de longitud de clip logra un AUC de Leave-One-Generator-Out (LOGO) de 0.998 en GenVidBench bajo una evaluación no auditada. Este clasificador no detecta nada sobre el movimiento o el contenido, pero parece indistinguible de los detectores de última generación. Una encuesta de 20 artículos de detección recientes (2024–2026) revela que ninguno aplica un conjunto exhaustivo de controles para descartar estos confundidores, lo que conduce a puntuaciones no normalizadas e incomparables entre diferentes protocolos de evaluación.

2. Metodología: El Protocolo de Auditoría de Seis Controles

Para abordar estos problemas, los autores proponen un protocolo de evaluación auditado unificado que consta de seis controles estándar (C1–C6) aplicados uniformemente a todos los detectores evaluados. Este protocolo asegura que los AUC reportados reflejen capacidades de detección en lugar de artefactos de los datos.

Los seis controles son:

1. C1 (Recodificación Canónica): Todas las entradas se recodifican a través de un único pipeline H.264 fijo antes de la extracción de características para eliminar huellas digitales del lado del códec.
2. C2 (Auditoría de Fuga): Se ajusta un baseline trivial (por ejemplo, un clasificador usando conteos de frames brutos) en el pipeline no controlado para medir el límite superior de la fuga. La evaluación aplica entonces un filtro (manteniendo un número fijo de no-I-frames, $K=12$) para igualar la longitud del clip y eliminar el confundidor de conteo de frames explotado por el baseline.
3. C3 (Sonda de Coherencia Real-vs-Real): Se entrena un clasificador para distinguir entre dos fuentes de vídeo del mundo real. El AUC resultante establece un "suelo de identidad del dataset", que representa la contribución de sesgo del propio conjunto de datos. Un detector válido debe desempeñarse significativamente mejor que este suelo.
4. C4 (Reentrenamiento de Harness Emparejado): Todos los detectores comparados se reajustan utilizando el mismo readout (una regresión logística regularizada en L2), la misma división de datos (80/20) y el mismo protocolo LOGO en un subconjunto emparejado de 27,000 clips. Esto elimina las diferencias causadas por variaciones en las cabezas de entrenamiento o hiperparámetros.
5. C5 (Estabilidad de Multi-Semilla y CI de Bootstrap): Todas las métricas principales se reportan con verificaciones de estabilidad de multi-semilla e intervalos de confianza de bootstrap (5 semillas, $B=1000$) para asegurar la robustez estadística.
6. C6 (Validación de Cross-Dataset): La auditoría se vuelve a ejecutar en un benchmark separado e independientemente curado (AIGVDBench) para verificar la generalización más allá del elenco de generadores y el pool de fuentes reales del dataset original.

3. Contribuciones Clave y Herramientas

A. El Toolkit VidAudit

Los autores lanzan VidAudit, la colección de detectores auditada y unificada más grande para esta tarea. Proporciona:

• 14 Detectores: Cubriendo familias forenses, de apariencia, movimiento, códec, fusión y modelos de lenguaje multimodales (LLM), accesibles mediante una única API de plugin.
• Capacidad de Re-puntuación: Un punto de entrada estandarizado para puntuar nuevos métodos bajo el esquema completo de la auditoría de seis controles con un solo comando.
• Metadatos: Metadatos compatibles con Croissant y una tabla de clasificación unificada.

B. TemporalSpec y XSFF

Como un "control positivo de caja blanca", los autores introducen TemporalSpec, un detector construido a partir de 13 características interpretables de vectores de movimiento (MV) de códec.

• Sustrato: Opera sobre vectores de movimiento de códec (H.264/HEVC) extraídos del bitstream, un dominio distinto de las características de apariencia profunda.
• Familia de Características:
  • Nivel 0: Estadísticas de magnitud (media, dispersión, varianza, diferencia temporal).
  • Nivel 1: Estructuras espectrales temporales (pendiente espectral, planitud, decaimiento de ACF, curtosis de aceleración) computadas sobre una red de macrobloques.
• Fusión de Características de Cross-Substrate (XSFF): Los autores fusionan el canal de códec-MV de TemporalSpec con la trayectoria de características profundas del detector ReStraV (basado en DINOv2). Esta fusión demuestra una complementariedad genuina, ya que los dos sustratos proporcionan información ortogonal que sobrevive a la auditoría.

4. Resultados Clave

Desmitificación y Certificación

La aplicación de la auditoría a detectores representativos arroja veredictos distintos:

• Colapso de Baselines Triviales: El clasificador de tres características de longitud de clip, que puntuó 0.998 sin auditar, colapsa a casi el azar (0.529) bajo el filtro C2.
• Fuga de Identidad de Dataset: Un baseline de apariencia CLIP (0.852 AUC) y una sonda de características brutas de 768-d de WaveRep (0.999 AUC) son detectados transportando la identidad del dataset. Su rendimiento cae significativamente cuando se tiene en cuenta el suelo "Real-vs-Real" (C3), revelando que gran parte de su señal proviene de distinguir fuentes de vídeo reales en lugar de detectar la generación por IA.
• Certificación: El detector forense WaveRep (LLR nativo) supera el suelo con un margen amplio, logrando un AUC OOD de LOGO de 0.996 con un puntaje Real-vs-Real (RvR) de 0.534 (cerca del azar), confirmando que mide artefactos de generación en lugar de sesgo de dataset.
• Desempeño de TemporalSpec: El detector de códec-MV propuesto logra un AUC OOD de LOGO de 0.832 con un RvR de 0.643, superando el suelo por un margen de +0.189. Opera a un bajo costo (~14 ms/clip en CPU).

Más allá del AUC: La Tupla de Métricas Auditada

El artículo argumenta que un único metraje de AUC es insuficiente para el despliegue. En una tasa de falsos positivos (FPR) desplegable de 0.1%:

• Varios métodos de alto AUC (por ejemplo, FVMD, RAFT) colapsan a una recuperación de un solo dígito (TPR $\le$ 3%).
• El orden de la tabla de clasificación cambia significativamente; por ejemplo, CLIP retiene un orden de magnitud más de recuperación que FVMD en este punto operativo a pesar de tener un menor AUC.
• Recomendación: Los autores proponen reportar una tupla auditada que consiste en: (1) AUC, (2) Margen sobre el suelo Real-vs-Real, (3) Recuperación en el punto de operación (TPR en un FPR fijo), y (4) Métricas de calibración (Brier score, ECE).

Replicación Cross-Dataset

En AIGVDBench (generadores de la era 2025), la auditoría expone la dificultad de detectar modelos más nuevos. Aunque el desempeño absoluto cae (por ejemplo, el OOD de TemporalSpec baja a 0.602), la complementariedad de la fusión XSFF persiste. La fusión de las características de códec-MV y ReStraV mejora el desempeño OOD en +1.6 puntos de AUC sobre ReStraV solo, replicando la ganancia de +1.4 puntos vista en GenVidBench.

5. Significancia y Reivindicaciones

El artículo sostiene que las prácticas de evaluación actuales en la detección de AIGV a menudo oscurecen cómo funciona la detección, lo que lleva a puntuaciones de generalización infladas. Al introducir el protocolo de auditoría de seis controles, los autores proporcionan un marco para:

1. Desmentir métodos que dependen de artefactos de datos (como la longitud del clip o la identidad del dataset).
2. Certificar métodos que genuinamente detectan artefactos de generación (como WaveRep y TemporalSpec).
3. Construir mejores detectores identificando canales de señal ortogonales (por ejemplo, fusionando el movimiento de códec con la apariencia profunda).

Los autores enfatizan que su trabajo mueve el campo desde el "rango en la tabla de clasificación" hacia "si un resultado mide lo que pretende medir". Liberan el protocolo y el toolkit como recursos de código abierto para permitir una evaluación reproducible, comparable y confiable, señalando que, si bien la auditoría cubre los confundidores conocidos, no garantiza la inmunidad contra futuras estrategias de evasión no probadas. La elección de liberar controles de evaluación en lugar de herramientas de evasión es una decisión deliberada para apoyar la seguridad de doble uso.