SynthForensics: A Multi-Generator Benchmark for Detecting Synthetic Video Deepfakes

1. El Problema

El panorama de los medios sintéticos ha cambiado irreversiblemente con la llegada de modelos de Texto a Video (T2V). A diferencia de los "deepfakes" tradicionales, que se basan en la manipulación de videos reales (cambio de identidad, reenactment de expresiones), los modelos T2V modernos generan contenido puramente sintético desde cero, alcanzando un nivel de fotorrealismo que los hace indistinguibles de la realidad para el ojo humano.

El problema central es que los benchmarks y detectores existentes (como FaceForensics++, Celeb-DF o DFDC) están diseñados para detectar artefactos de manipulación (fusiones, bordes, inconsistencias de iluminación en rostros modificados). Estos métodos son obsoletos frente a los videos generados por IA, ya que no contienen una "imagen real" base que haya sido alterada, sino que nacen sintéticos. Además, la proliferación de generadores de código abierto eficientes ha democratizado la creación de estos contenidos en hardware de consumo, haciendo urgente la necesidad de nuevos recursos de evaluación.

2. Metodología: SynthForensics

Los autores presentan SynthForensics, el primer benchmark centrado en humanos para la detección de videos sintéticos puros. Su construcción se basa en un protocolo riguroso de dos etapas:

• Fuente de Datos y Protocolo de Parejas (Paired-Source):

  • Se utilizaron 1,363 videos reales de alta calidad de los conjuntos de datos FF++ y DFD como anclaje.
  • Para cada video real, se generó un video sintético correspondiente utilizando 5 modelos T2V de código abierto con arquitecturas diversas:
    1. Wan2.1 (14B parámetros, DiT estándar).
    2. CogVideoX (5B parámetros, Transformer experto).
    3. SkyReels-V2 (14B parámetros, DiT con RL y forcing).
    4. Self-Forcing (1.3B parámetros, DiT causal eficiente para GPU de consumo).
    5. MAGI-1 (24B parámetros, enfoque autoregresivo puro).
  • Generación de Prompts Estructurados: Se empleó un Modelo de Lenguaje y Visión (VLM, VideoLLaMA 3) para extraer metadatos estructurados de 7 campos (descripción corta, densa, fondo, estilo, tipo de toma, iluminación, atmósfera) de los videos reales. Estos metadatos se adaptaron dinámicamente a la sintaxis específica de cada modelo generador para garantizar consistencia semántica.

• Validación Humana y Control de Calidad:

  • Se implementó un ciclo de validación humana en el bucle (human-in-the-loop). Cada prompt fue revisado manualmente y filtrado por un LLM para asegurar la ética y la ausencia de contenido sensible.
  • Los videos generados fueron inspeccionados por anotadores humanos para descartar artefactos graves (anatomía deformada, parpadeo temporal, falta de coherencia semántica). Solo los videos que superaron esta rigurosa validación se incluyeron en el conjunto final.

• Versatilidad del Dataset:

  • El benchmark final contiene 6,815 videos únicos (más de 9.5 horas de contenido y 550,000+ frames).
  • Cada video se proporciona en 4 versiones: Raw (sin procesar), Lossless (CRF=0), Compresión Ligera (CRF=23) y Compresión Pesada (CRF=40), para evaluar la robustez ante la compresión real.

3. Contribuciones Clave

1. Primer Benchmark Centrado en Humanos para Síntesis Pura: A diferencia de trabajos anteriores que se centran en la manipulación, SynthForensics aborda la detección de contenido "nacido sintético".
2. Protocolo de Parejas Riguroso: Al emparejar videos reales y sintéticos con la misma descripción semántica, se minimizan las variables de confusión de alto nivel, forzando a los detectores a aprender artefactos generativos de bajo nivel en lugar de correlaciones semánticas.
3. Evaluación Exhaustiva: Incluye análisis de rendimiento zero-shot, robustez ante compresión, eficacia del fine-tuning y generalización a generadores no vistos.
4. Reproducibilidad Total: Se liberará el conjunto de datos completo junto con todos los metadatos de generación (prompts exactos, semillas, parámetros de inferencia).

4. Resultados Experimentales

Los experimentos evaluaron 9 detectores de última generación (mezcla de análisis por fotograma y por video) bajo tres protocolos: Zero-shot, Fine-tuning y Entrenamiento desde cero.

• Fragilidad de los Detectores Actuales (Zero-shot):

  • Los detectores de estado del arte, que funcionan bien en deepfakes manipulados, colapsaron ante videos sintéticos puros.
  • Se observó una caída media de rendimiento del 29.19% en AUC al pasar de benchmarks tradicionales a SynthForensics.
  • Algunos métodos (como RECCE) performaron peor que el azar aleatorio (<50% AUC) en ciertos generadores.
  • La compresión pesada (CRF40) degradó aún más el rendimiento, con pérdidas de más de 30 puntos en los mejores modelos.

• Eficacia del Aprendizaje (Fine-tuning):

  • Al ajustar (fine-tune) los modelos en SynthForensics, la mayoría alcanzó un rendimiento casi perfecto (>98% AUC) en la detección de videos sintéticos.
  • Limitación Crítica (Incompatibilidad Inversa): Este aprendizaje conllevó un costo severo: la mayoría de los modelos ajustados perdieron la capacidad de detectar deepfakes tradicionales (manipulados). Por ejemplo, modelos como FTCN y ProDet cayeron a niveles cercanos al azar en FF++ tras el ajuste. Solo arquitecturas específicas (como GenConViT y DFD-FCG) mantuvieron cierta compatibilidad inversa.

• Generalización (Entrenamiento desde cero):

  • Entrenar desde cero en un subconjunto de generadores (Wan2.1, CogVideoX, SkyReels-V2) permitió una generalización fuerte hacia generadores no vistos (Self-Forcing, MAGI-1), alcanzando un 93.81% de AUC.
  • Sin embargo, la transferencia a benchmarks de manipulación tradicional siguió siendo nula, confirmando que los artefactos de manipulación y los artefactos de generación son dominios forenses fundamentalmente distintos.

5. Significado e Impacto

El trabajo de SynthForensics es fundamental porque:

• Cambia el Paradigma de Detección: Demuestra que las técnicas actuales de detección de deepfakes son insuficientes para la era de la generación sintética pura. La comunidad debe desarrollar nuevas estrategias enfocadas en las "huellas dactilares" de los generadores (artefactos de difusión, incoherencias temporales sutiles) en lugar de artefactos de edición.
• Advierte sobre la Especialización: Revela una incompatibilidad fundamental entre detectar manipulación y detectar síntesis. Un detector universal que funcione bien para ambos podría no ser posible sin arquitecturas radicalmente nuevas o enfoques de aprendizaje multitarea más sofisticados.
• Proporciona un Estándar de Oro: Al ofrecer un dataset diverso, ético y técnicamente riguroso con metadatos completos, SynthForensics establece la base necesaria para el desarrollo de la próxima generación de sistemas de defensa contra la desinformación visual.

En conclusión, SynthForensics no solo expone la vulnerabilidad actual de los sistemas forenses, sino que ofrece la herramienta necesaria para entrenar modelos capaces de proteger la autenticidad multimedia en un futuro dominado por la IA generativa.