Deepfake Detection in Social Media: A Temporal Artifact Analysis Using 3D Convolutional Neural Networks

Resumen Técnico: Detección de Deepfakes en Redes Sociales mediante Análisis de Artefactos Temporales

Planteamiento del Problema
La proliferación de videos faciales sintéticos en redes sociales ha superado la capacidad de moderación de las plataformas, escalando los riesgos de desinformación y ataques basados en la identidad. Si bien la investigación existente sobre detección ha abordado extensamente la dimensión espacial (analizando cuadros individuales), los detectores a nivel de cuadro sufren una degradación aguda del rendimiento a medida que mejora la calidad del generador. Específicamente, las salidas de GAN de alta calidad de 128×128 reducen la precisión de la detección basada únicamente en lo espacial en aproximadamente cinco puntos porcentuales. Además, la recodificación en redes sociales a menudo descarta detalles espaciales finos, pero las inconsistencias temporales —como parpadeos irregulares, microexpresiones entrecortadas y transiciones de orientación de la cabeza desalineadas— suelen sobrevivir a la compresión. Los modelos actuales se ajustan con frecuencia en exceso a las texturas espaciales específicas del generador, lo que conduce a una pobre generalización entre conjuntos de datos.

Metodología
Los autores proponen un marco de detección de deepfakes basado en Redes Neuronales Convolucionales 3D (3D CNN) para analizar artefactos temporales a través de secuencias de video en lugar de cuadros estáticos.

• Arquitectura: El modelo central utiliza una arquitectura R3D-18, preentrenada en el conjunto de datos de reconocimiento de acciones Kinetics-400. Esta estrategia de aprendizaje por transferencia aprovecha los conocimientos previos existentes del modelo sobre el movimiento humano natural para identificar mejor los patrones antinaturales en los videos manipulados.
• Procesamiento de Entrada: El sistema procesa clips de 16 cuadros extraídos de videos. El preprocesamiento incluye la detección y el seguimiento de rostros mediante cascadas de Haar para garantizar una alineación consistente, seguido de un redimensionamiento a una resolución de 128×128 y la normalización.
• Objetivo de Entrenamiento: El modelo se entrena con una función de pérdida compuesta:
  $$L = L_{BCE} + \lambda L_{tc}$$
  Donde $L_{BCE}$ es la pérdida estándar de entropía cruzada binaria, y $L_{tc}$ es un regularizador de consistencia temporal. Este regularizador penaliza las grandes variaciones en los mapas de características intermedios ($\phi_t$) entre cuadros consecutivos, incentivando al modelo a aprender características temporalmente coherentes. El peso de regularización $\lambda$ se establece en 0.1.
• Conjuntos de Datos: El entrenamiento y la evaluación principales se realizan en el conjunto de datos DeepfakeTIMIT (620 videos, 32 sujetos, intercambio de rostros basado en GAN). La generalización entre conjuntos de datos se prueba en un subconjunto de FaceForensics++ (manipulaciones DeepFakes y Face2Face) sin ajuste fino (zero-shot) y con un ajuste fino mínimo.
• Configuración Experimental: Los experimentos se realizaron utilizando PyTorch en GPUs NVIDIA RTX 3090. El entrenamiento involucró aprendizaje curricular, muestreo equilibrado y una extensa augmentación de datos (recorte, volteo, jittering temporal).

Contribuciones Clave

1. Detector Temporal con Pérdida Compuesta: Los autores presentan un detector temporal de deepfakes basado en R3D-18 que combina la entropía cruzada binaria con una penalización de consistencia de características cuadro a cuadro. Este enfoque mejora la precisión en deepfakes de alta calidad en 4.5 puntos porcentuales sobre una línea base XceptionNet a nivel de cuadro.
2. Identificación de Artefactos Discriminativos: El estudio identifica cuantitativamente las secuencias de parpadeo ocular y las transiciones de microexpresiones como los artefactos temporales más discriminativos. Estas características son difíciles de reproducir para los generadores con un tiempo y sincronización naturales.
3. Generalización entre Conjuntos de Datos: El artículo demuestra que las señales temporales se generalizan más ampliamente que las espaciales. El modelo alcanza una precisión zero-shot del 76.4% en FaceForensics++ y una precisión del 92.8% en la evaluación intra-conjunto de datos de alta calidad (128×128).
4. Análisis de Ablación: Los autores proporcionan una descomposición de las ganancias de rendimiento, mostrando que el aprendizaje por transferencia contribuye con +7.2 puntos porcentuales, el seguimiento de rostros añade +3.5 puntos y el término de consistencia temporal proporciona ganancias adicionales específicamente en falsificaciones de alta calidad.

Resultados

• Rendimiento Intra-Conjunto de Datos: En el conjunto de pruebas DeepfakeTIMIT, la 3D CNN propuesta alcanza una precisión del 94.2%, superando significativamente a la línea base XceptionNet (89.7%), CNN+LSTM (91.3%) y métodos de flujo óptico (87.6%).
• Robustez en Alta Calidad: Para deepfakes de alta calidad (128×128), el método propuesto mantiene una precisión del 92.8%, mientras que la línea base XceptionNet cae al 84.5%. La degradación del rendimiento para el método propuesto es de solo 1.4 puntos porcentuales en comparación con los 5.2 puntos de la línea base espacial.
• Transferencia entre Conjuntos de Datos: Sin ajuste fino, el modelo alcanza una precisión del 76.4% en FaceForensics++, superando a las líneas base cuadro a cuadro que alcanzan un máximo del 70.8%.
• Hallazgos de Ablación:
  • El aprendizaje por transferencia desde Kinetics-400 es crítico, proporcionando un impulso de +7.2 puntos.
  • El recorte/seguimiento de rostros mejora el rendimiento en +3.5 puntos sobre el procesamiento de cuadros completos.
  • Se encontró que una longitud de secuencia de 16 cuadros es óptima; secuencias más cortas redujeron la precisión en 2.7 puntos, mientras que secuencias más largas no ofrecieron ganancias significativas pero aumentaron el costo computacional.

Significado y Afirmaciones
El artículo afirma que los artefactos temporales se generalizan más ampliamente que los espaciales, proporcionando una señal de detección que sobrevive a la recodificación en redes sociales y a la generación de alta calidad. Al cambiar el enfoque del análisis de cuadros estáticos a la modelación espacio-temporal, el método propuesto aborda la brecha de generalización que afecta a los detectores actuales. Los autores afirman que su enfoque ofrece una solución más eficiente que los métodos recientes basados en transformadores, logrando una precisión comparable o superior con una sobrecarga computacional menor, lo que lo hace adecuado para la moderación de contenido en tiempo real. El trabajo establece que el análisis de inconsistencia temporal es un componente crucial para los sistemas de detección de deepfakes de próxima generación, particularmente para detectar manipulaciones sofisticadas que evaden los detectores basados únicamente en lo espacial.