Hybrid CNN-ViT-BiLSTM Framework for Robust Deepfake Video Detection

Resumen Técnico: Marco Híbrido CNN-ViT-BiLSTM para la Detección Robusta de Deepfakes en Video

Planteamiento del Problema
El rápido avance de las Redes Generativas Antagónicas (GAN) y el aprendizaje profundo ha permitido la creación de videos deepfake altamente convincentes, lo que plantea amenazas significativas para la seguridad de los medios digitales, la integridad de la identidad y la confianza social. Si bien los métodos de detección existentes que utilizan Redes Neuronales Convolucionales (CNN), transformadores y análisis de secuencias temporales han mostrado resultados prometedores, a menudo sufren limitaciones críticas. Muchos enfoques dependen excesivamente de características espaciales estáticas, pasando por alto las inconsistencias temporales cruciales para detectar manipulaciones en secuencias de video completas. Además, los modelos entrenados en conjuntos de datos únicos suelen fallar al generalizar ante técnicas de manipulación o entornos operativos no vistos debido a cambios de dominio, artefactos de compresión y variaciones en la calidad del video. Los métodos de ensamble actuales frecuentemente carecen de una fusión profunda a nivel de características o no logran integrar el razonamiento espacial y temporal dentro de un flujo de trabajo modular y unificado, lo que resulta en una robustez subóptima en escenarios del mundo real.

Metodología
Para abordar estos desafíos, los autores proponen un marco de ensamble modular de extremo a extremo que unifica representaciones espaciales y temporales complementarias. La arquitectura opera a través de las siguientes etapas:

1. Preprocesamiento de Datos y Muestreo:

   • El sistema utiliza videos con recortes faciales de los conjuntos de datos DeepFake Detection (DFD) y FaceForensics++ (FF++).
   • Los fotogramas se muestrean a intervalos fijos (cada 20 fotogramas) para asegurar la cobertura temporal manteniendo la eficiencia.
   • Se extraen hasta 50 recortes faciales por video utilizando el detector RetinaFace, redimensionados a dimensiones específicas (224×224 para ResNet-50 y ViT; 299×299 para XceptionNet) y normalizados.

2. Extracción de Características Espaciales Multirrama:
   El marco emplea tres redes de base distintas para capturar diversas características espaciales:

   • ResNet-50: Extrae características espaciales jerárquicas, produciendo un vector de 2048 dimensiones mediante el promedio de características (average pooling).
   • XceptionNet: Utiliza convoluciones separables en profundidad para detectar anomalías de textura local de grano fino y artefactos de alta frecuencia, produciendo un vector de 2048 dimensiones.
   • Vision Transformer (ViT): Modela las dependencias contextuales globales y las relaciones espaciales de largo alcance utilizando mecanismos de autoatención, produciendo un vector de 768 dimensiones a partir del token [CLS].

3. Fusión a Nivel de Características:
   Las salidas de las tres redes de base se concatenan y se normalizan mediante L2 para formar un vector de características unificado de 4864 dimensiones para cada recorte facial. Esta estrategia integra los detalles de las CNN locales con el contexto global del transformador antes del modelado temporal.

4. Modelado de Secuencia Temporal:

   • Las características espaciales fusionadas se agrupan en secuencias de longitud fija de 5 recortes faciales consecutivos.
   • Una red de Memoria de Largo Corto Plazo Bidireccional (BiLSTM) procesa estas secuencias para capturar dependencias temporales tanto hacia adelante como hacia atrás, tales como irregularidades en el movimiento, patrones de parpadeo e inconsistencias entre fotogramas.
   • La BiLSTM produce una incrustación (embedding) temporal de 512 dimensiones que representa el segmento de video.

5. Clasificación:
   Las incrustaciones temporales se agregan (mediante promedio de características) para formar una representación a nivel de video, la cual se pasa a través de una capa totalmente conectada con una función de activación sigmoide para producir una clasificación binaria (Real vs. Falso). El modelo se entrena utilizando el optimizador Adam y la pérdida de entropía cruzada binaria.

Contribuciones Clave

• Arquitectura Modular Novedosa: El artículo introduce un marco unificado que integra ResNet-50, XceptionNet y ViT para un análisis espacial exhaustivo, junto con BiLSTM para el aprendizaje de dependencias temporales.
• Estrategia de Fusión a Nivel de Características: A diferencia de los métodos de ensamble previos que dependen de una fusión tardía o estática, este enfoque realiza la fusión a nivel de características antes del modelado temporal, permitiendo representaciones espacio-temporales más ricas.
• Razonamiento Temporal Explícito: La inclusión de BiLSTM mejora significativamente la robustez contra los artefactos de compresión y diversas técnicas de falsificación al modelar el movimiento y las inconsistencias temporales.
• Generalización entre Conjuntos de Datos: El marco es evaluado conjuntamente en los conjuntos de datos DFD y FF++, demostrando capacidades de generalización mejoradas a través de diferentes técnicas de manipulación y fuentes de datos.
• Escalabilidad: El diseño modular permite la integración fácil de modelos de base adicionales o módulos temporales en futuras extensiones.

Resultados Experimentales
El método propuesto fue evaluado en un conjunto de prueba combinado de los conjuntos de datos DFD y FF++ utilizando una GPU NVIDIA A100. Los resultados indican un rendimiento superior en comparación con las redes de base individuales y los métodos actuales del estado del arte (SOTA):

• Exactitud (Accuracy): 91.07%
• AUC (Área bajo la curva): 0.971
• Puntuación F1 Macro: 0.91
• Precisión Promedio: 0.9646

Los estudios de ablación confirmaron que cada componente contribuye significativamente al rendimiento final. La fusión de ResNet-50 y XceptionNet mejoró el AUC a 0.95, mientras que la adición de BiLSTM lo elevó a 0.97. La integración final de ViT alcanzó el pico de AUC de 0.971. El modelo superó a las líneas base individuales (por ejemplo, XceptionNet con 88% de AUC, ViT con 90% de AUC) y igualó o superó a varios modelos recientes de ensamble y híbridos SOTA.

Significancia y Reivindicaciones
Los autores afirman que este trabajo establece un nuevo referente para la detección práctica de deepfakes al lograr un rendimiento robusto a través de diferentes fuentes de datos y técnicas de falsificación. La significancia del marco radica en su capacidad para explotar simultáneamente pistas espaciales, semánticas y temporales, abordando las limitaciones de los métodos que se centran únicamente en características estáticas o que carecen de una integración profunda de diversas arquitecturas. El artículo postula que el ensamble espacio-temporal propuesto es particularmente efectivo en escenarios de múltiples conjuntos de datos, ofreciendo una solución más confiable para aplicaciones forenses en el mundo real. Aunque reconocen la complejidad computacional como una limitación para el despliegue en dispositivos periféricos (edge) en tiempo real, los autores enfatizan la efectividad del marco para el análisis forense escalable y su potencial como base para futuras investigaciones en explicabilidad y detección multimodal.