Detecting AI-Generated Videos with Spiking Neural Networks

Resumen Técnico: Detección de Vídeos Generados por IA con Redes Neuronales de Impulsos (MAST)

Planteamiento del Problema
Los vídeos generados por IA modernos han alcanzado el fotorrealismo a nivel de fotograma individual, lo que hace que la detección de artefactos estáticos sea ineficaz. La distinción principal entre un vídeo real y uno sintético reside ahora en la dinámica temporal inter-fotogramas. Los detectores existentes suelen abordar esto alimentando secuencias completas a arquitecturas (backbones) temporales, reduciendo las pistas a descriptores fijos a nivel de vídeo, o comparando estadísticas temporales contra líneas base de vídeos reales. Sin embargo, estas estrategias sufren una degradación significativa del rendimiento bajo la evaluación de generadores cruzados (cross-generator evaluation), donde el tipo y la escala temporal de los artefactos temporales varían ampliamente entre diferentes modelos generativos. El desafío central es detectar inconsistencias temporales que son dispersas, asíncronas y localizadas, sin colapsar la evidencia variable en el tiempo en resúmenes estáticos que pierdan información dinámica crítica.

Metodología: MAST
Los autores proponen MAST (SNN de pseudo-eventos multicanal con integradores temporales de impulsos adaptativos), un detector que aprovecha las Redes Neuronales de Impulsos (SNNs) para procesar los residuales temporales como señales de tipo evento. La arquitectura consta de dos ramas complementarias:

1. Rama Temporal Impulsada por Impulsos (SDTB):

   • Generación de Pseudo-eventos: En lugar de procesar fotogramas RGB brutos, el modelo convierte las diferencias inter-fotogramas en "pseudo-eventos". Calcula cuatro canales de residuales a nivel de píxel: Laplaciano de alta frecuencia, magnitud de borde de Sobel, diferencia absoluta de fotogramas y diferencia de segundo orden de fotogramas. Estos se transforman en eventos binarios suaves mediante una función de umbral diferenciable.
   • Integración Temporal Adaptativa: Los pseudo-eventos se introducen en un módulo Leaky Integrate-and-Fire (LIF) por canal. A diferencia de las SNN estándar con constantes de tiempo fijas, MAST emplea constantes de tiempo ($\tau_c$) aprendibles y umbrales de disparo ($V_{th,c}$) para cada canal. Esto permite que la red integre adaptativamente las señales en diferentes escalas temporales específicas para cada tipo de residual.
   • Atención Impulsada por Impulsos: Los impulsos integrados son procesados por un Transformer de Impulsos (basado en SDT-V3) utilizando auto-atención basada en impulsos para capturar dependencias temporales de largo alcance y generar mapas de puertas espaciales.

2. Rama de Trayectoria Semántica:

   • Esta rama utiliza un codificador X-CLIP congelado para extraer características semánticas. Proporciona dos entradas clave:
     • Un embedding global a nivel de vídeo ($Z_{video}$) para prioridades semánticas.
     • Una secuencia de tokens de parches utilizados para computar la curvatura de la trayectoria y el desplazamiento en el espacio de características semánticas.
   • Los autores observan que los vídeos generados por IA exhiben trayectorias más compactas y menos curvas en el espacio semántico en comparación con los vídeos reales.

3. Fusión y Entrenamiento:

   • La representación final concatena la característica semántica a nivel de vídeo, el vector de anomalía temporal (derivado de los mapas de puertas de la SDTB) y el vector de puerta espacial.
   • El entrenamiento emplea una pérdida multiobjetivo: entropía cruzada binaria sobre la predicción fusionada, una entropía cruzada auxiliar sobre la predicción de solo la SDTB (para asegurar que la rama temporal sea autosuficiente) y aprendizaje contrastivo supervisado para separar los cúmulos de reales y falsos en el espacio de características.

Hallazgos y Observaciones Clave
Antes de proponer MAST, los autores realizaron un análisis pareado en el conjunto de datos GenVidBench, revelando dos firmas distintas de los vídeos generados por IA:

• Nivel de Píxel: Los vídeos generados exhiben residuales temporales más suaves y de acumulación tardía. Al ser introducidos en una SNN, los clips falsos provocan disparos predominantemente en los límites de objetos y movimiento, mientras que los clips reales producen activaciones más difusas.
• Nivel Semántico: Las trayectorias de los vídeos generados ocupan regiones más pequeñas y menos curvas en el espacio de características en comparación con los vídeos naturales.
• Idoneidad de las SNN: Los autores argumentan que las SNN son una opción natural para esta tarea porque su dinámica de activación dispersa y dirigida por eventos se alinea con la estructura de los residuales inter-fotogramas, los cuales son dispersos y se concentran en los momentos de cambio.

Resultados Experimentales

• Generalización de Generador Cruzado: En el benchmark GenVideo, MAST fue entrenado en clips de Kinetics-400 y Pika y probado en 10 generadores no vistos (incluyendo ModelScope, MorphStudio, MoonValley, HotShot, Show1, Gen2, Crafter, Lavie, Sora y WildScrape). MAST logró una precisión media del 93.14%, superando al segundo mejor baseline (NSG-VD con 91.46%) y ocupando el primer lugar en 5 de los 10 generadores no vistos.
• Comparación con el mismo Backbone: En el benchmark IvyFake, al compararse con detectores que utilizan el mismo backbone semántico X-CLIP pero diferentes módulos temporales (DeMamba basado en Mamba, D3 basado en RAFT), MAST alcanzó un 85.91% de mACC, superando a las alternativas basadas en ANN.
• Eficiencia: En una comparación de parámetros equivalentes (9.3M de parámetros para SNN frente a 10.7M para ANN), MAST logró una mayor precisión (93.14% vs. 92.78%) con una latencia 1.6 veces menor (33.88ms vs. 54.19ms).
• Ablación: Eliminar los canales de pseudo-eventos o las constantes de tiempo aprendibles resultó en caídas significativas de rendimiento, validando la necesidad tanto de la formulación de eventos como de la integración adaptativa.

Significancia y Reivindicaciones
El artículo afirma presentar el primer detector basado en SNN diseñado específicamente para la detección de vídeo generado por IA. Su significancia radica en demostrar que:

1. Las SNN son prácticas para la detección de AIGV: Al tratar los residuales inter-fotogramas como pseudo-eventos, las SNN pueden igualar o superar el rendimiento de los backbones densos de ANN, ofreciendo al mismo tiempo una mayor eficiencia energética y menor latencia.
2. La Estructura Temporal es Clave: Una detección efectiva requiere preservar la estructura variable en el tiempo de los residuales en lugar de colapsarlos en descriptores fijos.
3. Integración Adaptativa: Diferentes pistas temporales operan en diferentes escalas de tiempo, lo que requiere constantes de integración aprendibles y específicas por canal en lugar de una única constante de tiempo global.

Los autores mantienen un tono modesto respecto a las limitaciones, señalando que el rendimiento de MAST disminuye en clips muy cortos donde las señales temporales son débiles, y que aplicar SNN directamente a dominios RGB densos sigue siendo menos efectivo que las ANN, una brecha que dejan para trabajos futuros.