Detecting AI-Generated Videos with Spiking Neural Networks

Resumo Técnico: Detecção de Vídeos Gerados por IA com Redes Neurais de Espigamento (MAST)

Definição do Problema
Os vídeos gerados por IA modernos alcançaram o fotorrealismo ao nível de quadro único, tornando a detecção de artefatos estáticos ineficaz. A principal distinção entre vídeos reais e sintéticos agora reside na dinâmica temporal inter-frames. Os detectores existentes normalmente abordam isso alimentando sequências completas em backbones temporais, reduzindo pistas a descritores fixos de nível de vídeo ou comparando estatísticas temporais contra bases de referência de vídeos reais. No entanto, essas estratégias sofrem uma degradação significativa de desempenho sob avaliação de múltiplos geradores (cross-generator), onde o tipo e a escala de tempo dos artefatos temporais variam amplamente entre diferentes modelos generativos. O desafio central é detectar inconsistências temporais que são esparsas, assíncronas e localizadas, sem colapsar evidências variantes no tempo em resumos estáticos que perdem informações dinâmicas críticas.

Metodologia: MAST
Os autores propõem o MAST (Multi-channel pseudo-event SNN with Adaptive Spiking Temporal integrators), um detector que utiliza Redes Neurais de Espigamento (SNNs) para processar resíduos temporais como sinais do tipo evento. A arquitetura consiste em dois ramos complementares:

1. Ramo Temporal Impulsionado por Espigamentos (SDTB):

   • Geração de Pseudo-Eventos: Em vez de processar quadros RGB brutos, o modelo converte diferenças inter-frames em "pseudo-eventos". Ele computa quatro canais de resíduos ao nível de pixel: Laplacian de alta frequência, magnitude de borda Sobel, diferença absoluta de quadros e diferença de quadros de segunda ordem. Estes são transformados em eventos binários suaves usando uma função de limiar diferenciável.
   • Integração Temporal Adaptativa: Os pseudo-eventos são alimentados em um módulo Leaky Integrate-and-Fire (LIF) por Canal. Diferente das SNNs padrão com constantes de tempo fixas, o MAST emprega constantes de tempo ($\tau_c$) aprendíveis e limiares de disparo ($V_{th,c}$) para cada canal. Isso permite que a rede integre adaptativamente sinais em diferentes escalas temporais específicas para cada tipo de resíduo.
   • Atenção Impulsionada por Espigamentos: Os espigamentos integrados são processados por um Transformer de Espigamento (baseado em SDT-V3) usando autoatenção baseada em espigamentos para capturar dependências temporais de longo alcance e gerar mapas de portão espacial.

2. Ramo de Trajetória Semântica:

   • Este ramo utiliza um codificador X-CLIP congelado para extrair características semânticas. Ele fornece duas entradas principais:
     • Um embedding de vídeo de nível global ($Z_{video}$) para priors semânticos.
     • Uma sequência de tokens de patch usada para computar a curvatura da trajetória e o deslocamento no espaço de características semânticas.
   • Os autores observam que vídeos gerados por IA exibem trajetórias mais compactas e menos curvas no espaço semântico em comparação com vídeos reais.

3. Fusão e Treinamento:

   • A representação final concatena a característica semântica de nível de vídeo, o vetor de anomalia temporal (derivado dos mapas de portão do SDTB) e o vetor de portão espacial.
   • O treinamento utiliza uma perda multiobjetivo: entropia cruzada binária sobre a predição fundida, uma entropia cruzada auxiliar sobre a predição apenas do SDTB (para garantir que o ramo temporal seja autossuficiente) e aprendizagem contrastiva supervisionada para separar clusters de reais e falsos no espaço de características.

Principais Descobertas e Observações
Antes de propor o MAST, os autores realizaram uma análise pareada no conjunto de dados GenVidBench, revelando duas assinaturas distintas de vídeos gerados por IA:

• Nível de Pixel: Vídeos gerados exibem resíduos temporais mais suaves e de acumulação tardia. Quando alimentados em uma SNN, clipes falsos provocam disparos predominantemente em bordas de objetos e movimento, enquanto clipes reais produzem ativações mais difusas.
• Nível Semântico: As trajetórias de vídeos gerados no espaço de características ocupam regiões menores e menos curvas em comparação com vídeos naturais.
• Adequação da SNN: Os autores argumentam que as SNNs são um ajuste natural para esta tarefa porque sua dinâmica de ativação esparsa e impulsionada por eventos alinha-se com a estrutura dos resíduos inter-frames, que são esparsos e concentrados em momentos de mudança.

Resultados Experimentais

• Generalização entre Geradores (Cross-Generator): No benchmark GenVideo, o MAST foi treinado em clipes do Kinetics-400 e Pika e testado em 10 geradores não vistos (incluindo ModelScope, MorphStudio, MoonValley, HotShot, Show1, Gen2, Crafter, Lavie, Sora e WildScrape). O MAST alcançou uma acurácia média de 93,14%, superando o segundo melhor baseline (NSG-VD com 91,46%) e ocupando o primeiro lugar em 5 dos 10 geradores não vistos.
• Comparação com Backbone Correspondente: No benchmark IvyFake, quando comparado com detectores que utilizam o mesmo backbone semântico X-CLIP, mas diferentes módulos temporais (DeMamba baseado em Mamba, D3 baseado em RAFT), o MAST alcançou 85,91% de mACC, superando as alternativas baseadas em ANN.
• Eficiência: Em uma comparação de parâmetros equivalentes (9,3M de parâmetros para SNN vs. 10,7M para ANN), o MAST alcançou maior acurácia (93,14% vs. 92,78%) com 1,6x menor latência (33,88ms vs. 54,19ms).
• Ablação: Remover os canais de pseudo-eventos ou as constantes de tempo aprendíveis resultou em quedas significativas de desempenho, validando a necessidade tanto da formulação de evento quanto da integração adaptativa.

Significância e Alegações
O artigo afirma apresentar o primeiro detector baseado em SNN projetado especificamente para detecção de vídeo gerado por IA. Sua significância reside em demonstrar que:

1. SNNs são práticas para detecção de AIGV: Ao tratar resíduos inter-frames como pseudo-eventos, as SNNs podem igualar ou superar o desempenho de backbones densos de ANN, oferecendo maior eficiência energética e menor latência.
2. Estrutura Temporal é a Chave: Uma detecção eficaz requer preservar a estrutura variante no tempo dos resíduos, em vez de colapsá-los em descritores fixos.
3. Integração Adaptativa: Diferentes pistas temporais operam em diferentes escalas de tempo, necessitando de constantes de integração aprendíveis e específicas por canal, em vez de uma única constante de tempo global.

Os autores mantêm um tom modesto em relação às limitações, observando que o desempenho do MAST degrada-se em clipes muito curtos onde os sinais temporais são fracos, e que aplicar SNNs diretamente em domínios RGB densos permanece menos eficaz do que as ANNs, uma lacuna que deixam para trabalhos futuros.