EA-Swin: An Embedding-Agnostic Swin Transformer for AI-Generated Video Detection

O artigo apresenta o EA-Swin, um modelo baseado no Swin Transformer que detecta vídeos gerados por IA de forma independente de embeddings, alcançando alta precisão e generalização em um novo conjunto de dados abrangente, superando significativamente os métodos existentes.

O essencial

Imagine que o mundo dos vídeos está passando por uma revolução. Até pouco tempo, se alguém criasse um vídeo falso com Inteligência Artificial (IA), dava para notar: o rosto piscava de forma estranha, o cabelo parecia derretido ou o movimento era robótico. Eram como desenhos animados mal feitos.

Mas, em 2025, surgiram "super-geradores" (como o Sora 2 e o Veo 3) que criam vídeos tão realistas que parecem filmados por uma câmera de verdade. É como se a IA tivesse aprendido a pintar tão bem que ninguém consegue mais distinguir a pintura da foto real apenas olhando para ela.

Aqui entra o problema: como detectar o falso se ele parece perfeito?

A maioria dos métodos antigos tentava achar "falhas na pintura" (artefatos visuais). Mas como a IA agora pinta perfeitamente, essas falhas sumiram. É como tentar achar um erro de digitação em um livro escrito por um gênio: não há erros visíveis.

A Solução: EA-Swin (O Detetive de "Ritmo" e "Sintaxe")

Os autores deste artigo propuseram uma nova abordagem chamada EA-Swin. Em vez de olhar para a "imagem" (os pixels), eles decidiram olhar para a "alma" ou o "ritmo" do vídeo.

Vamos usar uma analogia simples:

1. A Analogia do Baile de Máscaras vs. O Ritmo da Dança

• O Método Antigo (Olhar a Máscara): Os detectores antigos olhavam para o rosto da pessoa no vídeo. Se a máscara estivesse torta ou o nariz estranho, eles diziam: "É falso!". Mas os novos geradores de IA fazem máscaras perfeitas.
• O Método Novo (EA-Swin - Ouvir a Música): O EA-Swin não se importa com o rosto. Ele escuta a música da dança.
  • Um vídeo real tem uma "dança" natural. As pessoas respiram, piscam, e o movimento do corpo segue leis da física e da biologia de forma complexa e um pouco caótica (mas real).
  • Um vídeo de IA, mesmo que visualmente perfeito, muitas vezes tem um "ritmo" interno estranho. A IA tenta prever o próximo quadro, mas ela não entende a física do movimento da mesma forma que um humano. Ela cria um movimento que é "suave demais" ou "padronizado demais".

O EA-Swin é como um DJ experiente que, ao ouvir a música, percebe que o ritmo está "falso", mesmo que os instrumentos (a imagem) soem perfeitos.

2. A Metáfora da "Pista de Dança" (O Espaço de Representação)

Os pesquisadores descobriram que, se você transformar o vídeo em dados matemáticos (chamados de embeddings), os vídeos reais e os falsos começam a se separar.

• Imagine que os vídeos reais são como um grupo de pessoas dançando em uma pista: cada um tem seu estilo, alguns tropeçam, outros giram rápido. É um caos organizado.
• Os vídeos de IA são como robôs dançando: eles seguem um padrão matemático muito rígido. Eles não "erram" da mesma forma que humanos erram.

O EA-Swin é um detector de padrões de movimento que analisa essa "dança matemática" ao longo do tempo. Ele não olha para o que está acontecendo no quadro 1, quadro 2 e quadro 3 isoladamente; ele olha para a trajetória (o caminho que a dança percorre).

O Que Eles Criaram Além do Detector?

Para treinar esse "DJ", eles precisavam de uma escola de música gigante. Eles criaram o EA-Video, um banco de dados com 130.000 vídeos.

• Eles pegaram vídeos de geradores famosos (como Sora, Kling, Pika) e vídeos reais.
• O mais importante: eles separaram os vídeos de treino dos vídeos de teste. É como treinar um aluno com músicas de jazz e depois testá-lo com músicas de rock que ele nunca ouviu. Se o aluno (o detector) ainda acertar, é porque ele aprendeu a lógica da música, não apenas a decorar as notas.

Os Resultados: Por que isso é incrível?

Os testes mostraram que o EA-Swin é muito superior aos antigos:

• Precisão: Ele acerta entre 97% e 99% das vezes em detectar vídeos falsos, mesmo os mais recentes e sofisticados.
• Generalização: Quando os pesquisadores testaram o detector em vídeos de geradores que ele nunca viu antes (como se fosse um novo estilo de música), ele continuou funcionando muito bem.
• Resistência: Mesmo se o vídeo for comprimido (como no WhatsApp ou YouTube) ou ficar um pouco borrado, o detector continua funcionando.

Resumo em uma frase

O EA-Swin é um novo tipo de detector que não tenta achar defeitos na imagem (porque a IA agora pinta perfeitamente), mas sim analisa o ritmo e a lógica do movimento ao longo do tempo, conseguindo identificar a "assinatura" da Inteligência Artificial mesmo quando ela está disfarçada de realidade.

É como se, em vez de tentar achar uma mancha na roupa de alguém, o detector percebesse que a pessoa está andando de um jeito que nenhum humano faria, mesmo que a roupa esteja impecável.

Resumo técnico

Resumo Técnico: EA-Swin

1. O Problema

O avanço rápido dos geradores de vídeo fundacionais (como Sora-2, Veo-3, Kling, Hunyuan) produziu vídeos sintéticos hiper-realistas que desafiam os métodos de detecção existentes.

• Limitações dos Métodos Atuais:
  • Baseados em Pixels: Detectores antigos dependiam de artefatos visíveis (ruído, distorções) que os modelos modernos de difusão e flow-matching eliminaram eficazmente.
  • Baseados em Trajetórias de Embedding: Métodos anteriores analisavam apenas diferenças estatísticas simples ou trajetórias temporais rasas entre embeddings de frames, falhando em capturar dependências temporais complexas.
  • MLLMs (Modelos de Linguagem Multimodal): Embora flexíveis, são computacionalmente caros e focam em raciocínio semântico em vez de modelar o processo generativo em si.
  • Falta de Dados: Benchmarks existentes estão desatualizados, cobrem poucos geradores comerciais recentes e não possuem protocolos rigorosos de "gerador não visto" (unseen-generator).

O artigo argumenta que a detecção deve migrar do espaço de pixels para o espaço de representação, onde os codificadores de vídeo pré-treinados capturam dinâmicas espaço-temporais de alto nível que os geradores sintéticos ainda têm dificuldade em reproduzir com perfeição.

2. Metodologia: EA-Swin

Os autores propõem o EA-Swin, um cabeçote de detecção espaço-temporal embedding-agnostic (agóstico a embeddings) que opera diretamente sobre representações de vídeo congeladas (frozen).

• Arquitetura Principal:

  • Entrada: O modelo não processa pixels brutos. Ele recebe embeddings de vídeo extraídos por codificadores pré-treinados (como V-JEPA2, CLIP, DINOv2).
  • Transformador Swin Fatorizado: Utiliza uma arquitetura inspirada no Swin Transformer, mas adaptada para o espaço de embeddings. Em vez de atenção conjunta massiva, ele emprega uma atenção de janela fatorizada que separa as operações espaciais e temporais:
    1. Atenção Temporal (Temporal Swin): Modela dependências temporais para cada token espacial individualmente, usando janelas deslizantes e deslocamento (shifted windows) para permitir interação entre frames.
    2. Atenção Espacial (Spatial Swin): Modela a coerência espacial dentro de cada frame, também usando janelas deslizantes.
  • Vantagens: Essa fatorização reduz drasticamente o custo computacional (evitando complexidade quadrática) enquanto mantém a capacidade de modelar dependências de longo alcance. O modelo é leve e pode ser acoplado a qualquer codificador ViT (Vision Transformer) genérico.

• Fluxo de Trabalho:

  1. Amostragem de frames do vídeo.
  2. Extração de embeddings usando um codificador congelado (ex: V-JEPA2).
  3. Processamento pelos blocos temporais e espaciais do EA-Swin.
  4. Pooling adaptativo e classificação final (Real vs. AI) via uma MLP leve.

3. Contribuições Chave

1. EA-Swin (Modelo):

   • Um novo paradigma que desvincula a detecção do processamento de pixels, focando na modelagem da evolução dinâmica das representações pré-treinadas.
   • Alta eficiência computacional e compatibilidade com diversos codificadores de base.

2. Dataset EA-Video:

   • Um benchmark massivo de 130.000 vídeos (aprox. 65k sintéticos e 62k reais).
   • Diversidade: Inclui geradores comerciais de ponta (Sora-2, Veo-3, Kling-2, Hunyuan) e open-source (CogVideoX, Wan, etc.).
   • Protocolo Rigoroso: Divide os dados em conjuntos de treinamento/validação e teste com geradores não vistos (unseen generators), forçando o modelo a generalizar para arquiteturas nunca encontradas durante o treinamento.

3. Análise de Trajetória de Embedding:

   • Demonstra visualmente (via t-SNE) que, embora vídeos reais e sintéticos se sobreponham nos frames iniciais, suas trajetórias temporais no espaço de embedding divergem significativamente, com vídeos sintéticos mostrando padrões mais concentrados e menos dinâmicos.

4. Resultados Experimentais

Os experimentos foram conduzidos no EA-Video, comparando o EA-Swin com o estado da arte (SoTA) atual (DeMamba, ResTraV, Forgelens, WaveRep, etc.).

• Desempenho em Geradores Vistos (Seen):

  • O EA-Swin alcançou uma acurácia média de 0.9866 e AUC de 0.9991.
  • Superou consistentemente os métodos anteriores, que variavam entre 0.80 e 0.95 de acurácia.
  • O método anterior mais forte (DeMamba) atingiu ~0.95 de acurácia, enquanto o EA-Swin manteve performance quase perfeita.

• Generalização para Geradores Não Vistos (Unseen):

  • Este é o diferencial crítico. Muitos métodos colapsaram em geradores novos (ex: WaveRep caiu para ~0.50 em alguns casos).
  • O EA-Swin manteve uma acurácia média de 0.974 e AUC de 0.997 em geradores totalmente novos (como Gen4, PixVerse, SkyReels), demonstrando robustez superior e capacidade de capturar artefatos de geração transferíveis.

• Robustez:

  • O modelo manteve alta performance mesmo sob condições adversas como compressão H.264, ruído gaussiano e desfoque, comuns em vídeos de redes sociais.
  • Funcionou bem mesmo com redução no número de frames de entrada (de 16 para 4 ou 2 frames), embora com queda moderada.

• Ablação de Codificadores:

  • O V-JEPA2 mostrou-se o codificador de base superior, superando CLIP, DINOv2 e DINOv3, reforçando a importância de representações auto-supervisionadas focadas em vídeo para esta tarefa.

5. Significado e Conclusão

O trabalho estabelece que a detecção de vídeos gerados por IA deve evoluir de uma análise baseada em artefatos visuais (pixels) para uma análise baseada em representações dinâmicas.

• Impacto: O EA-Swin oferece uma solução escalável e robusta para o cenário atual de IA generativa, onde a qualidade visual dos vídeos sintéticos se aproxima indistingüivelmente da realidade.
• Legado: A combinação do novo modelo leve e eficiente com o dataset EA-Video fornece uma base fundamental para pesquisas futuras, permitindo que a comunidade avalie a generalização de detectores em um cenário de "geradores não vistos", que é o verdadeiro teste de robustez para a segurança de mídias sintéticas.

Em resumo, o EA-Swin demonstra que modelar a coerência espaço-temporal no espaço de embeddings é a chave para detectar a próxima geração de vídeos sintéticos, superando as limitações de abordagens anteriores que dependiam de pixels ou de modelos massivos e lentos.