EA-Swin: An Embedding-Agnostic Swin Transformer for AI-Generated Video Detection

Cet article présente EA-Swin, un transformateur Swin agnostique aux embeddings capable de détecter les vidéos générées par l'IA avec une précision exceptionnelle (97-99 %) et une forte généralisation, grâce à une architecture innovante et à un nouveau jeu de données de référence de 130 000 vidéos.

L'essentiel

🎬 Le Dilemme : La Vidéo "Too Good to Be True"

Imaginez que vous regardez une vidéo sur Internet. C'est un chat qui joue du piano, ou un politicien qui fait un discours incroyable. La qualité est parfaite, le mouvement est fluide, la lumière est belle. Est-ce réel ? Est-ce une invention d'une intelligence artificielle (IA) ?

Aujourd'hui, des IA comme Sora ou Veo sont devenues si douées qu'elles créent des vidéos qui trompent même nos yeux. C'est comme si un faussaire avait appris à peindre des tableaux si réalistes que vous ne pouvez plus distinguer la vraie toile de la copie.

Le problème, c'est que les méthodes actuelles pour repérer ces fausses vidéos sont comme des détecteurs de métaux des années 90 : elles cherchent des "artefacts" visibles (des pixels bizarres, des ombres étranges). Mais les nouvelles IA sont si intelligentes qu'elles effacent ces erreurs. C'est comme chercher une aiguille dans une botte de foin, sauf que l'aiguille a appris à se cacher.

🕵️‍♂️ La Solution : EA-Swin (Le Détective des "Ombres" Invisibles)

Les auteurs de cet article, une équipe de chercheurs vietnamiens et internationaux, ont créé un nouveau détecteur appelé EA-Swin.

Au lieu de regarder la vidéo "à l'œil nu" (les pixels), EA-Swin regarde comment la vidéo "pense".

L'Analogie de la Danse

Imaginez que vous devez distinguer un danseur professionnel d'un robot qui imite la danse.

• L'ancienne méthode (Regarder les pixels) : Elle regarde si les chaussures du danseur sont bien attachées ou si ses cheveux bougent naturellement. Si le robot est parfait, cette méthode échoue.
• La méthode EA-Swin (Regarder la trajectoire) : Elle ne regarde pas les chaussures. Elle observe la trajectoire des mouvements.
  • Un vrai humain a des micro-mouvements, des hésitations, une fluidité organique qui suit des lois physiques complexes.
  • Une IA, même très avancée, a tendance à "lisser" trop les mouvements. Ses trajectoires sont trop parfaites, trop lisses, comme une patineuse sur une glace parfaitement polie.

EA-Swin est un détective qui ne regarde pas le visage du danseur, mais qui trace le chemin invisible que ses mouvements dessinent dans l'espace et le temps.

🛠️ Comment ça marche ? (En termes simples)

1. Le Traducteur (L'Encodeur) : D'abord, le système utilise un "traducteur" (un encodeur vidéo pré-entraîné) qui regarde la vidéo et la transforme en une série de concepts abstraits (des "empreintes digitales" numériques), au lieu de garder les images brutes. C'est comme si on transformait une chanson en une partition musicale pour analyser la structure, plutôt que d'écouter juste le son.
2. Le Détective (EA-Swin) : Ensuite, EA-Swin analyse ces empreintes. Il utilise une technique appelée Transformeur Swin.
   • Imaginez que vous regardez une vidéo en la découpant en petits carrés (des fenêtres).
   • EA-Swin regarde comment ces carrés bougent les uns par rapport aux autres, dans le temps et dans l'espace.
   • Il cherche des incohérences dans la "danse" des données. Même si l'image est parfaite, la façon dont les données évoluent d'une seconde à l'autre trahit souvent la présence d'une IA.

📚 Le Nouveau Terrain de Jeu : EA-Video

Pour entraîner ce détective, les chercheurs ont eu besoin d'un immense terrain d'entraînement. Ils ont créé EA-Video, une base de données géante contenant 130 000 vidéos.

• C'est un mélange de vidéos réelles (prises de la vie quotidienne, jeux vidéo, documentaires).
• Et de vidéos générées par des dizaines d'IA différentes (les plus récentes comme Sora 2, Veo 3, Kling, etc.).

Le plus important ? Ils ont inclus des IA que le détective n'avait jamais vues pendant son entraînement. C'est comme entraîner un garde du corps avec des voleurs connus, puis le tester contre un voleur qu'il n'a jamais rencontré. Résultat ? EA-Swin a réussi à repérer les nouveaux voleurs avec une précision incroyable (plus de 97 %).

🏆 Pourquoi c'est une révolution ?

Jusqu'à présent, les meilleurs détecteurs avaient une précision de 80 à 90 %. Avec les nouvelles IA, ils tombaient souvent à 50 % (comme un lancer de pièce).

EA-Swin, lui, atteint 97 à 99 % de précision, même face aux IA les plus récentes.

• Il est rapide : Il ne nécessite pas de super-ordinateurs colossaux pour chaque vidéo.
• Il est robuste : Il résiste aux vidéos compressées (comme sur TikTok ou YouTube) ou floues.
• Il est généraliste : Il ne se contente pas de mémoriser les défauts d'une IA spécifique, il comprend le "style" de la fausseté.

En Résumé

Imaginez que les fausses vidéos sont des contrefaçons de billets de banque.

• Les anciennes méthodes cherchaient les fausses couleurs ou les mauvais filigranes.
• Les faussaires (les IA) ont appris à copier parfaitement ces détails.
• EA-Swin, lui, ne regarde pas le papier. Il analyse la texture de la fibre et la manière dont l'encre s'est déposée au niveau microscopique. Il détecte la "signature" invisible de la machine qui a fabriqué le billet, même si le billet ressemble à s'y méprendre à l'original.

C'est une avancée majeure pour protéger la vérité dans un monde où tout peut être fabriqué.

Résumé technique

1. Problématique et Contexte

L'avancée rapide des générateurs de vidéos fondationnels (tels que Sora-2, Veo-3, Kling, Hunyuan, etc.) a rendu la distinction entre les vidéos réelles et synthétiques extrêmement difficile.

• Limites des méthodes actuelles : Les approches existantes souffrent de plusieurs faiblesses majeures :
  • Détection basée sur les pixels : Les modèles modernes minimisent efficacement les artefacts au niveau des pixels, rendant les indices visuels directs obsolètes.
  • Trajectoires d'embeddings simplistes : Les méthodes précédentes se basent souvent sur des statistiques de premier ordre (différences simples) ou des trajectoires d'embeddings peu profondes, qui ne parviennent pas à capturer les dépendances temporelles complexes.
  • Coût computationnel : Les méthodes basées sur les MLLM (Modèles de Langage Multimodaux) sont trop lourdes pour un déploiement à grande échelle.
  • Manque de généralisation : Les benchmarks existants sont souvent obsolètes, ne couvrant pas les générateurs commerciaux récents ou les modèles inconnus.

L'objectif est de développer une méthode robuste, évolutive et capable de détecter des vidéos générées par des modèles jamais vus auparavant, en passant de l'analyse de l'espace pixel à l'analyse de l'espace de représentation.

2. Méthodologie : EA-Swin

Les auteurs proposent EA-Swin, un cadre de détection spatio-temporel agnostique aux embeddings.

A. Approche par Espace de Représentation

Au lieu de traiter les pixels bruts, EA-Swin opère directement sur les embeddings vidéo pré-entraînés (froids) extraits par des encodeurs de base (comme V-JEPA2).

• Hypothèse clé : Bien que les vidéos générées soient visuellement réalistes, elles échouent à reproduire la cohérence temporelle et la dynamique de représentation des vidéos réelles.
• Analyse t-SNE : La visualisation montre que les trajectoires temporelles des embeddings des vidéos réelles sont diversifiées et irrégulières, tandis que celles des vidéos IA tendent vers des régions plus concentrées avec des transitions plus lisses et contraintes.

B. Architecture du Modèle

EA-Swin est une tête de détection légère basée sur une architecture Transformeur de type Swin, mais factorisée pour l'espace des embeddings :

1. Entrée : Des embeddings vidéo figés (ex: 16 tokens par vidéo extraits de V-JEPA2).
2. Attention Factorisée Spatio-Temporelle :
   • Contrairement aux Transformers vidéo classiques (comme Video Swin) qui traitent des fenêtres jointes complexes, EA-Swin alterne entre l'attention temporelle et l'attention spatiale.
   • Mécanisme de décalage de fenêtre (Window Shifting) : Inspiré de Swin Transformer, ce mécanisme permet des interactions entre les fenêtres adjacentes (dans le temps et l'espace) sans augmenter la complexité quadratique.
   • Cela permet de modéliser les dynamiques temporelles et la cohérence spatiale des trajectoires d'embeddings de manière efficace.
3. Agnosticisme : Le modèle est conçu pour être compatible avec n'importe quel encodeur de type ViT (Vision Transformer), ne nécessitant pas de réapprentissage des caractéristiques visuelles de bas niveau.

3. Contributions Clés

1. EA-Swin : Un nouveau cadre de détection qui déplace le paradigme de l'espace pixel vers l'espace de représentation, utilisant une attention spatio-temporelle factorisée pour capturer les artefacts de génération inhérents aux dynamiques temporelles.
2. Dataset EA-Video : Construction d'un benchmark massif de 130 000 vidéos (environ 65k IA et 62k réelles).
   • Diversité : Intègre des générateurs commerciaux (Sora-2, Veo-3, Kling) et open-source.
   • Protocole Rigoureux : Mise en place d'un protocole « Unseen-Generator » (Générateur Inconnu) où les modèles sont entraînés sur un ensemble de générateurs et testés sur d'autres jamais vus, garantissant une évaluation de la généralisation hors distribution.
3. Performance Supérieure : Démonstration expérimentale que la modélisation des trajectoires de représentation est une solution robuste pour la détection moderne.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset EA-Video en comparant EA-Swin avec des méthodes de l'état de l'art (SoTA) comme DeMamba, ResTraV, WaveRep, Forgelens, etc.

• Sur les générateurs vus (Seen Generators) :

  • EA-Swin atteint une précision (Accuracy) moyenne de 0,9866 et un AUC de 0,9991.
  • Il surpasse les meilleures méthodes existantes (DeMamba à ~0,95, Forgelens à ~0,97) avec une marge significative.
  • Les méthodes basées sur des statistiques simples (D3) échouent totalement (~0,51, proche du hasard).

• Sur les générateurs inconnus (Unseen Generators) - Généralisation :

  • C'est ici que la robustesse d'EA-Swin brille. Il maintient une précision moyenne de 0,974 et un AUC de 0,997 sur des modèles totalement nouveaux (Gen4, PixVerse, SkyReels, etc.).
  • Les méthodes concurrentes subissent une dégradation sévère (ex: WaveRep chute à ~0,50 sur certains modèles, TALL devient instable).
  • EA-Swin démontre qu'il apprend des artefacts de génération transférables plutôt que de sur-apprendre des spécificités d'un générateur donné.

• Robustesse aux perturbations :

  • Le modèle reste performant face au flou, au bruit gaussien et à la compression vidéo (H.264), avec une chute de performance modérée, confirmant sa résilience aux artefacts de transmission réels.

• Ablation Study :

  • L'utilisation de V-JEPA2 comme encodeur de base s'avère supérieure à CLIP, DINOv2/v3 ou ConvNeXt, soulignant l'importance des représentations auto-supervisées spatio-temporelles.
  • Le mécanisme de décalage de fenêtre et l'attention factorisée sont essentiels à la performance.

5. Signification et Impact

Ce travail marque un tournant dans la forensique vidéo générative :

• Changement de paradigme : Il valide que la détection ne doit plus se fier aux artefacts visuels (pixels) mais aux dynamiques de représentation (comment les embeddings évoluent dans le temps).
• Évolutivité : En étant agnostique à l'encodeur et en utilisant des embeddings pré-entraînés, la méthode est légère et adaptable aux futurs générateurs sans nécessiter de réentraînement massif sur les pixels.
• Benchmarks : Le dataset EA-Video et le protocole « Unseen-Generator » établissent un nouveau standard pour l'évaluation rigoureuse des détecteurs face à l'évolution rapide de l'IA générative.

En conclusion, EA-Swin fournit une solution scalable et robuste pour contrer la désinformation visuelle à l'ère des modèles fondationnels, en exploitant les faiblesses inhérentes des modèles génératifs dans la cohérence temporelle de leurs représentations latentes.