GenVidBench: A 6-Million Benchmark for AI-Generated Video Detection

Ce papier présente GenVidBench, la plus grande base de données dédiée à la détection de vidéos générées par l'IA, comprenant 6,78 millions de vidéos issues de 11 générateurs de pointe pour faciliter le développement et l'évaluation de modèles de détection généralisés.

L'essentiel

Imaginez que nous vivons dans un monde où l'on ne sait plus faire la différence entre une vraie vidéo et une vidéo fabriquée par une intelligence artificielle (IA). C'est un peu comme si des faussaires de génie avaient appris à peindre des tableaux si réalistes qu'ils ressemblent à s'y méprendre à la réalité.

Voici l'histoire de GenVidBench, une nouvelle arme que des chercheurs de Huawei ont forgée pour nous aider à voir clair dans ce brouillard.

1. Le Problème : L'usine à mensonges

Autrefois, il était facile de repérer un faux. Une vidéo truquée avait souvent des yeux bizarres ou des mouvements saccadés. Mais aujourd'hui, les IA (comme Sora ou Pika) sont devenues des magiciens. Elles créent des vidéos si parfaites qu'elles peuvent tromper n'importe qui. Le danger ? Des fausses nouvelles, des atteintes à la réputation, ou des arnaques.

Le problème, c'est que pour apprendre à nos ordinateurs à repérer ces faussaires, il faut leur montrer des millions d'exemples. Et jusqu'à présent, nous n'avions que de petits livres de contes, pas d'encyclopédies complètes.

2. La Solution : GenVidBench, la "Bibliothèque des Faussaires"

Les chercheurs ont créé GenVidBench. C'est une bibliothèque gigantesque contenant 6,78 millions de vidéos. C'est le plus grand trésor de ce genre au monde.

Mais ce n'est pas juste une grosse pile de vidéos. C'est une bibliothèque très intelligente, conçue comme un entraînement militaire de haute volée pour les détecteurs d'IA.

Voici pourquoi c'est spécial, avec une petite analogie :

• Le Défi du "Jumeau Maléfique" (Cross-Source) :
  Imaginez que vous devez apprendre à un détective à distinguer un vrai diamant d'un faux. Si vous lui montrez un vrai diamant et un faux qui ont été taillés dans la même pierre, c'est facile.
  Avec GenVidBench, c'est différent. Ils prennent une même idée (par exemple : "un papillon sur une fleur") et demandent à une IA de créer une vidéo, puis à une autre IA de créer une vidéo sur le même sujet.
  Le détective doit maintenant trouver la différence entre deux vidéos qui parlent de la même chose, mais qui ont été fabriquées par des usines différentes. C'est comme essayer de distinguer deux jumeaux qui portent le même vêtement : le seul moyen est de regarder comment ils bougent, pas ce qu'ils font.

• La Diversité des "Magiciens" (Cross-Generator) :
  Le dataset utilise 11 types d'IA différents (des "magiciens" avec des styles différents). Certains sont entraînés sur des vidéos, d'autres sur des images.
  Le but ? Empêcher le détective de tricher. S'il apprend à repérer un faux seulement parce qu'il vient de l'IA "A", il sera perdu face à l'IA "B". GenVidBench force le détective à apprendre les vrais signes de l'IA, peu importe qui l'a créée.

• Les Étiquettes de "Recette" (Annotations Sémantiques) :
  Chaque vidéo est étiquetée comme une recette de cuisine. On sait exactement :

  • Qui est dedans (une personne, un animal, un robot ?).
  • Ce qu'il fait (il marche, il mange, il reste immobile ?).
  • Où il se trouve (dans une ville, dans la nature, dans une cuisine ?).
    Cela permet aux chercheurs de dire : "Montre-moi seulement les vidéos où il y a des plantes dans une cuisine, je veux tester mon détective là-dessus."

3. Les Résultats : Un entraînement difficile mais nécessaire

Les chercheurs ont pris les meilleurs détecteurs actuels (des "chefs de police" numériques) et les ont envoyés s'entraîner sur GenVidBench.

• Le choc : Quand les détecteurs ont été testés sur des vidéos venant d'une IA qu'ils n'avaient jamais vue, ils ont beaucoup moins bien réussi. C'est comme si un joueur de football entraînait avec une équipe, mais devait jouer contre une équipe totalement différente avec des règles légèrement différentes.
• La révélation : Certains IA (comme Sora) sont si bonnes qu'elles sont presque indétectables pour l'instant. D'autres (comme CogVideo) laissent encore des traces visibles.
• Le vainqueur : Le modèle DeMamba s'est le mieux débrouillé, mais même lui n'est pas parfait. Cela prouve que le travail est loin d'être fini.

En résumé

GenVidBench, c'est comme un gymnase ultra-avancé pour les détecteurs de mensonges vidéo. Au lieu de s'entraîner sur des exercices faciles, ils sont confrontés à des situations réalistes, complexes et variées.

Grâce à cette "bibliothèque de 6 millions de vidéos", les chercheurs espèrent bientôt créer des gardes du corps numériques capables de dire à tout le monde : "Attendez, cette vidéo est fausse, ne la partagez pas !" avant que la désinformation ne se propage.

Résumé technique

1. Problématique

L'avancement rapide des modèles de génération vidéo (tels que Sora, Kling, etc.) a considérablement amélioré le réalisme des vidéos générées par l'IA, rendant la distinction entre le contenu réel et synthétique de plus en plus difficile. Cette évolution pose des risques majeurs de désinformation, d'atteinte à la réputation et de menaces cybernétiques.

Le développement de détecteurs performants est actuellement entravé par un manque critique de jeux de données à grande échelle et de haute qualité spécifiquement conçus pour la détection de vidéos génératives. Les datasets existants souffrent souvent de :

• Une taille insuffisante (souvent quelques milliers d'échantillons).
• Un manque de diversité dans les générateurs utilisés pour l'entraînement et le test.
• Une absence de configurations "cross-source" (où le contenu de la vidéo est identique mais la source de génération diffère), ce qui permet aux modèles de tricher en apprenant le contenu plutôt que les artefacts de génération.

2. Méthodologie et Construction du Dataset

Les auteurs proposent GenVidBench, un dataset massif et complexe conçu pour surmonter ces limitations.

• Échelle et Composition : Le dataset contient 6,78 millions de vidéos. Il est composé de deux sources de vidéos réelles (Vript et HD-VG-130M) et de vidéos générées par 11 modèles d'IA de l'état de l'art (incluant Pika, VideoCraftV2, Modelscope, T2V-Zero, MuseV, SVD, Mora, CogVideo, Sora, Kling, et OpenSora).
• Configuration Cross-Source et Cross-Generator : C'est l'innovation centrale. Le dataset est divisé en deux paires de vidéos :
  • Ensemble d'entraînement (Pair 1) : Vidéos générées par Pika, VideoCraftV2, Modelscope et T2V-Zero à partir de prompts/textes ou images spécifiques.
  • Ensemble de test (Pair 2) : Vidéos générées par MuseV, SVD, Mora, CogVideo et les vidéos réelles (HD-VG-130M) à partir des mêmes prompts ou images que la Pair 1.
  • Objectif : Cela force le modèle à détecter les artefacts de génération indépendamment du contenu sémantique ou de la qualité visuelle, car le contenu est identique entre les sets d'entraînement et de test, mais les générateurs sont différents.
• Annotations Sémantiques Riches : Contrairement aux datasets précédents, GenVidBench fournit des étiquettes sémantiques détaillées pour une partie des vidéos, structurées en trois dimensions :
  1. Catégories d'objets : (ex: personnes, animaux, bâtiments, nature).
  2. Actions : (ex: postures statiques, manipulation d'objets, observation).
  3. Lieux : (ex: paysages naturels, zones urbaines, intérieurs).
• Version Légère : Une sous-ensemble de 143 000 vidéos (GenVidBench-143k) est également fournie pour faciliter l'itération rapide des modèles tout en conservant la représentativité statistique.

3. Contributions Clés

1. Le plus grand dataset de détection vidéo IA : Avec 6,78 millions d'échantillons, il dépasse largement les benchmarks précédents (comme GVD avec 11k ou GVF avec 2,8k).
2. Premier benchmark "Cross-Source/Cross-Generator" : Il établit un protocole d'évaluation rigoureux où les modèles doivent généraliser à des générateurs jamais vus lors de l'entraînement, simulant des conditions réelles où l'identité du générateur est inconnue.
3. Annotations Sémantiques Multi-dimensionnelles : La capacité de filtrer les données par objet, action et lieu permet d'analyser les performances des détecteurs sur des scénarios spécifiques (ex: détection difficile sur les scènes de nature vs urbain).
4. Benchmark Complet : Évaluation de nombreux modèles de classification vidéo de pointe (CNN, Transformers, Mamba) sur ce nouveau standard.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs architectures (I3D, SlowFast, VideoSwin, DeMamba, etc.) sur GenVidBench.

• Difficulté de la tâche : La tâche est extrêmement difficile.
  • Dans un scénario "Same-Source" (entraînement et test sur le même générateur), la précision dépasse 97-99%.
  • Dans un scénario "Cross-Generator" (entraînement sur un générateur, test sur un autre), la précision chute drastiquement, souvent autour de 50-60% (proche du hasard pour certains modèles).
  • Exemple : Un modèle entraîné sur Pika et testé sur SVD atteint seulement 54,66% de précision.
• Performance des Modèles :
  • Le modèle DeMamba (basé sur l'architecture Mamba) obtient les meilleurs résultats avec une précision Top-1 de 85,47%.
  • Les modèles basés sur Transformers (comme VideoSwin, MViTv2) surpassent généralement les modèles CNN traditionnels.
  • Les vidéos générées par Sora sont les plus difficiles à détecter (reflétant leur haute qualité), tandis que celles de CogVideo sont plus faciles (manque de continuité temporelle).
• Analyse des Cas Difficiles (Hard Cases) : L'analyse par catégorie sémantique révèle que la difficulté varie selon le contenu. Par exemple, les vidéos contenant des plantes posent des défis spécifiques, et les performances des modèles varient considérablement selon la scène (ex: VideoSwin tombe à 52,86% sur la classe "Plantes").

5. Signification et Impact

GenVidBench représente une avancée majeure pour le domaine de la sécurité multimodale :

• Réalisme de l'évaluation : En éliminant les biais liés au contenu (via la configuration cross-source), il force le développement de détecteurs qui s'appuient sur des preuves forensiques réelles plutôt que sur des corrélations superficielles.
• Standardisation : Il offre un benchmark robuste pour comparer objectivement les futures méthodes de détection.
• Guide pour la recherche : Les résultats montrent qu'il existe encore un large espace d'amélioration (les modèles actuels peinent à généraliser), incitant la communauté à développer des architectures plus robustes et des techniques de détection basées sur la cohérence temporelle et les artefacts subtils.
• Accessibilité : La disponibilité du dataset (6M et 143k) et des annotations sémantiques permet aux chercheurs de cibler des scénarios d'application spécifiques et d'accélérer le développement de solutions de détection fiables.

En résumé, GenVidBench comble le vide critique entre la capacité de génération des IA et la capacité de détection, fournissant l'infrastructure nécessaire pour construire des systèmes de défense contre la désinformation vidéo à l'ère de l'IA générative.