🤖 AI

CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection

Cet article introduit CoCoVideo-26K, un ensemble de données de haute qualité présentant des paires de vidéos réelles et fausses sémantiquement alignées provenant de 13 générateurs commerciaux, et propose CoCoDetect, un nouveau cadre de détection combinant l'apprentissage contrastif avec un raisonnement multimodal à porte de confiance pour atteindre des performances de pointe dans l'identification de vidéos générées par IA à haute fidélité.

Auteurs originaux : Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez qu'Internet est une immense bibliothèque. Pendant longtemps, les « faux livres » de cette bibliothèque étaient faciles à repérer car ils étaient imprimés sur un papier bon marché et froissé avec des images floues. Les détecter revenait à repérer une faute de frappe dans une note manuscrite.

Mais récemment, une nouvelle génération de « faux livres » est arrivée. Ils sont imprimés sur du papier glacé de haute qualité avec des images si nettes et des histoires si logiques que même un bibliothécaire humain pourrait être trompé. C'est le monde de la vidéo générée par l'IA (AIGC). Le problème est que les anciens « détecteurs de fautes de frappe » (les outils d'IA existants) ont été entraînés sur ces papiers bon marché et froissés. Ils ne savent pas repérer les défauts subtils des nouveaux faux de haute qualité.

Voici ce que cet article fait pour corriger cela, expliqué en termes simples :

1. Le nouveau « terrain d'entraînement » : CoCoVideo

Les auteurs ont réalisé qu'ils ne pouvaient pas enseigner à leur nouveau détecteur en utilisant les anciennes vidéos de faible qualité. Il leur fallait une salle de sport avec des équipements de haute qualité.

Le problème des anciennes données : Les jeux de données précédents utilisaient des modèles d'IA open-source qui créaient des vidéos ayant l'air un peu « bizarres » (comme un personnage de dessin animé qui cligne des yeux bizarrement). L'IA commerciale du monde réel (celle utilisée par les grandes entreprises) crée des vidéos qui semblent presque parfaites.
La solution (CoCoVideo-26K) : L'équipe a construit un nouveau jeu de données massif appelé CoCoVideo.
- La stratégie des « Jumeaux » : Imaginez que vous avez une vraie photo d'une forêt. Vous demandez à 13 artistes IA haut de gamme de peindre une version fausse de cette même forêt, en partant exactement de la même première image.
- Le résultat : Vous avez maintenant des paires « Réel vs Faux » identiques dans l'histoire et le point de départ, mais l'une est réelle et l'autre est une IA. Cela force le détecteur à chercher les infimes différences de texture et de physique, plutôt que de simplement deviner en se basant sur l'histoire.

2. Le nouveau détective : CoCoDetect

Une fois qu'ils ont eu ce terrain d'entraînement de haute qualité, ils ont construit un nouveau système de détection appelé CoCoDetect. Voyez ce détective comme une équipe de deux personnes travaillant ensemble :

Membre de l'équipe A : L'« Éclaireur de textures » (Apprentissage contrastif)

Ce qu'il fait : Cette partie du système est comme un expert médico-légal examinant le grain du papier. Il utilise une IA vidéo standard (R3D-18) pour scanner la vidéo à la recherche de micro-anomalies invisibles — comme une ombre qui ne bouge pas correctement ou une texture de peau qui semble trop lisse.
Comment il apprend : Parce qu'il a été entraîné sur les paires « Jumeaux » de CoCoVideo, il a appris à repérer l'« empreinte digitale » spécifique de l'IA commerciale, et pas seulement les erreurs évidentes de l'ancienne IA.

Membre de l'équipe B : Le « Juge de la logique » (MLLM)

Ce qu'il fait : Parfois, la vidéo semble parfaite pour l'Éclaireur de textures. Peut-être que les ombres sont correctes et que la peau semble réelle. Mais l'histoire a-t-elle du sens ?
La « Porte de confiance » : C'est la partie ingénieuse. L'Éclaireur de textures donne un « score de confiance ».
- Confiance élevée : Si l'Éclaireur est sûr à 95 % qu'il s'agit d'un faux (ou d'un vrai), il prend la décision immédiatement. Rapide et efficace.
- Confiance faible (La « Zone de doute ») : Si l'Éclaireur est incertain (ex : « Je pense que c'est un faux, mais je n'en suis sûr qu'à 60 % »), il ne devine pas. Au lieu de cela, il transmet le dossier au Juge de la logique.
Le travail du Juge de la logique : C'est une IA puissante qui comprend le langage et la physique. Elle regarde la vidéo et demande : « Attendez une minute. Dans la vidéo, un oiseau vole vers l'arrière alors que le vent souffle vers l'avant. C'est physiquement impossible. Cela doit être un faux. »

3. Comment ils travaillent ensemble

Le système fonctionne comme un point de contrôle de sécurité :

Scan : L'Éclaireur de textures examine la vidéo.
Porte : Si la vidéo est clairement fausse ou clairement réelle, la porte s'ouvre et la décision est prise.
Raisonnement : Si la vidéo est piégeuse et que l'Éclaireur est confus, la porte route le cas vers le Juge de la logique. Le Juge lit la scène, vérifie les lois de la physique et rend un verdict final.
Fusion : La décision finale combine le « pressentiment de texture » de l'Éclaireur avec le « raisonnement logique » du Juge.

Pourquoi cela importe (selon l'article)

Les auteurs ont testé leur nouveau détective contre les anciens en utilisant leur nouveau jeu de données de haute qualité.

Le résultat : Les anciens détecteurs (entraînés sur des faux de faible qualité) ont échoué lamentablement face aux nouvelles vidéos de qualité commerciale. Ils étaient comme une tentative de trouver une aiguille dans une botte de foin avec un aimant qui ne fonctionne que sur le fer, pas sur l'acier.
Le vainqueur : CoCoDetect, avec son équipe « Éclaireur + Juge », a obtenu des performances nettement supérieures. Il a prouvé que pour attraper les faux de haute qualité, il faut un système qui examine à la fois les détails infimes (texture) et la vue d'ensemble (logique/physique).

En bref : L'article a construit une meilleure « école d'entraînement » en utilisant des faux de haute qualité issus de l'IA commerciale, et a créé un détective qui utilise un « test d'instinct » pour les faux évidents et un « test de logique » pour les plus subtils, rendant beaucoup plus difficile pour les vidéos d'IA de haute qualité de nous tromper.

Résumé Technique : CoCoVideo et CoCoDetect

1. Énoncé du Problème

L'avancement rapide du contenu généré par intelligence artificielle (AIGC) a conduit à des falsifications vidéo de plus en plus sophistiquées, posant des défis importants au discours public et à la sécurité sociétale. Bien que la détection de deepfakes ait progressé, les méthodes actuelles font face à deux limitations critiques :

Écart de Qualité des Données : Les références existantes (par exemple, GenBuster, GenVidBench) reposent largement sur des modèles de génération vidéo open-source. Ces modèles produisent des résultats avec une fidélité visuelle moindre et une cohérence de mouvement/scène plus faible par rapport aux systèmes commerciaux de pointe. Par conséquent, les modèles entraînés sur ces données ont tendance à faire du surapprentissage (overfitting) sur des motifs génératifs de faible qualité et échouent à se généraliser aux vidéos AIGC commerciales de haute fidélité.
Limitations Méthodologiques : Les méthodes de détection traditionnelles se concentrent souvent sur des architectures génératrices spécifiques ou des indices de manipulation de bas niveau (par exemple, artefacts visuels, anomalies de fréquence). Elles peinent à exploiter les indices sémantiques de haut niveau, tels que la logique physique et la cohérence de la scène, qui sont cruciaux pour distinguer les falsifications de haute qualité dépourvues d'artefacts de bas niveau évidents.

2. Méthodologie

Le document présente une solution à deux volets : un nouveau jeu de données de haute qualité (CoCoVideo-26K) et un nouveau cadre de détection (CoCoDetect).

2.1. Jeu de Données CoCoVideo-26K

CoCoVideo-26K est un benchmark contrastif, basé sur des modèles commerciaux, conçu pour combler l'écart de qualité entre les données de recherche et les menaces du monde réel.

Composition des Données : Le jeu de données comprend 26 000 clips vidéo organisés en paires « réel–faux » sémantiquement alignées.
- Vidéos Réelles : Provenant de OpenVid-1M, filtrées pour des scènes réelles de haute fidélité (~13 000 clips).
- Vidéos Fausses : Générées à l'aide de 13 modèles distincts de génération de vidéo commerciale de pointe (par exemple, Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7). Chaque modèle contribue avec 1 000 vidéos.
Structure Contrastive : Chaque vidéo réelle est associée à un homologue synthétique généré à partir de la même première image et du même prompt textuel. Cela garantit un alignement sémantique strict, permettant une analyse fine des différences de texture, de mouvement et de cohérence de scène sous des conditions de contenu identiques.
Échelle et Diversité : Le jeu de données couvre diverses catégories incluant les interactions humaines, la préparation de nourriture, la croissance des plantes et les paysages naturels, avec une durée constante d'environ 5 secondes et des fréquences d'images de 24 à 30 FPS.

2.2. Cadre CoCoDetect

CoCoDetect est un cadre de détection qui intègre l'apprentissage contrastif avec un mécanisme de raisonnement par Modèle de Langage Multimodal (MLLM) à porte de confiance.

Backbone (Architecture de base) : Le système utilise un réseau R3D-18 pour extraire les représentations spatio-temporelles des lots de vidéos entrants.
Architecture à Double Tête :
1. Tête de Confiance : Un MLP à trois couches suivi d'une activation Sigmoïde produit un score de confiance ( $p \in [0, 1]$ ) indiquant la probabilité qu'une vidéo soit réelle.
2. Tête de Projection : Un MLP à deux couches projette les caractéristiques dans un espace d'embedding de 128 dimensions pour l'apprentissage contrastif.
Fonction de Perte (Loss Function) :
- Perte de Confiance : Entropie croisée binaire (BCE) pour la classification de l'authenticité.
- Perte Contrastive Appariée : Contrairement à l'apprentissage contrastif supervisé traditionnel qui regroupe tous les échantillons d'une même classe, cette perte impose spécifiquement la séparation entre les paires réel–faux sémantiquement alignées (partageant la même première image et le même prompt). Elle utilise une pénalité de charnière (hinge penalty) pour garantir que la similitude cosinus entre une paire réel–faux reste en dessous d'un seuil spécifique, sans contraindre les échantillons non appariés.
Inférence MLLM à Porte de Confiance :
- Mécanisme de Routage : Lors de l'inférence, si le score de confiance $p$ se situe dans une plage d'incertitude (définie par un seuuil $\tau$ ), l'échantillon est dirigé vers un MLLM (LLaVA-NeXT-Video-7B). Les échantillons à haute confiance sont classés directement par le backbone.
- Raisonnement MLLM : Pour les cas incertains, le MLLM analyse les images clés et le score de confiance pour raisonner sur la plausibilité physique et la cohérence de la scène. Il produit un JSON structuré contenant un jugement binaire, un score de confiance sémantique et une explication en langage naturel.
- Fusion de Décision : La sortie du MLLM est mappée sur le même espace sémantique que la confiance du backbone et fusionnée via une stratégie de pondération adaptative pour produire la classification finale.

3. Principales Contributions

Benchmark CoCoVideo-26K : L'établissement d'un jeu de données de haute qualité présentant des paires contrastives réel–faux issues de 13 modèles commerciaux, fournissant un nouveau standard pour évaluer la détection AIGC sous des conditions réalistes et de haute fidélité.
Cadre CoCoDetect : Une architecture novatrice combinant l'apprentissage contrastif à double tête (pour la discrimination au niveau de la texture) avec un mécanisme MLLM à porte de confiance (pour le raisonnement au niveau sémantique), permettant un jugement systématique à travers ces deux niveaux de caractéristiques.
Validation Empirique : Expérimentations exhaustives démontrant des performances de pointe sur le test set CoCoVideo et de fortes capacités de généralisation sur plusieurs benchmarks publics open-source.

4. Résultats Expérimentaux

4.1. Performance sur CoCoVideo-26K

Sur le jeu de test proposé, CoCoDetect a atteint les meilleures performances moyennes en termes de Précision (90,69 %), F1-score (90,62 %), Rappel (89,95 %) et AUC (95,93 %), surpassant des bases solides comme DeMamba, VideoMAE et 3D ResNeXt.

Observation : La méthode a montré une stratégie de décision conservatrice, privilégiant la précision sur le rappel dans certains modèles, réduant efficacement les fausses alarmes en engageant sélectivement le MLLM pour les cas incertains.
Limitation : La performance a légèrement diminué sur des modèles comme Jimeng et Veo3 où les incohérences de résolution entre les paires réelles et fausses ont perturbé l'alignement sémantique.

4.2. Généralisation Trans-Dataset

Évalué sur cinq benchmarks publics (GVD, GVF, GenVideo, GenVidBench, GenBuster), CoCoDetect a démontré une généralisation robuste :

Il a obtenu la précision la plus élevée sur quatre des cinq benchmarks.
Sur GenBuster, qui utilise des versions plus anciennes des mêmes modèles commerciaux, CoCoDetect a maintenu des performances solides, suggérant qu'il repose moins sur des artefacts de génération spécifiques et davantage sur des indices sémantiques et de texture généralisables.
Sur GenVideo, le F1-score a chuté en raison de la prévalence de clips courts et presque statiques dans ce dataset, ce qui a perturbé la cohérence temporelle requise pour l'analyse de mouvement du MLLM.

4.3. Études d'Ablation

Les expériences d'ablation ont confirmé la nécessité des deux composants :

Le retrait de la Tête de Projection (apprentissage contrastif) a réduit l'AUC de 95,93 % à 91,39 %.
Le retrait du MLLM (en se fiant uniquement aux scores de confiance) a réduit l'AUC à 95,46 %.
Le modèle complet a obtenu les scores les plus élevés, validant que les caractéristiques contrastives de bas niveau et le raisonnement sémantique de haut niveau travaillent en synergie.

4.4. Études de Cas

Haute Confiance : Le réseau contrastif a correctement identifié des artefacts de texture évidents sans intervention du MLLM.
Faible Confiance (Sauvetage) : Dans des cas ambigus, le MLLM a réussi à identifier des erreurs sémantiques (par exemple, un pont suspendu interprété à tort comme une cheminée) que le backbone avait manquées, corrigeant ainsi la prédiction.
Cas d'Échec : Dans des scènes naturelles simples avec des artefacts subtils et aucune incohérence sémantique évidente, les deux modules ont échoué, soulignant la difficulté actuelle de détecter les falsifications dans des environnements à faible complexité.

5. Signification et Revendications

L'article affirme que CoCoVideo-26K comble l'écart critique entre les jeux de données de recherche et les menaces AIGC commerciales du monde réel, fournissant un benchmark plus fiable pour l'entraînement et l'évaluation. CoCoDetect est présenté comme un cadre robuste qui surmonte les limites de la détection purement basée sur la texture en intégrant le raisonnement sémantique pour les cas incertains.

Les auteurs soulignent que leur approche valide l'efficacité de la combinaison de l'apprentissage contrastif à grain fin et de la vérification sémantique de haut niveau. Ils concluent que, bien que la méthode démontre des performances de pointe et une forte généralisation, les travaux futurs se concentreront sur l'extension du jeu de données avec des modalités audio et des annotations sémantiques plus riches afin d'améliorer davantage la détection de contenu AIGC digne de confiance.