Résumé Technique : Artifact-Bench

Énoncé du Problème

Malgré des avancées significatives dans les modèles génératifs vidéo, les vidéos générées par l'IA (AIGC) présentent encore des artefacts perceptibles, notamment des incohérences temporelles, des distorsions structurelles et des incohérences sémantiques. Bien que les Modèles de Langage Multimodaux à Grande Échelle (MLLM) aient démontré de solides capacités de compréhension visuelle, leur aptitude à percevoir et à raisonner sur ces artefacts génératifs spécifiques reste incertaine. Les benchmarks existants manquent souvent d'une évaluation systématique de la perception consciente des artefacts et du raisonnement diagnostique fin, en particulier au-delà des contenus photoréalistes (par exemple, les vidéos animées ou de style CG). De plus, les évaluations actuelles reposent fréquemment sur des tâches isolées ou des scénarios limités, rendant difficile la détermination de savoir si les MLLM s'appuient sur une détection réelle des artefacts ou sur des priors sémantiques superficiels et des biais de jeu de données.

Méthodologie

1. Taxonomie Hiérarchique des Artefacts de Réalisme

Les auteurs établissent une taxonomie hiérarchique à trois niveaux pour organiser les artefacts vidéo AIGC, passant des anomalies visuelles grossières aux incohérences structurelles et temporelles fines :

• Domaines de Haut Niveau :
  • Artefacts de Surface : Défauts visuels de bas niveau identifiables via des indices d'apparence locale (par exemple, couleur, exposition, texture).
  • Défauts Structurels : Échecs nécessitant une compréhension de l'organisation des objets/scènes (par exemple, identité, morphologie, profondeur spatiale).
  • Violations Sémantiques-Temporelles : Échecs de haut niveau nécessitant une intégration inter-images et un raisonnement de bon sens/causal (par exemple, mouvement, causalité, continuité de la scène).
• Familles d'Échecs de Niveau Intermédiaire : Décompose les domaines de haut niveau en sources d'échec spécifiques (par exemple, « Caméra et Objectif », « Structure Fonctionnelle », « Violation de la Causalité »).
• Étiquettes Fines : Un ensemble de 30 modes d'échec concrets et visuellement observables (par exemple, « Incohérence de Texture », « Violation d'Irréversibilité », « Inadéquation Action-Contexte »).

2. Conception du Benchmark (Artifact-Bench)

Artifact-Bench introduit trois tâches complémentaires pour évaluer les MLLM progressivement, de la reconnaissance grossière au raisonnement diagnostique :

• Tâche 1 : Classification Vidéo Réelle vs Générée par IA (RVAC) : Une tâche de classification binaire où les modèles déterminent si une vidéo est réelle ou synthétique. Les vidéos réelles sont appariées à des contreparties générées par IA sémantiquement alignées pour isoler les indices de réalisme des différences sémantiques.
• Tâche 2 : Comparaison Par Paire de Réalisme Vidéo (PVRC) : Les modèles comparent deux vidéos générées par IA ayant des sémantiques similaires mais des niveaux de réalisme variables, en sélectionnant la plus réaliste. Cela évalue le jugement de réalisme relatif.
• Tâche 3 : Identification d'Artefacts (AID) : Une tâche diagnostique fine où les modèles doivent identifier les artefacts spécifiques causant l'irréalisme parmi un ensemble de 6 candidats (dérivés des 30 types fins). Cela nécessite une sélection multi-étiquettes et un raisonnement explicite sur la cause de l'irréalité.

3. Construction et Stratification des Données

• Pipeline de Données Hybride : Le jeu de données combine des vidéos du monde réel, une génération contrôlée utilisant plusieurs modèles de pointe (par exemple, Kling, Veo, HunyuanVideo) et une synthèse ciblée d'artefacts via des invites d'échec intentionnelles.
• Stratification de la Difficulté : Les échantillons sont catégorisés en trois niveaux de difficulté (L1–L3) basés sur le réalisme visuel et la subtilité des artefacts. L1 contient des artefacts évidents, tandis que L3 présente des vidéos hautement réalistes avec des incohérences subtiles.
• Protocole d'Annotation : Un processus d'annotation humaine rigoureux impliquant plusieurs tours de révision par des annotateurs expérimentés et une vérification par des experts garantit des étiquettes de haute qualité et une cohérence.

Contributions Clés

1. Taxonomie Systématique : L'article fournit la première taxonomie hiérarchique complète à trois niveaux des artefacts vidéo AIGC, couvrant 30 types fins à travers les domaines photoréalistes, animés et de style CG.
2. Benchmark Complet : Artifact-Bench est introduit comme un cadre d'évaluation multi-granularité comportant trois tâches progressives (RVAC, PVRC, AID) et un jeu de données stratifié par difficulté de 1 350 vidéos (1 100 échantillons annotés).
3. Résultats Empiriques : Des expériences extensives sur 19 MLLM leaders (incluant des modèles propriétaires, open-source à usage général et spécialisés) révèlent des limitations fondamentales dans la capacité des modèles actuels à percevoir et raisonner sur les artefacts génératifs.

Résultats Expérimentaux

• Limitations de Performance : Même le modèle propriétaire le plus performant (Gemini 3.1 Pro) a obtenu un score global de 47,5 % sur Artifact-Bench. De nombreux modèles ont performé à des niveaux proches du hasard (50 % pour les tâches binaires), en particulier dans la tâche AID où la précision moyenne est tombée en dessous de 10 % pour la plupart des modèles.
• Difficulté de la Tâche : La performance s'est dégradée de manière significative à mesure que la complexité de la tâche augmentait. Bien que les modèles aient montré une certaine capacité dans la classification grossière (RVAC), ils ont lutté sévèrement avec la comparaison par paire (PVRC) et le diagnostic fin (AID).
• Mise à l'Échelle des Modèles et Raisonnement : L'augmentation de la taille du modèle (par exemple, de 8B à 38B paramètres) ou l'activation de variantes « réfléchissantes » (améliorées par le raisonnement) n'ont pas systématiquement amélioré les performances. Dans certains cas, les modèles plus grands ou dotés de capacités de raisonnement ont sous-performé par rapport à leurs homologues ajustés par instruction.
• Désalignement Humain : Un écart significatif existe entre les jugements des MLLM et les préférences perceptives humaines. Contrairement aux humains, dont la performance décline constamment avec l'augmentation de la difficulté (de L1 à L3), les MLLM ont souvent montré des fluctuations irrégulières ou n'ont pas décliné, suggérant une dépendance à des indices statistiques superficiels plutôt qu'à une véritable perception des artefacts.

Importance et Affirmations

L'article affirme qu'Artifact-Bench expose un écart critique dans les capacités actuelles des MLLM : bien qu'ils excellent dans la compréhension sémantique générale, ils manquent de la sensibilité perceptive fine et du raisonnement spatio-temporel nécessaires pour détecter et diagnostiquer les artefacts génératifs.

Les auteurs soulignent que les MLLM actuels ne sont pas encore fiables en tant qu'évaluateurs généraux ou fournisseurs de récompenses pour l'optimisation des modèles génératifs vidéo, car leurs jugements sont souvent désalignés par rapport aux préférences humaines et ne suivent pas la hiérarchie de difficulté. Les résultats soulignent un besoin urgent pour les futurs MLLM de développer une compréhension du réalisme mieux alignée sur l'humain, un raisonnement perceptif fin et une modélisation robuste de la cohérence temporelle pour combler efficacement le fossé entre l'évaluation et la génération.