Résumé technique : Évaluation de la génération de vidéos de conception : Métriques pour la fidélité compositionnelle

Énoncé du problème

Les modèles de vidéo générative sont de plus en plus appliqués aux tâches d'animation de conception, mais le domaine manque d'un cadre d'évaluation standardisé. Contrairement à la génération de vidéos naturelles, l'animation de conception impose des contraintes strictes et structurées : des composants spécifiques doivent s'animer avec des types de mouvement, des directions, des vitesses et des synchronisations prescrits, tandis que les régions non animées doivent rester stables et la disposition spatiale globale doit être préservée. Les méthodes d'évaluation actuelles, telles que la distance vidéo Fréchet (FVD) ou les études humaines à petite échelle, ne parviennent pas à capturer ces exigences compositionnelles. Par conséquent, les modèles peinent souvent à ancrer les instructions sur les régions visuelles correctes, à appliquer des mouvements dominants à l'échelle globale, à animer des éléments incorrects ou à halluciner des mouvements sans rapport avec l'invite. Cet article répond au besoin d'un cadre d'évaluation entièrement automatisé et décomposé par dimension pour évaluer les progrès dans la génération de vidéos de conception sans dépendre d'une évaluation humaine subjective.

Méthodologie

Construction de l'ensemble de données

Les auteurs ont construit un ensemble de données d'évaluation dédié dérivé du corpus LICA (Annotations de composition d'images en couches). L'ensemble de données comprend :

• Source : 136 mises en page sources couvrant 66 modèles uniques de la sous-catégorie vidéo LICA.
• Vérité terrain : Rendus de référence déterministes (MP4 et PNG de la dernière image) générés à partir des métadonnées JSON de mise en page. Ces métadonnées incluent les boîtes englobantes par composant, les types d'animation (issues d'une taxonomie de 31 types), les directions, les durées, les temps de déclenchement et les durées de visibilité.
• Deux pistes :
  1. Piste à composant unique (86 échantillons) : Isole un élément animé par mise en page sur un fond uniforme pour fournir une référence de mouvement atomique. Restreint à un sous-ensemble de 15 types de verbes de mouvement.
  2. Piste de mise en page complète (136 échantillons) : Préserve les compositions multi-composantes complètes (894 évaluations de composants) avec jusqu'à 30 composants animés par scène, héritant du vocabulaire complet des mouvements LICA.

Cadre d'évaluation

Le cadre évalue les vidéos de conception selon quatre dimensions : Fidélité de la mise en page, Correction du mouvement, Qualité temporelle et Fidélité du contenu.

1. Suivi :

   • Composant unique : Utilise un suiveur de boîte englobante orientée (OBB) basé sur les contours via une différenciation temporelle par rapport à un fond uniforme.
   • Mise en page complète : Utilise un détecteur YOLOv11-OBB finement ajusté, entraîné sur environ 500 000 mises en page LICA. Au lieu du suivi multi-objets, il fait correspondre les OBB détectées aux polygones de mise en page de vérité terrain en utilisant l'algorithme hongrois basé sur l'intersection sur l'union (IoU).

2. Correction du mouvement :

   • Type de mouvement : Les 31 verbes de mouvement bruts LICA sont regroupés en 10 classes observables (par exemple, scrapbook, fade, pop, rotate) basées sur le comportement de la trajectoire géométrique. Un arbre de décision basé sur des règles classe le mouvement observé en utilisant des caractéristiques telles que le déplacement du centroïde, les pics d'échelle, les angles de rotation et les proxies d'opacité. Des points partiels sont attribués pour des étiquettes sémantiquement liées (par exemple, pop vs scrapbook).
   • Direction du mouvement : Prédite en mesurant le déplacement du centroïde du composant et en classant l'angle en huit directions cardinales ou types de rotation. Les mouvements transitoires utilisent le déplacement des premières images ; les mouvements soutenus utilisent le déplacement net.
   • Durée :
     • Durée d'animation : Estimée via un signal d'énergie de mouvement combinant les changements de centroïde, d'échelle, de rotation et d'opacité.
     • Durée de visibilité du composant : Estimée comme la plus longue séquence continue de présence du détecteur.

3. Fidélité du contenu (Récupérabilité du texte) :

   • Évalue si les chaînes de caractères spécifiées dans la mise en page restent lisibles.
   • Les images sont échantillonnées à 2 ips. Les lignes de texte reconnues sont appariées aux chaînes de vérité terrain en utilisant une affectation bipartie à coût minimal basée sur le taux d'erreur de caractères (CER).
   • Les métriques incluent le Meilleur AR (moyenne du meilleur score de reconnaissance assigné par composant au fil du temps) et le AR Difficile (fraction des composants ayant au moins une correspondance exacte).

Contributions clés

1. Premier cadre décomposé par dimension : Un système d'évaluation entièrement automatisé pour l'animation de conception où chaque axe (type de mouvement, direction, durée, texte) est ancré indépendamment dans les spécifications de mise en page.
2. Suite de sous-métriques : Dans le cadre de la correction du mouvement, l'article introduit quatre sous-métriques (type, direction, durée d'animation, durée de visibilité) avec des signaux de vérité terrain extraits automatiquement des métadonnées.
3. Référence à deux pistes : Un ensemble de données de 86 clips à composant unique et 136 modèles de mise en page complète, couvrant 15 types d'animation pour les composants image, texte et groupe.
4. Validation empirique : Démontre que le cadre récupère les attributs de mouvement de vérité terrain avec une précision de 87,8 % sur les rendus à composant unique en utilisant un pipeline transparent et basé sur des règles, sans classificateurs appris.

Résultats expérimentaux

Le cadre a été appliqué à deux modèles de pointe : Sora-2 et Veo-3.1.

• Type de mouvement :
  • Sur la piste à composant unique, Sora-2 a atteint 60,2 % de précision et Veo-3.1 a atteint 64,9 % (par rapport à un plafond de 87,8 % sur les rendus de vérité terrain).
  • Sur la piste de mise en page complète (sous-ensemble fiable du suiveur), Veo-3.1 (65,5 %) a légèrement surpassé Sora-2 (61,5 %), bien que les deux soient en retrait par rapport au plafond de vérité terrain (69,0 %).
  • Modes d'échec : La principale source d'erreur était l'effondrement des mouvements fade et pop dans la classe scrapbook, en grande partie dû à l'incapacité du suiveur YOLO à détecter les changements d'opacité ou les impulsions d'échelle subtiles dans les scènes multi-composantes.
• Direction du mouvement :
  • La détection de la direction était robuste pour la présence (91,3 % sur la mise en page complète de vérité terrain) mais peinait avec la précision exacte des points cardinaux (14,4 % sur la mise en page complète de vérité terrain).
  • La direction de rotation (horaire/anti-horaire) était presque impossible à détecter (0 % de précision) en raison des ambiguïtés d'orientation de l'axe de l'OBB.
• Durée :
  • Les modèles ont présenté un biais significatif dans la durée d'animation. Sora-2 avait tendance à tronquer le mouvement (biais négatif), tandis que Veo-3.1 sous-estimait souvent la durée ou ne parvenait pas à animer suffisamment, provoquant la chute des signaux en dessous des seuils d'énergie.
• Récupérabilité du texte :
  • Un écart clair existe entre les rendus de référence et les vidéos générées. Sur les scènes de mise en page complète, le meilleur résultat généré (Sora-2 avec évaluateur LLM) a atteint un AR Difficile de 0,671, contre 0,940 pour les rendus de référence.
  • Sora-2 a constamment surpassé Veo-3.1 dans la préservation du texte sur les mises en page complètes.

Importance et revendications

L'article prétend établir une référence commune et reproductible pour le domaine de l'animation de conception, dépassant les scores perceptuels agrégés qui obscurcissent les modes d'échec spécifiques. En décomposant l'évaluation en dimensions de mise en page, de mouvement, temporelle et de contenu, le cadre révèle des faiblesses distinctes dans les modèles actuels, telles que le sous-animé, l'imprécision directionnelle et la dégradation du texte dans les compositions complexes.

Les auteurs positionnent ce travail comme un outil de mesure plutôt que comme une nouvelle capacité générative. L'importance réside dans la fourniture d'un pipeline transparent et automatisé permettant aux chercheurs et aux concepteurs de diagnostiquer des échecs compositionnels spécifiques. Cela est présenté comme un préalable au déploiement responsable dans les flux de travail professionnels et les applications sensibles à l'accessibilité, garantissant que les outils d'IA agissent comme des aides pour les concepteurs plutôt que comme des remplacements peu fiables. L'article conclut que si les modèles actuels montrent des promesses, ils présentent des modes d'échec nettement différents que les métriques agrégées ne peuvent séparer, rendant nécessaire cette approche d'évaluation structurée.