Résumé Technique : CaC – Faire progresser les modèles de récompense vidéo via une concentration hiérarchique spatio-temporelle

Énoncé du Problème

Les modèles récents de génération vidéo ont réalisé des progrès significatifs en matière de fidélité visuelle globale. Cependant, lors de la synthèse de contenus dynamiques complexes, ils produisent fréquemment des anomalies rares et subtiles (par exemple, des distorsions structurelles, des violations des lois physiques, des incohérences temporelles et du texte corrompu) qui sont souvent localisées dans de petites régions ou de courts intervalles de temps. Les modèles de récompense vidéo existants mettent principalement l'accent sur la qualité visuelle globale et l'alignement avec le texte ; à mesure que la qualité de génération s'améliore, ces défauts grossiers deviennent moins fréquents, laissant les anomalies structurelles et temporelles rares constituer un goulot d'étranglement critique. Les modèles actuels peinent à isoler ces signaux d'anomalies faibles au sein de vastes quantités de contexte normal en raison d'un manque de perception spatio-temporelle fine, ce qui entraîne souvent un raisonnement au niveau de la vidéo globale qui néglige les hallucinations subtiles.

Méthodologie

L'article propose CaC (Concentrate and Concentrate), un modèle de récompense basé sur un modèle Vision-Langage (VLM) conçu pour détecter et localiser ces anomalies rares grâce à une stratégie hiérarchique en deux tours, allant du grossier au fin.

1. Construction du Jeu de Données

Pour entraîner et évaluer le modèle, les auteurs ont construit le premier jeu de données à grande échelle dédié aux anomalies rares dans les vidéos générées (~30 000 vidéos). Les caractéristiques clés incluent :

• Annotations fines : Boîtes englobantes par image, fenêtres temporelles d'anomalies, types d'anomalies et raisons de l'attribution.
• Taxonomie des anomalies : Couvre les anomalies reconnaissables sur une seule image (distorsion d'objets/d'humains) et les anomalies sur plusieurs images (anomalies de mouvement, violations physiques, anomalies de personnages).
• Synthèse de Chaîne de Pensée (CoT) : Un pipeline combinant l'étiquetage humain par des experts avec une synthèse de Chaîne de Pensée basée sur un VLM, utilisant un processus de génération-vérification pour garantir des données de raisonnement de haute qualité.

2. Entraînement Progressif en Trois Étapes

CaC emploie un paradigme d'entraînement en trois étapes pour construire des capacités de concentration hiérarchique :

• Étape 1 (Échauffement sur une seule image) : Le modèle apprend à reconnaître et localiser les anomalies à partir d'images extraites contenant des anomalies, établissant une correspondance entre les indices visuels et l'ancrage spatial et l'attribution d'anomalies.
• Étape 2 (SFT multi-images) : Le modèle est entraîné à la fois sur des vidéos globales échantillonnées uniformément (pour l'analyse temporelle) et sur des clips échantillonnés densément (pour la localisation spatiale). Cette étape optimise conjointement l'analyse temporelle globale et l'ancrage spatial fin, préparant le modèle au format d'interaction en deux tours.
• Étape 3 (GRPO en deux tours) : Le modèle est optimisé à l'aide de l'Optimisation de Politique Relative par Groupe (GRPO) avec une stratégie d'inférence en deux tours :
  • Tour 1 : Analyse temporelle globale sur une séquence d'images espacées (4 ips) pour ancrer la fenêtre temporelle anormale.
  • Tour 2 : Ancrage spatial fin sur un clip échantillonné densément (8 ips) extrait de la fenêtre prédite pour confirmer les anomalies et générer des boîtes englobantes.
  • Mécanisme de Récompense : Au-delà de la précision standard, les auteurs introduisent des récompenses basées sur l'IoU Temporel, l'IoU Spatial et l'IoU d'Attribution. Ces récompenses de processus supervisent les étapes intermédiaires de localisation, guidant le modèle vers un raisonnement spatio-temporel ancré et interprétable. Un facteur d'atténuation de saillance est appliqué pour gérer les difficultés variables de reconnaissance.

3. Stratégie d'Inférence

Le processus d'inférence reflète la stratégie d'entraînement :

1. Analyse Globale : La vidéo d'entrée est sous-échantillonnée (4 ips) et analysée pour détecter les anomalies et prédire une fenêtre temporelle.
2. Concentration Locale : La fenêtre prédite est recadrée et rééchantillonnée densément (8 ips). Le modèle effectue un raisonnement spatial fin sur ce clip pour confirmer l'anomalie et générer des boîtes englobantes spécifiques.
3. Décision : Si le deuxième tour ne confirme pas l'anomalie, la vidéo est classée de manière conservatrice comme normale.

Contributions Clés

1. Jeu de Données : Construction du premier jeu de données à grande échelle pour les anomalies rares dans les vidéos générées, comprenant des boîtes englobantes par image, des fenêtres temporelles et des étiquettes d'attribution fines pour soutenir la synthèse de CoT de haute qualité et des signaux de récompense vérifiables.
2. Architecture du Modèle : Proposition de CaC, un modèle de récompense en deux tours allant du grossier au fin qui utilise une focalisation hiérarchique spatio-temporelle pour détecter des anomalies subtiles, transformant des jugements structurés en retours de récompense exploitables.
3. Paradigme d'Entraînement : Développement d'un pipeline progressif en trois étapes. Notamment, l'étape RL introduit des récompenses IoU Temporelles, Spatiales et d'Attribution pour guider le VLM vers un raisonnement CoT d'anomalies interprétable et des jugements stables, dépassant les simples métriques de précision.

Résultats

Des expériences extensives démontrent la supériorité de CaC dans la détection d'anomalies rares et l'amélioration de la qualité de génération vidéo :

• Détection d'Anomalies : Sur le benchmark CaC-Bench-Main, CaC atteint une précision globale de 81,7 %, soit une amélioration absolue de 25,7 % par rapport à la meilleure ligne de base.
• Sensibilité aux Anomalies Rares : Sur la division CaC-Bench-Hard (présentant des anomalies de durée plus courte et d'étendue spatiale plus petite), CaC surpasse les lignes de base avec des marges allant de 14 % à 38 %, validant son efficacité sur des défauts hautement rares.
• Généralisation : CaC améliore la précision de 19,9 % sur un sous-ensemble externe dérivé de Skyra, démontrant une généralisation hors domaine.
• Alignement Vidéo : Lorsqu'il est utilisé comme signal de récompense pour la génération vidéo en aval (Wan-2.1-1.3B), CaC réduit le taux d'anomalies annoté par des experts de 11,7 % (passant de 29,0 % à 17,3 %) tout en améliorant la cohérence du sujet et la qualité de l'image, sans supprimer le mouvement dynamique.

Importance et Revendications

L'article affirme que CaC résout efficacement le problème de « dilution de l'attention » causé par l'extrême rareté des anomalies vidéo. En se concentrant activement sur les images et les régions anormales grâce à un processus de raisonnement structuré et interprétable, CaC fournit des jugements plus fiables et mieux ancrés que les modèles de récompense globaux ou les détecteurs existants. Les auteurs affirment que cette approche fait non seulement progresser l'évaluation des vidéos générées, mais fournit également des retours exploitables qui améliorent directement la qualité des modèles de génération vidéo en réduisant les hallucinations structurelles et temporelles. Ce travail met en évidence que, à mesure que la génération vidéo mûrit, des modèles de récompense spécialisés et fins sont nécessaires pour traiter les modes d'échec subtils restants que les évaluateurs holistiques manquent.