Q-Save: Towards Scoring and Attribution for Generated Video Evaluation

Ce papier présente Q-Save, un benchmark holistique et un modèle unifié qui évaluent simultanément la qualité visuelle, dynamique et l'alignement texte-vidéo des vidéos générées par l'IA en fournissant à la fois des scores et des explications d'attribution interprétables.

L'essentiel

Imaginez que vous êtes le directeur d'un grand festival de films, mais au lieu de films réalisés par des humains, tous les films ont été créés par des robots intelligents (l'IA). Votre travail consiste à dire : « Ce film est magnifique ! » ou « Ce film est nul, il faut le jeter ».

Le problème, c'est que juger ces films est très difficile. Parfois, le robot dessine un cheval qui a six pattes, ou un visage qui fond comme de la cire, ou alors le film ne raconte pas du tout l'histoire qu'on lui a demandée.

C'est là qu'intervient Q-Save, présenté dans cet article. Voici comment cela fonctionne, expliqué simplement :

1. Le Dilemme du Critique de Cinéma

Jusqu'à présent, les outils pour juger ces vidéos d'IA étaient comme des critiques de cinéma un peu bêtes. Ils pouvaient dire « C'est 7/10 », mais ils ne savaient pas pourquoi.

• Est-ce que l'image est floue ?
• Est-ce que le mouvement est bizarre ?
• Est-ce que l'histoire correspond à la demande ?

Les anciens outils traitaient ces questions séparément, comme si trois juges différents regardaient trois aspects différents sans jamais se parler. Résultat : des notes imprécises et incompréhensibles.

2. La Solution Q-Save : Le Critique Polyvalent et Pédagogue

Les auteurs ont créé Q-Save, qui est un peu comme un super-critique de cinéma qui a trois super-pouvoirs et qui sait expliquer ses notes.

A. Le Grand Livre de Notes (Le Dataset)

Pour entraîner ce super-critique, ils ont créé une bibliothèque immense de 10 000 vidéos.

• L'astuce : Pour chaque vidéo, des humains ont non seulement donné une note (de 1 à 5), mais ils ont aussi écrit un commentaire détaillé expliquant exactement ce qui clochait.
• Analogie : Imaginez un professeur qui ne vous donne pas juste une note de 12/20, mais qui écrit en rouge : « Tu as bien compris la leçon, mais tu as fait une faute d'orthographe sur le mot 'château' et ton calcul de division est faux ». C'est cette explication qui rend le système intelligent.

B. Les Trois Critères de Jugement

Le système Q-Save juge chaque vidéo selon trois axes, comme un chef cuisinier qui goûte un plat :

1. La Qualité Visuelle (L'assiette) : Est-ce que l'image est belle ? Y a-t-il des taches, du flou ? (Comme vérifier si le plat est bien présenté).
2. La Qualité Dynamique (Le mouvement) : Est-ce que les choses bougent de façon naturelle ? Si un homme court, ses jambes bougent-elles bien ? Ou est-ce qu'il glisse comme un patineur sur de la glace ? (C'est souvent là que l'IA échoue).
3. L'Alignement avec le Texte (La recette) : Si vous avez demandé « Un chat qui joue de la guitare », le robot a-t-il fait un chat avec une guitare, ou un chien qui chante ?

C. La Méthode d'Apprentissage (Le Trio Magique)

Pour entraîner ce critique, ils n'ont pas juste utilisé une méthode classique. Ils ont utilisé une stratégie en trois étapes, comme un entraînement sportif de haut niveau :

1. L'Échauffement (SFT) : On lui apprend les bases. « Voici ce qu'est un bon film, voici ce qu'est un mauvais film ».
2. Le Renforcement (RL) : On le met en situation réelle. On lui dit : « Tu as noté ça, mais en réalité, c'était mieux comme ça ». Il apprend de ses erreurs, un peu comme un élève qui révise ses copies.
3. Le Retour au Calme (SFT final) : On stabilise ses connaissances pour qu'il ne devienne pas trop confiant ou trop timide. Il devient calme, précis et fiable.

3. Pourquoi c'est révolutionnaire ?

Avant, si vous demandiez à une IA de juger une vidéo, elle pouvait se tromper sur un détail important (comme un mouvement bizarre) parce qu'elle regardait juste quelques images au hasard.

Q-Save, lui, regarde la vidéo comme un humain :

• Il sait que les images qui changent beaucoup (les mouvements) sont importantes et les regarde de plus près.
• Il ne donne pas juste un chiffre, il vous dit : « La vidéo est bien, mais le mouvement du cycliste est étrange, ses jambes semblent se déformer ».

En résumé

Q-Save, c'est comme avoir un expert en cinéma IA qui ne se contente pas de vous dire « C'est bien » ou « C'est mal ». Il vous dit : « C'est bien, mais attention, le mouvement est bizarre et le texte ne correspond pas à l'image ».

Grâce à cela, les créateurs de vidéos par IA peuvent savoir exactement comment améliorer leurs robots pour qu'ils fassent de meilleures vidéos, et les utilisateurs peuvent faire confiance aux notes qu'ils reçoivent. C'est un pas de géant pour rendre l'IA plus fiable et plus compréhensible.

Résumé technique

1. Problématique et Contexte

L'évaluation automatique de la qualité des vidéos générées par l'IA (AIGV) est devenue cruciale avec l'essor des modèles de texte-à-vidéo (T2V). Cependant, les approches existantes souffrent de limitations majeures :

• Absence de définitions systématiques : Les dimensions d'évaluation (qualité visuelle, dynamique, alignement texte-vidéo) sont souvent traitées de manière isolée ou floue.
• Manque d'explicabilité : La plupart des modèles fournissent uniquement un score scalaire sans justification (attribution), ce qui limite leur utilité pour l'optimisation des modèles génératifs.
• Qualité des données : Les jeux de données existants souffrent de prompts de faible qualité, d'un contrôle de l'annotation insuffisant et d'un manque de données d'attribution fine.
• Prétraitement inefficace : Les pipelines basés sur des VLM (Vision-Language Models) utilisent souvent un échantillonnage de trames trop espacé (ex: 2 trames/seconde), négligeant les preuves temporelles riches nécessaires au jugement humain.

2. Méthodologie

L'approche proposée, Q-Save, repose sur trois piliers : la construction d'un jeu de données de haute qualité, une architecture de modèle adaptée et une stratégie d'entraînement innovante.

A. Construction du Jeu de Données (Q-Save)

• Échelle et Structure : Le dataset contient près de 10 000 vidéos générées par six modèles T2V propriétaires de pointe (Kling, Hunyuan, etc.).
• Dimensions d'Évaluation : Chaque vidéo est annotée selon trois dimensions fondamentales :
  1. Qualité Visuelle : Fidélité, netteté, artefacts, esthétique.
  2. Qualité Dynamique : Fluidité, cohérence temporelle, plausibilité physique.
  3. Alignement Texte-Vidéo : Cohérence sémantique avec le prompt.
• Annotations Riches : Contrairement aux scores scalaires simples, Q-Save inclut des explications d'attribution (attribution explanations) pour les vidéos présentant des défauts. Cela permet de lier le score à des preuves explicites (ex: "distorsion des jambes", "mouvement non physique").
• Contrôle Qualité : Un protocole rigoureux implique plusieurs tours de calibration, des audits manuels et une annotation par au moins 3 annotateurs pour l'entraînement et 12 pour le test.

B. Architecture du Modèle

• Backbone : Le modèle est basé sur Qwen3-VL-8B-Instruct, un grand modèle multimodal (LMM) capable de comprendre les vidéos.
• Prétraitement "SlowFast" : Pour gérer la contrainte de budget de tokens tout en capturant les détails temporels, l'équipe adopte une stratégie inspirée de SlowFast :
  • Slow Pathway : Traite les trames clés (changements majeurs) à haute résolution.
  • Fast Pathway : Traite les trames statiques ou peu changeantes à basse résolution mais en plus grand nombre.
  • Cela permet de capturer à la fois la structure temporelle globale et les mouvements fins.
• Format de Sortie : Le modèle génère une analyse de type "Chain-of-Thought" (CoT) suivie d'un score discret (Bad à Excellent). Le score final est calculé comme l'espérance mathématique d'une distribution de probabilité sur les tokens de notation, permettant un score continu.

C. Stratégie d'Entraînement en Trois Étapes

Pour maximiser les capacités du VLM, une pipeline hybride est utilisée :

1. SFT (Supervised Fine-Tuning) - Démarrage à froid : Apprentissage du format de réponse (analyse + score) et des bases de l'évaluation.
2. RL (Reinforcement Learning) - Échauffement : Utilisation de l'optimisation de politique relative groupée (GRPO) avec des récompenses basées sur la précision du score et la présence d'une justification (format). Cela aligne le modèle sur les objectifs d'évaluation et réduit les comportements de "raccourci".
3. SFT Final - Refroidissement (Cool-off) : Un dernier tour de SFT sur les sorties correctes générées par le RL pour stabiliser les scores, réduire la variance et assurer une cohérence dans le format de sortie.

3. Résultats Expérimentaux

Les expériences montrent que Q-Save surpasse les méthodes de l'état de l'art (comme VideoScore-v2, UnifiedReward, DOVER) sur plusieurs fronts :

• Performance In-Domain : Sur le jeu de test Q-Save, le modèle atteint des corrélations exceptionnelles (SRCC/PLCC) pour les trois dimensions, notamment une corrélation PLCC de 1.000 pour la qualité visuelle au niveau modèle.
• Généralisation (Cross-Dataset) : Q-Save démontre une forte capacité de transfert sur des benchmarks externes (VideoGen-RewardBench, T2VQA-DB, VideoPhy2), surpassant les concurrents en précision de préférence et en corrélation MOS.
• Utilisation comme Modèle de Récompense : Lorsqu'il est utilisé pour entraîner des générateurs de vidéos par RL, Q-Save améliore significativement la qualité perçue par les humains par rapport à l'utilisation de modèles de récompense open-source existants (comme HPSv3).
• Interprétabilité : La capacité à fournir des justifications détaillées (attribution) permet non seulement de mieux comprendre les échecs, mais aussi d'augmenter la précision du scoring grâce à l'apprentissage supervisé par ces explications.

4. Contributions Clés

1. Dataset Q-Save : Un benchmark de haute qualité avec 10k vidéos, contrôlé rigoureusement, intégrant des scores MOS et des explications d'attribution fines sur trois dimensions critiques.
2. Stratégie de Prétraitement Temporel : Introduction d'une méthode SlowFast adaptée aux VLM pour optimiser l'utilisation des tokens tout en préservant les preuves temporelles essentielles à l'évaluation de la dynamique.
3. Pipeline d'Entraînement Hybride : Une approche innovante SFT $\to$ RL (GRPO) $\to$ SFT qui exploite pleinement les capacités des VLM modernes pour obtenir des scores stables, calibrés et interprétables.
4. Validation de l'Attribution : Démonstration que l'ajout de données d'explication (attribution) agit comme un puissant mécanisme d'augmentation de données, améliorant la précision et la robustesse des évaluateurs.

5. Signification et Impact

Q-Save représente une avancée majeure dans l'évaluation des vidéos générées par l'IA en passant d'une approche de "boîte noire" (score unique) à une approche diagnostique et interprétable.

• Pour la recherche : Il fournit un standard pour l'évaluation multidimensionnelle et ouvre la voie à des modèles capables de justifier leurs jugements.
• Pour l'industrie : Le modèle peut être directement utilisé comme modèle de récompense pour optimiser les générateurs de vidéos (T2V), réduisant ainsi les coûts de révision humaine et accélérant l'itération des modèles.
• Éthique : Les auteurs soulignent la nécessité d'une surveillance humaine et de audits de biais futurs, reconnaissant que ces modèles pourraient être détournés pour optimiser la génération de médias trompeurs.

En résumé, Q-Save établit un nouveau paradigme pour l'évaluation AIGV en combinant rigueur des données, architecture efficace et apprentissage par renforcement pour des évaluateurs à la fois précis, stables et explicables.