Résumé technique : PhyDetEx – Détection et explication de la plausibilité physique des modèles T2V

1. Énoncé du problème

Les récents modèles Texte-vers-Vidéo (T2V) ont réalisé des progrès significatifs en matière de qualité visuelle, de cohérence temporelle et de suivi des instructions, les positionnant comme des candidats potentiels pour des « modèles du monde » capables de simuler des dynamiques physiques. Cependant, ces modèles génèrent fréquemment du contenu qui viole les lois physiques fondamentales (par exemple, la pénétration d'objets, l'incohérence de la quantité de mouvement ou la non-conservation de l'énergie), même lorsqu'ils sont sollicités avec des descriptions réalistes.

Les méthodes d'évaluation actuelles de la plausibilité physique font face à deux limitations principales :

1. Prompts basés sur des règles : Ils sont limités à des scénarios prédéfinis et manquent de généralisabilité.
2. Détecteurs de bout en bout : Bien qu'ils puissent attribuer des scores de plausibilité, ils manquent souvent d'interprétabilité, échouant à expliquer pourquoi une violation s'est produite.

De plus, les modèles Vision-Langage (VLM), qui possèdent de fortes capacités de raisonnement, ont été explorés en tant qu'évaluateurs généraux. Cependant, des investigations préliminaires révèlent que même les VLM les plus avancés peinent à détecter le contenu physiquement improbable dans les sorties T2V. Cet échec est attribué à un biais où les VLM, entraînés principalement sur des données du monde réel, supposent que les vidéos d'entrée sont physiquement plausibles sauf indication contraire explicite, ou qu'ils s'appuient sur des raccourcis (par exemple, distinguer « réel » vs « généré » plutôt que d'analyser la cohérence physique).

2. Méthodologie

2.1. Construction du jeu de données PID

Pour pallier le manque de données d'entraînement adaptées et le biais des VLM, les auteurs construisent le jeu de données Physical Implausibility Detection (PID), composé d'une division d'entraînement et d'une division de test.

• Division d'entraînement (2 588 paires de vidéos) :

  • Source : Dérivé de VIDGEN-1M, un vaste jeu de données T2V du monde réel.
  • Construction : Pour chaque vidéo du monde réel ($v_r$) avec une légende plausible ($t_r$), un LLM réécrit la légende pour introduire une impossibilité physique spécifique ($t_g$) tout en préservant tous les autres éléments contextuels. Un modèle T2V génère ensuite la vidéo improbable ($v_g$) à partir de $t_g$.
  • Objectif de conception : Cela crée des paires contrastives où la seule différence réside dans la plausibilité physique de l'événement, isolant le concept cible et empêchant le modèle d'apprendre des raccourcis basés sur l'arrière-plan ou la disposition de la scène.
  • Filtrage : Un VLM est utilisé pour vérifier que les vidéos générées reflètent avec précision les violations physiques intentionnelles.

• Division de test (500 vidéos) :

  • Composition : 250 vidéos physiquement improbables et 250 vidéos physiquement plausibles.
  • Sous-ensemble improbable : Collecté auprès de divers modèles T2V utilisant des prompts normaux (plausibles), où les modèles ont involontairement généré des violations. Ceux-ci sont annotés manuellement avec des explications des violations.
  • Sous-ensemble plausible : Un mélange de vidéos du monde réel et de générations T2V de haute qualité. Cette conception élimine le raccourci « réel vs généré », forçant le modèle à raisonner sur les lois physiques plutôt que sur l'origine du jeu de données.

2.2. PhyDetEx : Une approche de fine-tuning

Les auteurs proposent PhyDetEx (Détecteur et Expliquateur de Plausibilité Physique), une stratégie de fine-tuning légère appliquée à un VLM de base (Qwen2.5-7B).

• Objectif d'entraînement : Le modèle est entraîné à distinguer les membres plausibles et improbables des paires de vidéos. L'objectif est de forcer le VLM à s'appuyer uniquement sur le contenu de l'événement physique ($c_{phys}$) plutôt que sur le contexte partagé ($c_{share}$).
• Supervision : L'entraînement utilise un objectif standard de modélisation du langage (LM). Pour chaque paire vidéo-légende, le modèle génère une séquence de tokens commençant par un jugement binaire ([OUI] ou [NON]) suivi d'une explication en langage naturel des principes physiques violés ou respectés.
• Efficacité : L'approche utilise LoRA (Low-Rank Adaptation) pour un ajustement efficace des paramètres, nécessitant un coût computationnel minimal.

3. Contributions clés

1. Jeu de données PID : Une référence complète spécifiquement conçue pour la détection d'improbabilité physique, présentant une division d'entraînement contrastive et une division de test rigoureuse évitant les raccourcis d'évaluation courants.
2. Analyse des limites des VLM : L'article démontre que les VLM possèdent des connaissances physiques latentes mais échouent à les appliquer en raison de biais concernant l'authenticité des vidéos d'entrée. Leurs performances s'améliorent considérablement lorsqu'ils sont explicitement informés qu'une vidéo est générée par une IA, suggérant un besoin d'entraînement ciblé.
3. Modèle PhyDetEx : Un VLM léger et fine-tuné capable non seulement de détecter les violations physiques, mais aussi de fournir des explications textuelles interprétables.
4. Étalonnage des modèles T2V : Une évaluation systématique des modèles T2V les plus avancés (à la fois open-source et closed-source) utilisant PhyDetEx pour évaluer leur respect des lois physiques.

4. Résultats expérimentaux

4.1. Performance de détection

Évalué sur la division de test PID et sur le benchmark existant « Impossible Videos », PhyDetEx surpasse nettement les VLM existants (y compris InternVL, LLaVA, MiniCPM-V et diverses versions de QwenVL).

• Métriques : PhyDetEx atteint le score F1 et le score de raisonnement les plus élevés, indiquant une capacité équilibrée à détecter à la fois le contenu plausible et improbable tout en fournissant des explications précises.
• Comparaison : Alors que les modèles de base exhibent souvent un fort biais en faveur de la prédiction « plausible » (obtenant une haute précision sur les vidéos plausibles mais une précision proche de zéro sur les vidéos improbables), PhyDetEx atteint un score F1 de 87,8 % sur le benchmark Impossible Videos et de 83,5 % sur la division de test PID.

4.2. Étalonnage des modèles T2V

Utilisant PhyDetEx comme évaluateur, les auteurs ont évalué plusieurs modèles T2V :

• Closed-Source : Sora 2.0 a démontré la plus haute plausibilité physique (86,0 % de taux, 32,62 de score), surpassant nettement Veo 3.1 (72,0 % de taux).
• Open-Source : Des modèles comme WanX 2.1 et HunyuanVideo ont montré des performances modérées. Notamment, WanX 2.1 1.3B a atteint un taux de plausibilité élevé comparable à celui des modèles plus grands, suggérant qu'une génération d'actions plus simple peut réduire la probabilité de violations physiques, même si la fidélité visuelle est inférieure.
• Constat général : Bien que les modèles closed-source aient fait des progrès, la compréhension et le respect des lois physiques restent un défi substantiel, en particulier pour les systèmes open-source.

4.3. Application à l'amélioration des modèles

Les auteurs ont démontré l'utilité de PhyDetEx en tant que modèle de récompense pour l'Optimisation Directe des Préférences (DPO). En utilisant PhyDetEx pour générer des paires de préférences (vidéos plausibles vs improbables) pour les modèles T2V, ils ont réussi à fine-tuner WanX 2.1 1.3B, entraînant une amélioration du sens commun physique et de l'alignement sémantique sur des benchmarks externes (VideoPhy).

5. Signification et affirmations

L'article affirme que les modèles T2V actuels, bien que visuellement impressionnants, manquent toujours d'une compréhension robuste des dynamiques du monde physique. La signification de ce travail réside dans :

• Changement d'évaluation : Passer au-delà des métriques de qualité visuelle vers une évaluation rigoureuse de la plausibilité physique avec interprétabilité.
• Débloquer le potentiel des VLM : Démontrer que les VLM possèdent des connaissances physiques implicites qui peuvent être débloquées par un fine-tuning contrastif sur des données soigneusement construites, plutôt que de nécessiter un pré-entraînement massif.
• Progrès dans la modélisation du monde : Souligner que si les modèles closed-source s'approchent des capacités de « modèle du monde », les modèles open-source accusent encore un retard significatif en matière de raisonnement physique, identifiant un goulot d'étranglement clé pour le développement futur des T2V.

Les auteurs reconnaissent des limites, notant que PhyDetEx peut encore halluciner dans des scénarios physiques complexes ou non visuels et que les travaux futurs pourraient bénéficier de l'intégration d'informations multi-modales (par exemple, l'audio) pour améliorer davantage les capacités de détection.