Résumé Technique : Optimisation de la Préférence Directe Physique et Sémantique pour la Génération de Texte-vers-Vidéo

1. Énoncé du Problème

Les modèles de génération de texte-vers-vidéo (T2V) ont atteint un réalisme visuel significatif, mais violent fréquemment les principes physiques de base. Bien que les méthodes d'alignement basées sur les préférences, particulièrement l'Optimisation de la Préférence Directe (DPO), soient apparues comme une approche prometteuse pour améliorer la plausibilité physique via des comparaisons par paires, elles introduisent un mode de défaillance critique : la dérive sémantique.

Le problème central provient d'une asymétrie structurelle dans les signaux de supervision :

• Plausibilité Physique : Généralement évaluée via une comparaison relative (déterminer laquelle de deux vidéos respecte le mieux les lois physiques). Ce processus ne vérifie pas intrinsèquement si l'une ou l'autre vidéo représente fidèlement les objets ou la scène spécifiques au prompt.
• Cohérence Sémantique : Naturellement traitée comme une évaluation par échantillon (vérifier si une vidéo correspond au texte).

La DPO standard suppose que l'échantillon physiquement préféré est également sémantiquement valide. Cependant, une analyse empirique révèle que dans plus de 50 % des paires de préférence physique, la vidéo jugée « physiquement meilleure » viole en réalité les contraintes sémantiques du prompt (par exemple, représenter un citron entier au lieu d'une tranche de citron, même si le mouvement est physiquement précis). Lorsque la DPO standard optimise sur ces « paires de conflit », elle pousse le modèle vers des solutions physiquement plausibles mais sémantiquement incohérentes, entraînant une convergence instable et une dégradation de l'alignement texte-vidéo.

2. Méthodologie : PSDPO

Les auteurs proposent la PSDPO (Physical and Semantic Direct Preference Optimization), un cadre qui traite l'alignement physique comme un problème d'optimisation sous contrainte. La PSDPO opère entièrement au sein du cadre DPO standard sans nécessiter de modèles auxiliaires, de termes de perte additionnels ou de changements architecturaux.

2.1 Formulation Contrainte

La méthode formule l'objectif comme la minimisation de la perte DPO sous une contrainte de faisabilité sémantique : la vidéo physiquement préférée ($y_w$) doit également maintenir des scores d'alignement sémantique ($S_{sem}$) supérieurs ou égaux à la vidéo rejetée ($y_l$).
$$\min_{\theta} L_{DPO}(\theta) \quad \text{sous contrainte de} \quad S_{sem}(y_w, x) \geq S_{sem}(y_l, x)$$

2.2 Modulation Asymétrique

Au lieu de filtrer strictement les paires violant la contrainte (ce qui rejetterait des signaux de supervision physique précieux), la PSDPO introduit une fonction de modulation lisse et strictement positive, $\mathcal{W}(\Delta S)$, où $\Delta S = S_{sem}(y_w, x) - S_{sem}(y_l, x)$.

• Paires Concordantes (Match Pairs) ($\Delta S \geq 0$) : Le poids est de 1,0, retrouvant le comportement de la DPO standard.
• Paires de Conflit (Conflict Pairs) ($\Delta S < 0$) : Le poids est atténué à l'aide d'une fonction exponentielle asymétrique : $\mathcal{W}(\Delta S) = \exp(\Delta S / \tau)$.

Ce mécanisme supprime proportionnellement la contribution du gradient des paires où la préférence physique entre en conflit avec la cohérence sémantique, limitée par un paramètre de température $\tau$.

2.3 Analyse du Gradient et Contrôle de la Dérive

Une analyse au niveau du gradient démontre que la DPO non contrainte introduit un biais directionnel systématique (dérive) provenant des paires de conflit. La PSDPO limite cette dérive à un résidu contrôlable. Pour atténuer davantage la dérive cumulative au cours de l'entraînement, les auteurs dérivent un protocole d'optimisation par étapes :

1. Étape 1 : Entraîner exclusivement sur les « Paires Concordantes » ($D_{match}$) pour établir une représentation de préférence stable avec une accumulation de dérive nulle.
2. Étape 2 : Introduire les « Paires de Conflit » ($D_{conf}$) avec des poids modulés pour extraire les signaux physiques résiduels de manière contrôlée.

2.4 Système d'Évaluation de l'Évidence Physique (PCE)

Pour générer les données de préférence nécessaires, les auteurs ont développé un système PCE basé sur un pipeline de raisonnement hiérarchique (utilisant Qwen3-VL). Il combine :

1. Analyseur de Phénomènes Physiques : Identifie les événements physiques centraux à partir du texte.
2. Métriques Géométriques Auxiliaires : Utilise des outils tels que Depth Anything et RAFT pour estimer l'amplitude du flux et l'instabilité de la profondeur.
3. Raisonnement Hiérarchique : Un juge MLLM qui vérifie les lois physiques et les métriques sans hallucination, atteignant un accord de 75,54 % avec les jugements humains sur la plausibilité physique relative.

3. Contributions Clés

1. Identification d'un Échec Structurel : L'article identifie que le conflit physique-sémantique est une tendance systématique dans l'alignement de préférence T2V, et non un simple artefact de données, causée par la dépendance à la comparaison physique relative sans vérification de la fidélité sémantique.
2. Cadre PSDPO : Une nouvelle méthode d'optimisation de préférence contrainte qui intègre la faisabilité sémantique dans l'objectif d'apprentissage via un mécanisme de modulation, ne nécessitant aucun modèle auxiliaire.
3. Garanties Théoriques : Une analyse au niveau du gradient prouvant que la PSDPO limite la dérive sémantique des paires de conflit et un protocole par étapes dérivé qui réduit prouvablement la dérive cumulative.
4. Système PCE : Un système d'évaluation robuste pour construire des jeux de données de préférence physique qui surpasse le scoring absolu et les MLLM autonomes en termes d'accord avec les jugements humains.

4. Résultats Expérimentaux

Les expériences ont été menées sur VBench, VideoPhy-2 et PhyGenBench en utilisant le modèle Wan-1.3B.

• Plausibilité Physique : La PSDPO améliore la plausibilité physique jusqu'à 2× par rapport à la ligne de base sur VideoPhy-2 (par exemple, améliorant le score du sous-ensemble « Hard » de 0,039 à 0,078).
• Cohérence Sémantique : Contrairement à la DPO classique, qui dégrade la fidélité sémantique, la PSDPO maintient ou améliore les scores sémantiques sur VBench (Score total : 84,13 contre 82,79 pour la DPO classique).
• Comparaison avec l'État de l'Art (SOTA) : La PSDPO surpasse les méthodes de préférence existantes (VideoDPO, PhysHPO, RDPO) et les méthodes spécialisées dans la physique (PhysGen, PhyMAGIC) sur plusieurs benchmarks, atteignant un meilleur équilibre entre réalisme physique et alignement sémantique.
• Études d'Ablation :
  • Échelle de Modulation ($\tau$) : $\tau=0,02$ offre le meilleur équilibre, restaurant significativement l'adhérence sémantique tout en préservant l'apprentissage physique.
  • Entraînement par Étapes : Un point de basculement ($T_s$) de 1000 étapes (dans un calendrier total de 3k étapes) donne les meilleurs résultats, équilibrant la stabilité initiale avec l'extraction ultérieure du signal physique.

5. Signification et Revendications

L'article affirme que la PSDPO démontre qu'une formulation rigoureuse peut produire à la fois une solidité théorique et une simplicité pratique. En traitant l'asymétrie structurelle entre la supervision physique et sémantique, la méthode atteint un équilibre plus fiable que les approches existantes.

Les auteurs soulignent que leur approche :

• Opère entièrement dans le cadre de la DPO standard.
• Ne nécessite aucun modèle auxiliaire, terme de perte supplémentaire ou changement de l'architecture de base.
• Ne repose pas sur des simulateurs physiques externes ou sur le raisonnement par chaîne de pensée (Chain-of-Thought) lors de l'inférence (contrairement à certaines méthodes concurrentes).
• Résout avec succès la tension entre l'amélioration de la plausibilité physique et le maintien de la cohérence sémantique, une étape cruciale vers la génération de contenu vidéo fondé sur la physique à partir de texte.