💻 computer science

Enhancing Video Physical Consistency via Role-aware Joint Training and Modality-decoupled Denoising

Le papier propose VPT, un cadre de fine-tuning pour les modèles de diffusion vidéo qui améliore la cohérence physique à longue portée en introduisant un regroupement de signaux sensible aux rôles et une stratégie de débruitage décorrélée des modalités afin d'atténuer les conflits de capacité et les erreurs d'inférence tout en préservant la fidélité visuelle.

Auteurs originaux : Guangting Zheng, Haojing Chen, Hao Li, Jingtao Zhang, Zhen Yang, Xiaosong Jia, Xue Yang, Shaofeng Zhang, Yanyong Zhang

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guangting Zheng, Haojing Chen, Hao Li, Jingtao Zhang, Zhen Yang, Xiaosong Jia, Xue Yang, Shaofeng Zhang, Yanyong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Des vidéos qui sont belles mais qui semblent « fausses »

Imaginez que vous regardez un film où un personnage verse du vin dans un verre. Les visuels sont superbes — le verre semble réel, le vin est rouge et l'éclairage est parfait. Mais ensuite, quelque chose de bizarre se produit : le vin défie la gravité, flottant vers le haut dans le verre, ou il traverse le verre comme s'il était fait d'une brume fantomatique.

C'est l'état actuel de nombreux générateurs de vidéos par IA. Ils sont incroyables pour peindre de jolies images (fidélité visuelle), mais ils échouent souvent à comprendre la physique (comment les objets bougent et interagissent réellement). Ils ne « savent » pas qu'un rocher lourd tombe plus vite qu'une plume, ou qu'un liquide ne peut pas traverser un mur solide.

L'ancienne méthode : Essayer de tout apprendre en même temps

Les tentatives précédentes pour corriger cela consistaient à enseigner la physique à l'IA en lui montrant des « cartes de mouvement » (comme le flux optique, qui suit le mouvement des pixels) en même temps que la vidéo. Considérez cela comme essayer d'apprendre à un étudiant à conduire une voiture en le faisant regarder à la fois la route et une carte complexe des lois de la circulation, avec le professeur criant des instructions pour les deux exactement au même moment.

L'article soutient que cette approche présente trois défauts principaux :

Elle traite tout le monde de la même manière : Elle ne sait pas faire la différence entre la personne qui conduit la voiture (l'« agent »), la voiture elle-même (l'« objet contrôlé ») et un arbre sur le bord de la route (un « objet passif »). Tous reçoivent la même instruction de mouvement générique.
Cela provoque un bras de fer : L'IA est confuse. Elle essaie de rendre l'image belle et de suivre parfaitement la carte de physique en même temps. Souvent, essayer de suivre la carte de physique trop strictement rend l'image floue ou étrange.
L'erreur du « téléphone arabe » : Pendant le processus de création de la vidéo, l'IA doit deviner la carte de mouvement pour l'étape suivante en se basant sur sa propre supposition précédente. Si elle fait une petite erreur au début, cette erreur s'amplifie à chaque étape, comme dans un jeu de « téléphone arabe » où le message est déformé à la fin.

La nouvelle solution : VPT (Video Physical-consistency Tuning)

Les auteurs proposent un nouveau cadre appelé VPT. Considérez VPT comme une séance de coaching spécialisée pour une IA qui sait déjà dessiner, lui apprenant spécifiquement comment faire bouger les choses de manière réaliste sans gâcher ses talents de dessin.

Voici les trois astuces que VPT utilise :

1. La carte de « jeu de rôle » (Représentation conjointe sensible aux rôles)

Au lieu de simplement montrer à l'IA une carte de mouvement générique, VPT lui donne un « script » qui étiquette chaque partie de la scène avec un rôle spécifique :

L'Agent : La chose qui fait l'action (par exemple, une main humaine).
L'Objet Contrôlé : La chose qui est déplacée par l'agent (par exemple, un gant de baseball).
L'Objet Passif : La chose qui est frappée ou affectée (par exemple, la balle de baseball).
L'Arrière-plan : Tout le reste (par exemple, le ciel ou le terrain).

L'analogie : Imaginez que vous dirigez une pièce de théâtre. Au lieu de dire à toute la troupe « tout le monde se déplace vers la gauche », le metteur en scène dit : « L'acteur jouant le héros court vers l'avant, l'accessoire (la balle) vole dans les airs, et le décor de l'arrière-plan reste immobile ». En sachant qui fait quoi, l'IA comprend beaucoup mieux la physique.

2. La stratégie de « pratique séparée » (Débruitage déconnecté des modalités)

Dans l'ancienne méthode, l'IA devait corriger l'image et la carte de physique au moment exact. VPT change les règles : il permet à l'IA de pratiquer la correction de l'image et de la carte de physique à des moments différents et à des vitesses différentes.

L'analogie : Imaginez un musicien apprenant une nouvelle chanson.

Ancienne méthode : Il essaie de jouer la mélodie et le rythme parfaitement en même temps, s'frustre et rate les deux.
Méthode VPT : Il pratique d'abord le rythme, puis la mélodie, puis les combine. Surtout, il traite le rythme comme une « suggestion douce » plutôt que comme une règle rigide. Si le guide du rythme est légèrement décalé, le musicien ne panique pas ; il utilise simplement sa propre bonne oreille (l'entraînement visuel) pour que la chanson sonne bien. Cela empêche l'IA d'« oublier » comment dessiner de belles images tout en essayant d'apprendre la physique.

3. Le guide de « répétition » (Auto-guidage inter-étapes)

Pour stopper les erreurs du « téléphone arabe » (où de petites erreurs deviennent énormes), VPT utilise une astuce intelligente lors de la génération de la vidéo. Il utilise une version antérieure de l'IA entraînée comme guide de référence pour l'IA finale.

L'analogie : Imaginez que vous rédigez une dissertation pour un examen final. Vous avez un brouillon que vous avez écrit hier (le modèle intermédiaire) et la version finale que vous écrivez maintenant (le modèle final). Au lieu de deviner toute la dissertation à partir de zéro, vous regardez votre brouillon pour voir la direction générale que vous suiviez, puis vous utilisez cela pour pousser votre dissertation finale dans la bonne direction sans rester bloqué sur les petites erreurs du brouillon. Cela aide l'IA à rester sur la bonne voie physique sans être confondue par ses propres erreurs.

Les résultats : Une meilleure physique, la même beauté

L'article a testé VPT sur des modèles vidéo existants (comme Wan2.1).

Avant : L'IA pouvait créer une vidéo d'une bouteille de vin qui verse, mais le vin pouvait flotter ou éclabousser bizarrement.
Après (avec VPT) : Le vin coule en un arc réaliste, éclabousse naturellement et interagit correctement avec le verre.

Les résultats montrent que VPT améliore considérablement le « bon sens physique » des vidéos (les faisant obéir aux lois de la physique) sans rendre les vidéos moins belles ou moins détaillées. Il a réussi à enseigner à l'IA à distinguer un héros, un accessoire et un objet d'arrière-plan, et à apprendre la physique sans briser ses compétences artistiques.

Résumé

VPT est comme donner à un artiste talentueux de nouvelles instructions : « Ne vous contentez pas de peindre la scène ; comprenez les rôles des personnages, pratiquez le mouvement séparément des couleurs, et utilisez vos brouillons précédents pour guider vos traits finaux. » Le résultat est des vidéos qui sont magnifiques et qui bougent comme le monde réel.

Résumé Technique : VPT – Améliorer la cohérence physique des vidéos via un entraînement conjoint sensible aux rôles et un débruitage découplé par modalité

1. Énoncé du problème

Les modèles de diffusion vidéo modernes ont atteint un succès remarquable dans la génération de vidéos de haute fidélité avec des détails visuels riches. Cependant, ils peinent à maintenir une cohérence physique à long terme dans des scènes dynamiques complexes. Les objectifs standards de reconstruction de pixels privilégient les détails d'apparence à haute fréquence, échouant souvent à capturer la physique sous-jacente d'une scène. Par conséquent, les vidéos générées peuvent présenter des trajectoires implausibles, des déformations non naturelles ou des interactions de matériaux incohérentes (par exemple, une bouteille de vin versant un liquide qui défie la gravité ou se déforme de manière anormale).

Les tentatives récentes visant à remédier à cela en intégrant des modalités auxiliaires (telles que le flux optique) via un entraînement conjoint font face à trois limitations critiques :

Dynamiques hétérogènes ignorées : Les méthodes existantes traitent le mouvement de manière uniforme, échouant à distinguer les rôles physiques distincts de différentes entités (par exemple, un agent actif, un objet contrôlé, un objet passif et l'arrière-plan).
Conflit de capacité : La modélisation conjointe de l'apparence visuelle et des modalités auxiliaires crée des conflits d'optimisation. À mesure que le modèle apprend à s'ajuster aux signaux auxiliaires, la perte de débruitage visuel augmente souvent, affaiblissant le prior visuel préentraîné et entraînant une dégradation de la qualité visuelle ou un effondrement de la génération.
Accumulation d'erreurs lors de l'inférence : Lors de l'inférence, les modalités auxiliaires doivent être prédites de manière récursive par le modèle lui-même. Comme la prédiction auxiliaire est moins mature que la génération visuelle, des erreurs mineures dans ces prédictions se propagent et s'amplifient à travers les étapes de débruitage, provoquant une génération de mouvement instable.

2. Méthodologie : Cadre VPT

Les auteurs proposent VPT (Video Physical-consistency Tuning), un cadre de fine-tuning léger conçu pour injecter des priors physiques dans les modèles de diffusion vidéo préentraînés tout en préservant leur qualité visuelle. VPT se compose de trois composants principaux :

A. Représentation conjointe sensible aux rôles

Au lieu de s'appuyer uniquement sur un champ de flux optique dense, VPT introduit une carte sensible aux rôles qui catégorise les entités de la scène en quatre rôles physiques distincts :

Agents : Entités qui initient des actions.
Objets contrôlés : Entités manipulées par les agents.
Objets passifs : Entités affectées par des forces externes.
Arrière-plan : Régions statiques ou sans interaction.

Ces rôles sont encodés sous forme de carte dense et concaténés avec le flux optique et le latent vidéo. Cette représentation permet au modèle de distinguer les dynamiques et les interactions spécifiques aux entités (par exemple, un agent attrapant activement une balle contre une balle réagissant passivement à un impact) sans surcharge de modélisation significative.

B. Débruitage découplé par modalité avec atténuation de la perte auxiliaire

Pour résoudre le conflit de capacité et les problèmes de dépendance rencontrés dans l'entraînement conjoint naïf, VPT emploie deux stratégies :

Débruitage découplé par modalité : Contraignt contrairement aux méthodes précédentes qui imposent un pas de temps de diffusion partagé pour toutes les modalités, VPT assigne des pas de temps indépendants ( $t_v, t_f, t_r$ ) à la vidéo, au flux optique et aux signaux sensibles aux rôles. Ce découplage transforme les modalités auxiliaires de cibles de débruitage "strictes" en contraintes physiques "souples", permettant à la branche visuelle de maintenir son prior préentraîné même si les prédictions auxiliaires sont imparfaites.
Atténuation de la perte auxiliaire : Le poids des pertes auxiliaires ( $\lambda$ ) est progressivement diminué à l'aide d'un programme cosinus pendant le fine-tuning. Au début de l'entraînement, le modèle apprend la structure du mouvement et les biais liés aux rôles ; plus tard, l'accent est mis sur la préservation du prior visuel, empêchant le modèle de trop dépendre de signaux auxiliaires potentiellement bruités.

C. Auto-guidage cross-step

Pour améliorer davantage la dynamique physique sans dépendre de prédictions auxiliaires récursives bruitées lors de l'inférence, VPT introduit l'auto-guidage cross-step. Cette technique utilise un modèle intermédiaire (provenant d'une étape de fine-tuning antérieure) comme référence pour guider le modèle final. En extrapolant la direction de génération du modèle final par rapport au modèle intermédiaire, la méthode amplifie la dynamique physique apprise tout en évitant l'accumulation d'erreurs associée à l'auto-guidage standard sur les modalités auxiliaires.

3. Contributions clés

Représentation sensible aux rôles : L'introduction d'une ancre sémantique légère qui modélise explicitement les dynamiques hétérogènes des agents, des objets contrôlés, des objets passifs et des arrière-plans, répondant à la limitation de la modélisation uniforme du mouvement.
Stratégie d'entraînement découplée : Un nouveau paradigme d'entraînement qui sépare les pas de temps et atténue les pertes auxiliaires pour atténuer les conflits de capacité et empêcher la dégradation des priors visuels préentraînés.
Mécanisme d'inférence robuste : L'utilisation de l'auto-guidage cross-step pour améliorer la cohérence physique sans les risques d'accumulation d'erreurs des modalités auxiliaires prédites de manière récursive.
Performance de pointe : VPT atteint des améliorations significatives sur les benchmarks de cohérence physique tout en maintenant une qualité visuelle compétitive, démontnant que les priors physiques peuvent être injectés efficacement via le fine-tuning plutôt que par un réentraînement complet.

4. Résultats expérimentaux

Les auteurs ont évalué VPT sur les benchmarks VideoPhy et VideoPhy-2 (mesurant l'adhérence sémantique [SA] et le sens commun physique [PC]) ainsi que sur la suite VBench (mesurant la qualité vidéo générale).

Cohérence physique : Sur le benchmark VideoPhy utilisant le backbone Wan2.1-T2V-1.3B, VPT a amélioré la SA de 47,7 à 66,5 et la PC de 21,2 à 25,0. Sur VideoPhy-2, il a amélioré la SA de 19,3 à 22,5 et la PC de 53,7 à 55,1. Des gains similaires ont été observés avec le backbone plus large de 14B.
Qualité visuelle : Contrairement au simple entraînement conjoint ou au fine-tuning complet, qui dégradent souvent la qualité visuelle, VPT a maintenu ou amélioré les scores sur VBench, atteignant un score global de 79,58 (contre 76,93 pour le baseline).
Études d'ablation : Les expériences ont confirmé que :
- L'entraînement conjoint naïf mène à un effondrement visuel.
- Les cartes sensibles aux rôles apportent des gains significatifs par rapport au seul flux optique.
- L'auto-guidage cross-step produit une meilleure cohérence physique que l'auto-guidage interne avec les modalités auxiliaires.
- Le VAE vidéo préentraîné peut reconstruire fidèlement le flux optique et les cartes de rôles, validant l'approche de l'espace latent partagé.

5. Signification et affirmations

L'article affirme que VPT fournit une solution efficace et légère pour améliorer la cohérence physique des modèles de diffusion vidéo préentraînés. En découplant les modalités et en modélisant explicitement les rôles des entités, VPT injecte avec succès des priors de physique sans compromettre la fidélité visuelle ou l'adhérence aux prompts du modèle de base.

Les auteurs soulignent que leur approche évite les pièges des méthodes de l'entraînement conjoint précédent (conflit de capacité et accumulation d'erreurs) et démontre que la modélisation explicite des rôles physiques est cruciale pour des interactions réalistes. Le travail suggère que les futurs modèles de génération de vidéo peuvent atteindre une cohérence de type "modèle de monde" grâce à des stratégies de fine-tuning ciblées plutôt qu'en comptant uniquement sur un préentraînement à plus grande échelle ou des pipelines complexes basés sur la simulation.

Limites reconnues par les auteurs :

Le cadre repose sur l'extraction automatique du flux optique et sur des assignations de rôles basées sur les VLM, ce qui signifie que les erreurs de ces outils en amont peuvent affecter l'apprentissage du prior physique.
Les expériences sont actuellement limitées aux backbones Wan2.1 et aux benchmarks standards en raison de contraintes de calcul.
L'échelle des jeux de données de vidéos physiques existants limite la capacité d'explorer le fine-tuning sur des jeux de données substantiellement plus grands.