💻 computer science

Evaluating Newtonian Mechanics in Video Generative Models with Real Physical Systems

Cet article présente Morpheus, un cadre d'évaluation fondé sur la physique utilisant 130 vidéos du monde réel et des lois de conservation pour démontrer que les modèles contemporains de génération de vidéo ne parviennent pas à encoder avec précision la dynamique newtonienne malgré la production de résultats visuellement attrayants.

Auteurs originaux : Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un groupe d'artistes incroyablement talentueux capables de peindre des images animées (des vidéos) qui ont l'air si réelles que vous auriez l'impression de pouvoir les toucher. Ces artistes sont les nouveaux « Modèles de Génération Vidéo » (comme SORA, Veo ou Kling). Tout le monde est enthousiasmé car les gens espèrent que ces artistes ne se contenteront pas de peindre de jolies images, mais qu'ils comprendront réellement comment le monde fonctionne — comme un « simulateur de monde » qui sait que la gravité tire les objets vers le bas ou qu'une balle rebondit.

Mais il y a un hic : connaissent-ils réellement les lois de la physique, ou sont-ils simplement très doués pour faire semblant ?

Ce document présente un nouveau test appelé Morpheus pour le découvrir. Considérez Morpheus non pas comme un critique d'art, mais comme un détective de la physique.

Le Problème : Le Piège du « C'est Joli »

Auparavant, pour vérifier si une vidéo était « réelle », on demandait simplement à des humains ou à des chatbots IA : « Est-ce que cela ressemble à une vraie balle qui tombe ? »

La faille : C'est comme juger un tour de magie en demandant : « Est-ce que le lapin est apparu ? ». Le lapin est peut-être apparu, mais c'était peut-être un faux lapin en papier.
Le problème : Une vidéo peut être fluide et belle (esthétique) tout en violant les lois de la physique (par exemple, une balle roulant vers le haut sans être poussée, ou une balle perdant de l'énergie alors qu'elle ne devrait pas). Les tests actuels manquent souvent ces erreurs subtiles car ils ne regardent que l'« image », pas la « mathématique ».

La Solution : Le Test Morpheus

Les auteurs ont construit un laboratoire de 130 expériences du monde réel (comme faire tomber des balles, faire rouler des canettes, faire osciller des pendules et faire rebondir des objets). Ils ont filmé ces expériences avec soin dans une pièce contrôlée.

Ensuite, ils ont demandé aux modèles d'IA vidéo de recréer ces vidéos en se basant sur la première image ou une description textuelle.

Au lieu de simplement demander : « Est-ce que cela semble réel ? », Morpheus demande : « Est-ce que les mathématiques fonctionnent ? »

Voici comment le test fonctionne, en utilisant une analogie simple :

1. La « Trajectoire » (Le Chemin)

Imaginez une balle qui tombe. Dans le monde réel, la gravité la tire vers le bas selon une courbe très spécifique.

L'ancienne méthode : Comparer le chemin de la balle de l'IA au chemin de la vraie balle pixel par pixel.
La méthode Morpheus : C'est trop strict. Si la balle de l'IA est légèrement plus lourde ou si le vent est légèrement différent, le chemin change, mais il reste un chemin physiquement valide. Morpheus ne se soucie pas de savoir si le chemin est identique ; il se soucie de savoir si le chemin suit les règles.

2. Le « PINN » (Le Professeur de Physique)

Le document utilise un outil d'IA spécial appelé Réseau de Neurones Informé par la Physique (PINN). Voyez cela comme un professeur de physique strict qui connaît les lois du mouvement par cœur.

Le professeur examine la vidéo de l'IA et tente d'ajuster le mouvement de la balle aux lois de Newton (comme $F=ma$).
Si la balle se déplace d'une manière qui viole la gravité ou la conservation de l'énergie, le professeur lui donne une mauvaise note.
Si le mouvement suit parfaitement les lois, le professeur lui donne un A+.

3. La « Conservation » (Le Compte Bancaire de l'Énergie)

Dans le monde réel, l'énergie est comme de l'argent sur un compte bancaire. On ne peut ni la créer ni la détruire ; on peut seulement la déplacer (par exemple, de la hauteur vers la vitesse).

Morpheus vérifie le « compte bancaire » de la vidéo de l'IA.
Vidéo Réelle : L'énergie totale reste constante (ou diminue légèrement à cause de la friction, ce qui est normal).
Vidéo IA : Souvent, le « compte bancaire » devient incontrôlable. La balle peut soudainement gagner de l'énergie de nulle part ou en perdre trop vite. Morpheus le détecte instantanément.

Qu'ont-ils découvert ?

Les résultats ont été un certain rappel à la réalité pour la communauté de l'IA :

Le « Beau Mensonge » : Même les modèles d'IA les plus avancés (comme Veo3 et Kling) peuvent produire des vidéos d'une beauté et d'une fluidité époustouflantes.
L'Échec de la Physique : Cependant, quand Morpheus a vérifié les mathématiques, presque tous ont échoué.
- Ils ont eu du mal à maintenir l'énergie constante.
- Ils ont souvent fait disparaître des objets, les dupliquer, ou simplement les arrêter de bouger alors qu'ils devraient continuer à rouler.
- Même en étant fournis avec une vidéo d'une vraie balle en train de tomber pour commencer, l'IA n'a pas pu prédire les secondes suivantes correctement selon la physique.

Le Pouvoir du « Prompt » (L'Instruction)

Les chercheurs ont essayé de donner de meilleures instructions (prompts) à l'IA et de lui montrer plus d'images (pas seulement le début, mais aussi la fin aussi).

Résultat : Cela a aidé un peu. Si vous montrez à l'IA le début et la fin d'une vidéo, elle fait mieux pour deviner le milieu. Mais même avec la meilleure aide, les modèles ne parviennent toujours pas à égaler la précision physique du monde réel.

L'Essentiel

Le document conclut que, bien que ces modèles d'IA soient d'incroyables artistes, ils sont actuellement de piètres physiciens. Ils peuvent peindre l'image d'une pomme qui tombe de façon parfaite, mais ils ne comprennent pas réellement pourquoi elle tombe ou à quelle vitesse elle devrait aller.

Tant qu'ils ne réussiront pas le test Morpheus, nous ne pourrons pas leur faire confiance pour être des « modèles de monde » pour des choses comme les voitures autonomes ou les robots, où la compréhension de la physique réelle est une question de sécurité, et non seulement d'art.

En bref : L'IA est excellente pour simuler l'apparence de la réalité, mais elle n'a pas encore appris les règles de la réalité.

Résumé Technique : Évaluation de la mécanique newtonienne dans les modèles génératifs de vidéo avec des systèmes physiques réels

Énoncé du problème

Les récents modèles de génération de vidéo (VGM), tels que SORA, COSMOS et Veo3, ont atteint une fidélité visuelle sans précédent, suscitant l'intérêt quant à leur potentiel en tant que « modèles de monde » capables de comprendre et de prédire la dynamique physique. Cependant, les paradigmes d'évaluation actuels reposent fortement sur des jugements humains subjectifs, des évaluations par des modèles de vision-langage (VLM) ou la correspondance de trajectoires par rapport à une vérité terrain. Ces méthodes souffrent de limitations significatives :

Subjectivité : Les évaluations humaines et par VLM sont qualitatives et sujettes aux hallucinations, échouant souvent à détecter les violations subtiles des lois physiques (par exemple, une mauvaise distribution de la masse ou un couplage de forces incorrect) tout en récompensant des mouvements visuellement plausibles mais physiquement incorrects.
Ambiguïté de la correspondance de trajectoire : Comparer des trajectoires générées à une trajectoire unique de vérité terrain est physiquement ambigu. Plusieurs conditions initiales distinctes (par exemple, des variations de masse ou de friction) peuvent produire des trajectoires physiques différentes mais tout aussi valides. Les métriques de correspondance de trajectoire pénalisent souvent des réalisations physiques valides qui divergent simplement d'un chemin de référence spécifique.
Absence de raisonnement physique quantitatif : Les benchmarks existants se concentrent sur des métriques perceptuelles (cohérence visuelle, cohérence temporelle) plutôt que sur l'adhérence aux équations physiques régissantes et aux lois de conservation.

Par conséquent, il existe un écart critique pour quantifier rigoureusement si les VGM encodent réellement la mécanique newtonienne ou s'ils ne font que mimer l'apparence du mouvement physique.

Méthodologie : Le cadre Morpheus

Pour combler ces lacunes, les auteurs introduisent Morpheus, un cadre d'évaluation informé par la physique, conçu pour mesurer la capacité des VGM à comprendre la dynamique newtonienne dans des contextes contrôlés de corps rigides. Le cadre se compose de trois composantes principales :

1. Jeu de données et conditionnement

Données du monde réel : Les auteurs ont constitué un ensemble de données d'environ 130 vidéos réelles capturant neuf phénomènes physiques distincts : chute libre, mouvement de projectile, roulement, glissement, pendule holonome, pendule double, rebond, collision et oscillation de ressort.
Conditions contrôlées : Les expériences sont menées dans des conditions contrôlées pour isoler des lois physiques spécifiques (par exemple, la conservation de l'énergie, de la quantité de mouvement, le mouvement périodique).
Augmentation : Pour garantir la robustesse face à des configurations visuelles spécifiques, le jeu de données est augmenté par transfert de style (Cosmos-Transfer1) guidé par des masques d'objets. Cela crée des variantes visuelles diverses tout en préservant la dynamique physique sous-jacente, étendant ainsi les scénarios de conditionnement par dix.
Stratégies de prompting : Le cadre évalue les modèles sous trois niveaux de conditionnement : prompts textuels, prompts d'image unique et prompts multi-images (vidéo), afin d'évaluer comment la précision de l'entrée affecte la fidélité physique.

2. Extraction et prétraitement des trajectoires

Segmentation : Les masques d'objets sont extraits à l'aide de SAM-2 (Segment Anything 2) et de Depth Anything pour la vérification de la profondeur.
Estimation de l'état : Les centroïdes sont suivis pour générer des trajectoires 2D. Les vitesses et les accélérations sont estimées via des méthodes de différence centrale, suivies d'un lissage de Savitzky-Golay et d'une régression linéaire dans des fenêtres glissantes pour réduire le bruit provenant des imperfections de suivi.
Filtrage : Une métrique de taux d'élimination est calculée pour filtrer les vidéos présentant une disparition d'objet, une duplication ou un mouvement insuffisant, garantissant que seules les trajectoires valides sont scorées.

3. Métriques d'évaluation informées par la physique

Morpheus va au-delà de la comparaison de pixels pour évaluer l'adhérence aux invariants physiques et aux équations directrices :

Score Dynamique : Utilise des réseaux de neurones informés par la physique (PINNs) pour ajuster les trajectoires extraites aux équations différentielles ordinaires (ODE) connues du système physique spécifique (par exemple, $\ddot{y} + g = 0$ pour la chute libre). Le score est dérivé de l'erreur quadratique moyenne normalisée (NMSE) entre la trajectoire apprise par le PINN et les données, normalisée pour être invariante à l'échelle.
Score d'Invariance Physique : Quantifie la stabilité des quantités conservées (par exemple, l'énergie totale, la quantité de mouvement angulaire, la période d'oscillation) au cours du temps. Le score est calculé sur la base de l'écart type de ces invariants ; un score parfait (1,0) indique une conservation constante, tandis qu'une variance élevée indique une violation des lois physiques.

Contributions clés

Cadre Morpheus : L'introduction d'un cadre d'évaluation systématique, interprétable et quantitatif qui exploite les réseaux de neurones informés par la physique et les lois de conservation pour évaluer les VGM, allant au-delà des métriques purement géométriques ou subjectives.
Benchmarking exhaustif : Une évaluation à grande échelle des modèles de pointe (incluant des modèles fermés comme Veo3, Kling et COSMOS, ainsi que des modèles ouverts comme Wan2.1, CogVideoX et LTX-Video) à travers divers scénarios newtoniens.
Résultats empiriques sur la fidélité physique : L'étude révèle un décalage substantiel entre le réalisme visuel et la correction physique. Même les modèles les plus performants peinent à encoder la mécanique newtonienne avec précision, malgré la génération de vidéos esthétiquement plaisantes.
Analyse du conditionnement et des modes de défaillance : L'article démontre que le conditionnement multi-images et par images clés améliore considérablement la cohérence physique par rapport aux prompts d'image unique. Il identifie également des modes de défaillance spécifiques, tels que l'immobilité (« stillness », où les objets ne bougent pas) et l'hallucination d'objets (duplication/disparition), qui sont fréquents dans les modèles actuels.

Résultats expérimentaux

Écart de performance : Les vidéos du monde réel atteignent des scores quasi parfaits (Score Dynamique : 0,96–0,99 ; Score d'Invariance : $\ge$ 0,90). En revanche, le meilleur VGM affiche un score combiné d'environ 0,66, soulignant un fossé important dans le raisonnement physique.
Impact du conditionnement :
- Interpolation par images clés : Les modèles conditionnés par des images de début et de fin (ex: Wan2.1 Keyframe) sont les plus performants, atteignant les scores agrégés les plus élevés et les taux d'élimination les plus bas. La définition des conditions limites contraint efficacement l'espace de génération.
- Multi-images vs Image unique : Le conditionnement multi-images surpasse l'extrapolation à image unique, car le contexte temporel aide à inférer la vitesse et l'accélération qui sont ambiguës dans les images statiques.
- Limitations de l'image unique : Même les meilleurs modèles propriétaires peinent avec l'extrapolation à partir d'une seule image, entraînant souvent des taux d'élimination élevés dus à un mouvement statique ou erratique.
Comparaison des modèles : Les modèles ouverts comme Wan2.1 (avec conditionnement par images clés) et Cosmos-Predict2 sont compétitifs avec, et parfois plus performants que, les modèles propriétaires comme Veo3 et Kling-2.5, suggérant que les capacités de raisonnement physique dépendent de l'architecture et des stratégies de conditionnement plutôt que de la simple échelle du modèle ou des données propriétaires.
Échec de l'évaluation par VLM : L'article démontre que les évaluateurs VLM puissants (ex: VideoPHY2-AUTOEVAL) ne parviennent pas à distinguer de manière fiable la physique réelle de la physique générée. Ils attribuent souvent des scores faibles à des enregistrements réels propres (hallucinant des violations) et récompensent des vidéos générées qui violent des lois physiques spécifiques, confirmant la nécessité de métriques informées par la physique plutôt que par le jugement VLM.

Signification et affirmations

L'article affirme que Morpheus constitue une étape nécessaire vers l'alignement de la génération de vidéo avec les « modèles de monde » requis pour l'IA incarnée et la robotique. Les auteurs soutiennent que si la fidélité visuelle s'est améliorée, les modèles actuels sont loin d'encoder la mécanique newtonienne avec assez de précision pour être considérés comme des simulateurs fiables d'interactions physiques.

La portée de ce travail réside dans son passage d'une évaluation perceptuelle à une vérification physique quantitative. En établissant que les modèles actuels ne respectent pas les lois fondamentales de conservation (énergie, quantité de mouvement) même dans des scénarios simples de corps rigides, l'article souligne les limites de traiter les VGM comme des modèles de monde sans nouvelles innovations architecturales ou d'entraînement. Le cadre offre un test de résistance reproductible pour les lois physiques fondamentales, fournissant une base solide pour la recherche future sur les modèles capables d'un raisonnement physique fiable.