VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

Le papier présente VisPhyWorld, un cadre d'évaluation basé sur la génération de code exécutable, et VisPhyBench, un ensemble de données permettant de démontrer que, bien que les modèles de langage multimodaux de pointe comprennent bien la sémantique des scènes, ils peinent à inférer avec précision les paramètres physiques et à simuler des dynamiques cohérentes.

L'essentiel

🎬 Le Grand Défi : Comprendre la Physique sans la "Tricher"

Imaginez que vous montrez une vidéo à un ami très intelligent, mais qui n'a jamais quitté sa chambre. Vous lui montrez une balle qui tombe sur une pile de cubes, faisant tout s'effondrer.

Si vous lui demandez : "Que va-t-il se passer ensuite ?", il pourrait répondre : "Les cubes vont tomber."
C'est une bonne réponse, mais est-ce qu'il a vraiment compris la physique ? Ou a-t-il simplement deviné parce qu'il a vu des milliers de vidéos similaires sur Internet ? C'est comme si un élève apprenait par cœur les réponses d'un examen sans comprendre les mathématiques derrière.

Les chercheurs de ce papier (VisPhyWorld) disent : "Arrêtons de demander des réponses. Demandez-leur de construire la machine !"

🛠️ L'Idée Géniale : Le "Code" comme Preuve

Au lieu de laisser l'intelligence artificielle (IA) simplement parler ou choisir une image, les chercheurs lui ont donné un nouveau défi :

"Regarde cette vidéo, et écris le code informatique qui permet de la rejouer exactement comme elle s'est passée."

C'est comme si on demandait à un chef cuisinier non pas de décrire un gâteau, mais d'écrire la recette exacte avec les ingrédients précis, pour que n'importe qui puisse le refaire et obtenir le même résultat.

• L'ancienne méthode (VQA) : L'IA dit "La balle tombe". (On ne sait pas si elle comprend pourquoi).
• La nouvelle méthode (VisPhyWorld) : L'IA écrit un programme. Si elle se trompe sur la gravité ou le rebond, le programme ne fonctionnera pas, ou la balle traversera le sol (ce qui est impossible dans la vraie vie).

🧪 Le Laboratoire : VisPhyWorld et VisPhyBench

Pour tester cela, les chercheurs ont créé un terrain de jeu appelé VisPhyWorld.

1. Le Terrain de Jeu (VisPhyBench) : Ils ont créé 209 petites scènes (comme des vidéos de billard, de chutes d'objets, de balles qui roulent).
2. Le Test : L'IA regarde deux images de la scène (début et milieu) et doit écrire du code pour faire une vidéo qui continue l'action.
3. Le Juge : Une fois le code écrit, un ordinateur l'exécute.
   • Si la balle traverse un mur ? ❌ Échec. (L'IA ne comprend pas la physique).
   • Si la balle rebondit exactement comme dans la réalité ? ✅ Succès.

📊 Ce qu'ils ont découvert (Le Résultat)

Les résultats sont surprenants et un peu décevants pour les IA actuelles :

• Les IA sont de superbes dessinateurs : Elles peuvent décrire la scène parfaitement. "Il y a une balle rouge et un cube bleu." C'est excellent.
• Mais elles sont de mauvaises ingénieurs : Quand on les force à écrire le code pour simuler le mouvement, elles échouent souvent.
  • Parfois, les objets traversent les murs (comme des fantômes).
  • Parfois, la gravité ne fonctionne pas (les objets flottent).
  • Parfois, les collisions sont bizarres.

L'analogie du Magicien :
Imaginez un magicien qui peut décrire parfaitement un tour de magie. Il vous dit : "Le lapin va sortir du chapeau." C'est vrai. Mais si on lui demande de construire le mécanisme du chapeau pour que le lapin sorte vraiment, il se rend compte qu'il ne sait pas comment ça marche. Il a juste appris à reconnaître le motif "lapin + chapeau", pas la mécanique derrière.

🚀 Pourquoi est-ce important ?

Ce papier nous dit que les IA actuelles sont très fortes pour reconnaître des choses (comme un humain qui regarde une photo), mais elles sont faibles pour comprendre comment le monde fonctionne (comme un ingénieur).

• Pour la sécurité : Si on veut utiliser des IA pour piloter des voitures autonomes ou des robots dans des usines, elles ne peuvent pas se contenter de "deviner". Elles doivent comprendre la physique pour ne pas écraser quelqu'un ou casser une machine.
• La solution : En forçant l'IA à écrire du code exécutable, on la force à être honnête. On ne peut plus tricher avec des mots. Soit le code fonctionne (la physique est comprise), soit il plante.

En résumé

VisPhyWorld est un nouveau test qui dit aux IA : "Ne me dis pas ce qui va se passer, montre-moi que tu sais le faire en écrivant le programme qui le simule."

C'est comme passer d'un examen oral (où l'on peut mentir ou deviner) à un examen pratique (où l'on doit construire la chose). Et pour l'instant, même les IA les plus intelligentes ont du mal à passer cet examen pratique de la physique ! 🤖📉⚽

Résumé technique

Titre : VisPhyWorld : Évaluation du raisonnement physique par reconstruction vidéo pilotée par le code

1. Problématique

L'évaluation de la capacité des Modèles de Langage Multimodaux (MLLM) à raisonner véritablement sur la dynamique physique reste un défi majeur.

• Limites des approches actuelles : La plupart des benchmarks existants (comme CLEVRER, GRASP, MVPBench) reposent sur des protocoles de reconnaissance, tels que le Visual Question Answering (VQA) ou la Violation of l'Attente (VoE). Ces méthodes permettent souvent aux modèles de répondre correctement en s'appuyant sur des corrélations visuelles superficielles ou des biais de données, sans pour autant formuler d'hypothèse physique explicite et testable.
• Le manque de prédictibilité : Contrairement aux modèles génératifs de monde qui produisent des distributions de probabilité, les MLLM sortent du texte. Il est donc difficile d'évaluer leur compréhension physique via des mesures de vraisemblance ou de "surprise".
• Le besoin d'explicabilité : Il est nécessaire de séparer le rendu visuel du raisonnement physique pour vérifier si le modèle comprend réellement les lois de la mécanique (gravité, collisions, frottement) plutôt que de simplement imiter des motifs visuels.

2. Méthodologie : Le cadre VisPhyWorld

Les auteurs proposent VisPhyWorld, un paradigme d'évaluation basé sur l'exécution, où le modèle doit générer du code exécutable pour reconstruire et simuler une scène physique à partir d'observations visuelles.

• Entrée : Le modèle reçoit deux images clés d'une séquence vidéo ($I_{start}$ et $I_{later}$) et, optionnellement, un contexte de détection d'objets ($D$).
• Processus de génération :
  1. Analyse textuelle : Le modèle décrit les mouvements et les interactions observés.
  2. Génération de code : Le modèle produit un programme exécutable (HTML/JavaScript) qui définit la scène, les objets et leurs paramètres physiques.
  3. Simulation : Ce code est exécuté dans un moteur physique (comme Three.js ou P5.js couplés à des solveurs de corps rigides comme Cannon.js) pour générer une vidéo future ($\hat{X}$).
• Avantage clé : La représentation du monde est inspectable, éditable et falsifiable. Le code généré constitue une "hypothèse physique explicite". Si la simulation échoue (ex: les objets traversent les murs), l'erreur de raisonnement est directement visible dans le code ou le résultat de la simulation, contrairement à une vidéo générée par pixel qui cache ces mécanismes.
• Benchmarks (VisPhyBench) :
  • Comprend 209 scènes dérivées de 108 templates physiques.
  • Couvre des scènes 2D (moteur PHYRE) et 3D (Three.js + Cannon.js).
  • Les scènes sont classées par difficulté (Facile, Moyen, Difficile) basées sur des annotations humaines.

3. Contributions Clés

1. VisPhyWorld (Framework) : Premier paradigme évaluant le raisonnement physique des MLLM via la reconstruction et la resimulation de code. Il transforme la compréhension physique en une hypothèse exécutable.
2. VisPhyBench (Benchmark) : Une suite d'évaluation standardisée intégrant des métriques multiples (perceptuelles, sémantiques, de mouvement et physiques) pour évaluer la fidélité de la reconstruction et la plausibilité physique.
3. Analyse Empirique : Une démonstration approfondie montrant que, bien que les MLLM d'état de l'art excellent dans la reconnaissance sémantique, ils échouent souvent à inférer les paramètres physiques fins (vitesse, masse, frottement) nécessaires pour simuler des dynamiques cohérentes.

4. Résultats Expérimentaux

Les expériences comparent plusieurs MLLM (GPT-5, GPT-4.1, Gemini-3-Pro, Claude 4.5, Qwen3-VL) contre des modèles de génération vidéo pure (Veo-3.1, SVD).

• Performance Globale : Le pipeline réussit à produire des vidéos reconstruites valides dans 97,7 % des cas (avec un mécanisme de réparation automatique).
• Dissociation Sémantique vs Physique :
  • Les modèles obtiennent de bons scores sur la cohérence sémantique visuelle (CLIP-Img, DINO), prouvant qu'ils identifient correctement les objets et la disposition de la scène.
  • Cependant, ils échouent sur la plausibilité physique. Les modèles basés sur la génération de pixels (Veo-3.1) peuvent sembler réalistes visuellement mais produisent des trajectoires physiquement impossibles (ex: objets traversant des obstacles, absence de gravité).
  • Les modèles utilisant des moteurs physiques (Three.js) produisent des dynamiques plus cohérentes, mais commettent encore des erreurs d'inférence de paramètres (ex: mauvaise estimation de la vitesse initiale).
• Impact du Moteur de Rendu : L'utilisation de moteurs intégrant des solveurs physiques natifs (Three.js/P5.js) donne des résultats nettement supérieurs en termes de fidélité de mouvement par rapport aux moteurs non physiques (SVG, Manim), soulignant que l'architecture du simulateur influence la capacité du modèle à ancrer ses hypothèses visuelles.
• Métriques : L'évaluation combine des métriques objectives (LPIPS pour la qualité, RAFT-EPE pour le flux optique) et un juge subjectif (Gemini-2.5-Pro) qui pénalise spécifiquement les violations physiques (collisions fantômes, flottaison).

5. Signification et Impact

• Vers des mondes modèles vérifiables : VisPhyWorld propose une voie pour dépasser le simple "mimétisme statistique" des pixels. En forçant les modèles à générer du code exécutable, l'évaluation devient transparente et les erreurs de raisonnement physique sont isolables.
• Sécurité et Robustesse : Cette approche est cruciale pour des domaines critiques comme la robotique, où une compréhension erronée de la physique peut avoir des conséquences graves. La capacité à auditer le "raisonnement" via le code généré offre un mécanisme de sécurité contre les hallucinations physiques.
• Limites actuelles : Les modèles actuels peinent encore avec des scènes complexes en 3D ou des interactions à long terme, indiquant un besoin de fine-tuning spécifique et d'une meilleure perception 3D pour une modélisation mondiale robuste.

En résumé, VisPhyWorld démontre que la véritable compréhension physique ne se mesure pas à la capacité de décrire une scène, mais à la capacité de la simuler correctement via des lois physiques explicites, révélant ainsi un fossé significatif entre la perception visuelle et le raisonnement causal chez les MLLM actuels.