💻 computer science

PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation

PhysAgent introduit un cadre agentique réflexif qui génère, simule, vérifie et répare de manière itérative des programmes de physique pour surmonter les limites de la prédiction en une seule étape, permettant ainsi la création de vidéos plus physiquement plausibles et conformes aux instructions avec des dynamiques et des interactions complexes.

Auteurs originaux : Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez un film où une balle roule hors d'une table, frappe une tasse et la renverse. Dans la vie réelle, la physique est le livre de règles invisible qui garantit que la balle ne s'envole pas, que la tasse ne se transforme pas en gelée et que le timing semble juste. Pendant longtemps, les ordinateurs essayant de créer ces vidéos ont été comme des artistes excellents en peinture mais médiocres en mathématiques. Ils pouvaient faire en sorte que la balle semble rouler, mais si vous leur demandiez de faire en sorte qu'elle frappe la tasse selon un angle spécifique ou avec la bonne force, ils se trompaient souvent. La balle pouvait glisser à travers la table, ou la tasse pouvait se briser alors qu'elle aurait dû simplement rouler. Cela arrive parce que l'ordinateur devine toute la scène en un seul grand bond, sans réellement « vérifier » si les lois de la physique sont respectées avant que le film ne commence.

Ce document aborde ce problème en introduisant une nouvelle façon d'apprendre aux ordinateurs à être de meilleurs directeurs de la physique. Au lieu de simplement deviner, l'ordinateur agit désormais comme un scientifique dans un laboratoire. Il construit un modèle numérique de la scène, effectue un test rapide pour voir ce qui se passe, vérifie si le résultat correspond à la demande de l'utilisateur, puis corrige ses erreurs avant de réaliser la vidéo finale. C'est la différence entre un chef qui jette les ingrédients dans une marmite en espérant que ce soit bon, et un chef qui goûte la soupe, réalise qu'elle manque de sel, en ajoute une pincée, la goûte à nouveau, et ensuite sert le plat. L'objectif est de créer des vidéos qui ne sont pas seulement magnifiques, mais qui obéissent aussi aux règles strictes et invisibles de la façon dont le monde réel bouge et s'entrechoque.

Le détective « PhysAgent »

Les auteurs de ce document, une équipe de l'Université Jiao Tong de Shanghai et de l'Université de Cardiff, ont construit un système qu'ils appellent PhysAgent. Considérez PhysAgent comme un robot réalisateur très persévérant et réfléchi. Lorsque vous lui donnez une image (comme une piste de bowling) et une commande (comme « fais en sorte que la balle frappe la bonne quille »), il ne commence pas immédiatement à filmer. Au lieu de cela, il entre dans une boucle de essai, vérification et correction.

Voici comment le processus fonctionne, étape par étape :

La première supposition : Le robot regarde votre image et votre commande. Il essaie de construire une version numérique de la scène et écrit un « script » pour la physique. Ce script dit à l'ordinateur des choses telles que : « La balle commence à une vitesse de 0,5 m/s », « La quille est faite de bois » et « La force est appliquée ici ».
La simulation (Le test de répétition) : Avant de réaliser la belle vidéo, le robot lance une simulation rapide et rudimentaire. C'est comme une répétition. Il regarde la balle numérique rouler et la quille numérique voler.
Le contrôle de la réalité : Le robot compare cette répétition à votre commande originale. La balle a-t-elle frappé la bonne quille ? Le tabouret s'est-il cassé quand la citrouille est tombée dessus ? Si la réponse est « non », le robot ne baisse pas les bras. Il agit comme un détective. Il se demande : « Pourquoi cela a-t-il échoué ? »
- Exemple : Si la balle a frappé la mauvaise quille, le robot pourrait réaliser : « Oh, j'ai visé la force trop loin vers la gauche. »
- Exemple : Si la citrouille n'a pas cassé le tabouret, il pourrait dire : « Le tabouret est trop solide, ou la citrouille n'était pas assez lourde. »
La correction : Le robot édite ensuite son script. Il peut changer la direction de la force à [0,6, 1,0, 0] ou augmenter la vitesse à 0,8 m/s. Il ne réécrit pas tout le film ; il corrige seulement la partie spécifique qui a échoué.
Répéter : Il lance le test à nouveau. Si cela réussit, parfait ! Si non, il corrige encore. Ce cycle peut se produire jusqu'à 10 fois jusqu'à ce que la simulation soit parfaite.

Pourquoi les suppositions « One-Shot » échouent

Le document s'oppose fermement à l'ancienne méthode de travail, qu'ils appellent « prédiction one-shot » (en une seule fois). Par le passé, les modèles d'IA essayaient de deviner toutes les règles de la physique en un instant unique. Les auteurs ont trouvé que cette approche est « fragile », ce qui signifie qu'elle se brise facilement.

Imaginez essayer de construire un château de cartes en devinant où chaque carte doit aller en une seconde. Si vous faites une erreur sur la première carte, toute la tour s'effondre. De même, si une IA devine mal le poids d'un objet ou la direction d'une poussée lors de son premier essai, l'intégralité de la vidéo devient physiquement impossible. Le document montre que, comme tous ces facteurs (poids, vitesse, direction, matériau) sont étroitement connectés, une petite erreur dans un domaine ruine tout le résultat. PhysAgent résout cela en traitant le script physique comme une « hypothèse » qui doit être testée et révisée, plutôt que comme une réponse finale.

La trousse à outils magique : Les API sémantiques

Pour faciliter ce processus de correction, les chercheurs ont donné au robot un ensemble spécial d'outils appelés API d'action. Au lieu de demander au robot d'effectuer des calculs complexes comme « calculer le coefficient de friction du bois sur le béton », ils lui ont donné des commandes simples, semblables à celles des humains.

Considérez cela comme la ceinture à outils du robot. Au lieu de dire « appliquer une force vectorielle de 14 Newtons à un angle de 30 degrés », le robot peut simplement dire :

« Régler la vitesse de la balle à 0,5 m/s. »
« Appliquer une force à la citrouille. »
« Rendre le tabouret rigide. »
« Fixer la tasse en place. »

Cela rend le robot beaucoup plus intelligent et moins susceptible de commettre des erreurs mathématiques stupides. Cela lui permet de se concentrer sur l'histoire de la physique (par exemple, « La balle doit rouler et tomber dans la tasse ») plutôt que de rester bloqué sur les chiffres bruts.

Ce qu'ils ont découvert

L'équipe a testé PhysAgent sur 27 scènes différentes comprenant 80 événements physiques différents, comme un feu d'artifice décrivant une courbe dans le vent ou un anneau restant coincé sur un jouet. Ils ont comparé leur méthode à d'autres générateurs de vidéos et IA basées sur la physique de haut niveau.

Les résultats sont clairs :

Une meilleure physique : PhysAgent a produit des vidéos beaucoup plus plausibles physiquement. Dans un test où un juge (une IA) devait décider si la vidéo était cohérente, PhysAgent a obtenu un score de 0,714 sur 1,0, battant la méthode basée sur la physique la plus performante (RealWonder) qui a obtenu 0,631.
Préférence humaine : Lorsque de vraies personnes ont été interrogées pour choisir entre des vidéos, elles ont préféré les vidéos de PhysAgent 73,4 % du temps par rapport au meilleur générateur de vidéos généraliste (Wan2.2) et jusqu'à 93,6 % du temps par rapport aux autres méthodes basées sur la physique.
La boucle est essentielle : Lorsque les chercheurs ont supprimé la boucle de « correction » et ont laissé le robot deviner une seule fois, la qualité a chuté de manière significative. Cela a prouvé que la capacité de vérifier et de réparer est l'ingrédient secret.

L'essentiel

Ce document suggère que l'avenir de la création de vidéos réalistes ne consiste pas seulement à rendre les images plus belles ; il s'agit de faire en sorte que l'ordinateur comprenne comment le monde fonctionne. En laissant l'IA exécuter une simulation, vérifier son propre travail et corriger ses erreurs, PhysAgent peut créer des vidéos où les objets entrent en collision, se brisent et rebondissent exactement comme ils le devraient. Il transforme le processus chaotique de la génération de vidéos en une expérience méticuleuse, étape par étape, garantissant que lorsque vous voyez une balle frapper une tasse sur votre écran, vous avez l'impression que cela pourrait réellement se passer dans votre salon.

Résumé technique : Contrôle physique par agent réflexif pour la génération de vidéos physiquement plausibles

Énoncé du problème

Les progrès récents dans la génération de vidéos ont atteint une haute fidélité visuelle et une cohérence temporelle, mais ils échouent fréquemment à produire des dynamiques physiquement plausibles. Les modèles génèrent souvent des vidéos où des objets glissent sans contact, répondent à des forces dans des directions incorrectes, ou ignorent les comportements dépendants des matériaux (par exemple, des corps rigides se brisant ou des objets mous se déformant). Ce problème est particulièrement aigu dans la génération d'image vers la vidéo (image-to-video), où une image d'entrée unique doit être transformée en un futur plausible basé sur un événement physique spécifié par l'utilisateur.

Le défi central réside dans le contrôle fin des dynamiques physiques. Les méthodes fondées sur la physique tentent de guider la génération en inférant une spécification de simulateur structurée (état de la scène et paramètres de l'événement) en une seule passe à l'aide de modèles de langage-vision (VLM). Cependant, cette approche est intrinsèquement fragile car :

Facteurs étroitement couplés : La spécification implique de nombreux facteurs interdépendants (ancrage des objets, propriétés des matériaux, magnitude de la force, chronologie). Un paramètre qui semble raisonnable de manière isolée peut faire échouer l'ensemble de la simulation lorsqu'il est combiné avec d'autres.
Prédiction agnostique à l'exécution : La correction ne peut être déterminée par la seule spécification ; elle doit être évaluée par l'exécution. Les prédictions en une seule passe manquent de mécanisme pour détecter et réparer les échecs de simulation avant la synthèse vidéo.

Méthodologie : PhysAgent

Les auteurs proposent PhysAgent, un cadre d'agent réflexif qui traite le contrôle de la simulation physique comme un processus en boucle fermée, conscient de l'exécution, plutôt que comme une prédiction en une seule étape. Le cadre fonctionne en construisant un programme de contrôle physique exécutable, en le simulant, en vérifiant les résultats et en réparant les échecs de manière itérative.

1. Architecture du cadre

PhysAgent se compose de trois composants principaux qui opèrent en boucle :

Générateur de programme ( $G$ ) : Construit un programme de contrôle physique initial $P = (S, E)$ $P = (S, E)$ à partir d'une image d'entrée $I$ $I$ et d'un prompt d'événement $p$ $p$ .
- État de la scène ( $S$ ) : Définit les objets ancrés, les types de matériaux, les densités, la géométrie de support et les paramètres de la caméra.
- Programme d'événement ( $E$ ) : Définit les objets cibles, les vitesses initiales, les forces, les couples et la chronologie.
Vérificateur ( $V$ ) : Effectue une validation progressive spécifique aux étapes pour isoler les erreurs :
1. Validation de la reconstruction de la scène : Vérifie si la scène 3D (géométrie, positions des objets, caméra) correspond à l'image d'entrée. Si cela échoue, le simulateur n'est pas invoqué.
2. Validation de la simulation physique : Exécute le programme d'événement dans un moteur physique pour générer une courte vidéo de diagnostic. Le vérificateur contrôle la correction de la trajectoire, le timing du contact, la direction de la force et la réponse du matériau par rapport au prompt.
Planificateur ( $P$ ) : Si la vérification échoue, le planificateur analyse le diagnostic et la mémoire des tours précédents pour générer un feedback ciblé ( $F$ ). Ce feedback propose des modifications spécifiques (ex: "augmenter la vitesse initiale", "changer la direction de la force", "modifier le matériau") plutôt que de régénérer l'intégralité du programme.

2. API de contrôle physique sémantique

Pour réduire la surcharge syntaxique et la fragilité des VLM prédisant directement des commandes de simulateur de bas niveau, les auteurs conçoivent un ensemble d'API d'action sémantiques. Le programme d'événement est représenté comme une séquence d'opérateurs de haut niveau :

Initialisation d'état : SetVelocity, SetAngularVelocity.
Actionnement : ApplyForce, ApplyTorque, ApplyAngledForce.
Perturbation : ApplyDisturbance (ex: vent).
Contraintes : SetPosition, SetOrientation, FixObject.

Ces API permettent à l'agent de raisonner sur les événements physiques au niveau du mouvement et de l'interaction, en les compilant en opérations concrètes de simulateur uniquement lors de l'exécution.

3. La boucle réflexive

Le processus suit un calendrier de raffinement itératif :

Générer : Créer un programme initial.
Valider : Vérifier la reconstruction de la scène. Si réussi, exécuter une courte simulation de diagnostic.
Diagnostiquer : Le vérificateur identifie des échecs spécifiques (ex: "la balle roule hors de la table au lieu de frapper le pion").
Réparer : Le planificateur met à jour le programme basé sur le diagnostic (ex: ajuster le vecteur de force de [0.6, 1.0, 0] à [1.4, 1.0, 0]).
Répéter : La boucle continue jusqu'à ce que le déroulement de diagnostic réussisse ou qu'un budget d'itérations maximal soit atteint. Le déroulement final vérifié sert de priorité de mouvement structurée pour le générateur de vidéo.

Contributions clés

Formulation consciente de l'exécution : L'article recadre la génération de vidéos physiquement plausibles comme un problème de contrôle d'un programme physique exécutable plutôt que de prédiction de paramètres statiques. Il traite les spécifications comme des hypothèses à tester et à réviser.
Cadre d'agent réflexif : Introduit un système en boucle fermée qui intègre la génération par VLM, la simulation physique, la vérification réflexive et la réparation de programme ciblée. Cela permet de réaliser progressivement des trajectoires complexes et des interactions multi-étapes.
Interface de contrôle sémantique : Conception d'une API de contrôle physique qui abstrait les commandes numériques de bas niveau en primitives expressives et compositionnelles, améliorant à la fois la flexibilité de contrôle et l'efficacité du raffinement.
Validation progressive : Une stratégie de vérification par étape qui sépare les erreurs de reconstruction des erreurs de dynamique, évitant les déroulements en aval inutiles et permettant des réparations ciblées.

Résultats expérimentaux

Les auteurs ont évalué PhysAgent sur un benchmark personnalisé de 27 scènes distinctes avec 80 cas d'événements (plusieurs événements par scène pour tester la cohérence visuelle).

Métriques quantitatives :
- PhysReal : Un score normalisé basé sur GPT pour la plausibilité physique et l'alignement avec le prompt. PhysAgent a atteint 0,714, surpassant les modèles TI2V généraux (ex: Wan2.2 à 0,633) et les bases fondées sur la physique (ex: PhysCtrl à 0,579, PhysGen3D à 0,480).
- Qualité Visuelle : PhysAgent a également obtenu des scores plus élevés en Visuels (0,644), Esthétique (0,521) et Cohérence (0,266) par rapport à la plupart des modèles de référence, indiquant que le contrôle physique ne compromet pas la fidélité visuelle.
Étude utilisateur (2AFC) : Dans une étude de choix forcé entre deux alternatives, PhysAgent a été préféré à tous les modèles de référence selon trois critères :
- Suivi de l'action : Taux de préférence de 70,2% – 92,4%.
- Qualité Visuelle : Taux de préférence de 60,7% – 90,3%.
- Plausibilité Physique : Taux de préférence de 66,5% – 93,6%.
Études d'ablation :
- Supprimer la boucle de réflexion (prédiction en une seule passe) a provoqué la plus forte chute de PhysReal (0,631), confirmant la nécessité de la réparation itérative.
- Remplacer les API sémantiques par des paramètres de bas niveau a réduit les performances et augmenté le nombre moyen de tours de raffinement de 3,63 à 5,74, démontrant que les abstractions sémantiques améliorent à la fois l'expressivité et l'efficacité.

Signification et affirmations

L'article affirme que le contrôle physique conscient de l'exécution est une direction prometteuse pour la génération de vidéos contrôlables, particulièrement pour les prompts nécessitant un timing de contact précis, une direction de force, une réponse de matériau et des interactions multi-étapes.

Les auteurs soulignent que leur approche dépasse les limites des prédictions "en une seule passe" des VLM, qui échouent souvent à traduire l'intention de l'utilisateur en simulations exécutables en raison de la complexité des facteurs physiques couplés. En traitant les spécifications physiques comme des hypothèses exécutables qui peuvent être simulées, diagnostiquées et réparées, PhysAgent atteint un niveau de robustesse et de contrôle fin que les méthodes existantes n'ont pas. Le cadre démontre que la séparation de l'état de la scène et de la dynamique de l'événement, ainsi que l'utilisation d'interfaces sémantiques, permet aux agents de gérer des scénarios physiques complexes sans sacrifier la cohérence visuelle.