💻 computer science

NewtonGS: Physics-Structured Object-Level Neural Newtonian Dynamics for Gaussian Scene Animation

NewtonGS introduit un cadre structuré par la physique qui anime des scènes de Gaussiennes 3D statiques en représentant les objets par un état compact de 22 dimensions et un modèle hybride de dynamique newtonienne neuronale gaussienne, permettant une prédiction d'état supérieure et un mouvement au niveau de l'objet contrôlable par rapport aux méthodes existantes.

Auteurs originaux : Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez avec un bac à sable numérique où vous pouvez construire des mondes entiers à partir de millions de petites billes lumineuses. Ce ne sont pas des billes ordinaires ; ce sont des « Gaussiennes 3D », un type spécial de bloc de construction numérique qui permet aux ordinateurs de calculer des scènes si rapidement et avec une telle netteté qu'elles ressemblent à la vie réelle. Pendant longtemps, ces mondes numériques étaient comme des dioramas : magnifiques à regarder, mais complètement figés dans le temps. Si vous vouliez voir une balle rouler sur une table, vous deviez déplacer manuellement chaque bille, une par une, image par image. C'était un cauchemar pour les animateurs et les concepteurs de jeux.

Récemment, des scientifiques ont trouvé comment faire bouger ces billes, mais ils traitaient principalement toute la scène comme une sorte de géante gelée ondulante. Ils pouvaient faire danser un personnage ou onduler un tissu, mais ils ne pouvaient pas facilement saisir un objet spécifique, disons une tasse de café, et lui dire : « Hé, roule sur la table et rebondis contre le mur ». L'ordinateur ne savait pas que la tasse avait un poids spécifique, une vitesse spécifique ou une façon particulière de rebondir. Il savait seulement comment les pixels apparaissaient. Pour que ces mondes numériques soient véritablement interactifs et prévisibles, nous avons besoin d'un moyen de donner à chaque objet son propre « cerveau » qui comprenne les lois de la physique — comme la gravité, la friction et l'inertie — afin de pouvoir le contrôler comme un vrai jouet.

C'est là qu'intervient une nouvelle méthode appelée NewtonGS. Voyez cela comme le fait de donner à une marionnette numérique un ensemble de fils invisibles contrôlés par les lois réelles de la physique. Les chercheurs ont construit un système qui traite chaque objet d'une scène de Gaussiennes 3D non pas comme un tas désordonné de millions de petits points, mais comme un personnage unique et intelligent possédant un « état » spécifique. Cet état est comme une fiche de personnage dans un jeu vidéo, contenant exactement 22 informations : où se trouve l'objet, vers quelle direction il est orienté, à quelle vitesse il tourne, à quelle vitesse il se déplace, quelle est sa taille, et même son poids et son élasticité.

La magie opère parce que NewtonGS utilise un mélange ingénieux de mathématiques de la physique classique et d'une petite dose d'« intuition » de l'apprentissage automatique. Il commence par les règles dures de la physique (comme les lois de Newton) pour prédire comment un objet devrait bouger. Mais comme la vie réelle est désordonnée et que les ordinateurs ne sont pas parfaits, il ajoute un « résidu appris ». Imaginez un professeur de physique qui connaît parfaitement les réponses du manuel, mais qui possède aussi un élève qui a regardé des millions de vidéos de balles rebondissant. Le professeur connaît les mathématiques, mais l'élève sait que parfois une balle rebondit bizarrement à cause d'une bosse cachée. NewtonGS combine les mathématiques du professeur avec l'expérience de l'élève pour prédire un mouvement qui est à la fois physiquement correct et étonnamment réaliste.

L'équipe a testé cela sur un ensemble massif de 32 types de mouvements différents, allant du glissement et du roulement simples au rebond et à la rotation complexes. Ils ont créé un terrain de jeu numérique appelé State-32 avec plus d'un million de scénarios simulés. Dans ces tests, NewtonGS a été capable de prédire où un objet se trouverait, à quelle vitesse il irait et comment il pivoterait bien mieux que cinq autres méthodes reposant uniquement sur des formules mathématiques strictes. Il a commis moins d'erreurs dans la prédiction de la trajectoire, du point d'arrêt final et de la vitesse.

Crucialement, l'article montre que ce n'est pas seulement une question de chiffres. Une fois que le système a prédit où l'objet devrait être, il met instantanément à jour les millions de petites billes lumineuses pour correspondre à cette nouvelle position. C'est comme avoir un chef d'orchestre qui dit à chaque musicien exactement quand jouer sa note, garantissant que toute la scène bouge en parfaite harmonie. Les chercheurs ont également montré que cela fonctionne même lorsque les objets sont dans des environnements différents, comme une voiture miniature sur une table de salon ou un ballon de football dans un parc.

Cependant, l'article prend soin de préciser ce que ce système ne fait pas encore. Il ne devine pas magiquement la physique simplement en regardant une vidéo ; il a besoin qu'on lui indique d'abord la vitesse de départ et le poids. Il ne peut pas non plus gérer des objets qui se brisent ou changent de forme de manière complexe (comme un morceau d'argile qui s'écrase) ; il ne gère que des objets qui restent solides mais peuvent devenir légèrement plus grands ou plus petits. Et bien qu'il soit excellent pour déplacer un objet à la fois, il ne résout pas encore le casse-tête de deux objets s'entrechoquant et rebondissant l'un sur l'autre.

En résumé, NewtonGS est une étape significative vers la création de mondes numériques qui semblent réels. Il comble le fossé entre l'art 3D statique et la physique interactive, permettant de contrôler les objets numériques avec les mêmes règles que nous utilisons dans le monde réel. Cela suggère qu'en donnant aux objets numériques un « état » clair et un cerveau basé sur la physique, nous pouvons créer des animations qui sont non seulement visuellement époustouflantes, mais aussi prévisibles et contrôlables, ouvrant la porte à de meilleurs jeux vidéo, à la réalité virtuelle et à la narration interactive.

Résumé Technique : NewtonGS

Énoncé du Problème

Animer des objets au sein d'une scène de Gaussian Splatting 3D (3DGS) statique nécessite un état dynamique explicite au niveau de l'objet et un modèle contrôlable pour le mouvement de l'objet. Les méthodes existantes de Gaussiennes dynamiques se concentrent principalement sur la reconstruction de scènes variant dans le temps ou la simulation de déformations continues (par exemple, 4DGS, champs de déformation). Ces approches manquent d'une représentation d'état compacte et explicite au niveau de l'objet qui permettrait un contrôle, une prédiction et une édition directs du mouvement d'un objet gaussien existant. De plus, les modèles purement analytiques échouent souvent à prendre en compte les écarts de modèle et les effets non modélisés, tandis que les prédicteurs neuronaux non contraints produisent des mouvements difficiles à contrôler et à interpréter. Le défi central consiste à représenter un objet gaussien avec un état compact qui conserve des significations géométriques et dynamiques claires, à faire évoluer cet état au fil du temps en capturant à la fois le mouvement continu et les événements discrets (comme le contact), et à mapper le mouvement prédit vers les primitives gaussiennes de manière cohérente sans assigner de trajectoires distinctes à chaque primitive.

Méthodologie : NewtonGS

Les auteurs proposent NewtonGS, un cadre structuré par la physique pour le déroulement (rollout) de l'état au niveau de l'objet et l'animation de scènes gaussiennes. La méthode opère en trois étapes : la représentation de l'état, la prédiction de la dynamique hybride et la transformation état-vers-gaussienne.

1. Représentation de l'État Gaussien Centré sur l'Objet

Chaque objet dynamique $k$ est résumé par un vecteur d'état compact de 22 dimensions $Z_k$ :
$Z_k = [p_k, q_k, v_k, \omega_k, s_k, u_k, m_k, e_k, \mu_k]$
Où :

$p_k \in \mathbb{R}^3$ : Position du centre de l'objet.
$q_k \in \mathbb{H}$ : Quaternion d'orientation unitaire.
$v_k, \omega_k \in \mathbb{R}^3$ : Vitesses linéaires et angulaires.
$s_k, u_k \in \mathbb{R}^3$ : Échelle anisotrope agrégée et son taux de variation.
$m_k, e_k, \mu_k \in \mathbb{R}$ : Masse, restitution et atténuation tangentielle (propriétés matérielles).

Cet état décrit un agrégat d'objets plutôt que des primitives individuelles. L'échelle $s_k$ couvre les changements de taille et les trajectoires de déformation simples sans introduire de code de déformation de haute dimension.

2. Dynamique Newtonienne Gaussienne Neuronale (Gaussian-NND)

Le cœur du cadre est un modèle de dynamique hybride structuré qui combine un a priori analytique avec des résidus appris.

Dynamique Continue : Entre les contacts, l'état évolue via un champ de vecteurs structuré intégrant la translation, la cinématique des quaternions, la gravité, l'amortissement et la restauration de l'échelle. Un réseau de neurones $f_\theta$ prédit des résidus d'accélération bornés $[r_v, r_\omega, r_s]$ pour corriger l'a priori analytique. Le système est intégré via RK4.
Événements de Contact Discrets : Pour gérer les changements de vitesse instantanés lors de l'impact, une carte d'événements distincte détecte le contact avec un sol horizontal ( $y=0$ ). Lors de la détection, une réponse analytique (restitution et atténuation tangentielle) est appliquée, suivie d'un réseau de résidus de contact appris $h_\phi$ qui prédit les corrections des vitesses linéaire et angulaire post-impact.
Initialisation : Les deux réseaux de résidus sont initialisés pour produire des sorties nulles, garantissant que le déroulement initial suit strictement le modèle analytique, les résidus étant appris à partir des données.

3. Transformation État-vers-Gaussienne

L'état prédit de l'objet est converti en une transformation affine partagée appliquée à toutes les gaussiennes appartenant à l'objet.

Une matrice de rotation relative $R_t$ et un vecteur de rapport d'échelle $\rho_t$ sont calculés à partir de l'état prédit par rapport à l'état initial.
Les moyennes gaussiennes $g_i$ et les covariances $\Sigma_i$ sont mises à jour via une matrice de transformation partagée $A_t$ :
$g_i^t = A_t(g_i^0 - p_0) + p_t$
$\Sigma_i^t = A_t \Sigma_i^0 A_t^\top$
Cela garantit que la structure interne de l'objet est préservée tout en permettant à l'ensemble du groupe de se déplacer de manière cohérente.

Contributions Clés

Cadre NewtonGS : Un cadre au niveau de l'objet qui formule l'animation gaussienne comme le déroulement d'un état explicite de 22 dimensions, suivi d'une transformation déterministe et partagée des primitives gaussiennes de l'objet.
Modèle Gaussian-NND : Un modèle de dynamique hybride structuré combinant l'évolution continue des quaternions/échelles, des événements de contact avec un sol horizontal, et des résidus appris initialisés à zéro. Cela équilibre l'interprétabilité physique avec la capacité de corriger les écarts de modèle.
Évaluation sur des Benchmarks Procéduraux : L'introduction de State-32 (pour l'évaluation du déroulement d'état) et Gaussian-32 (pour la transformation état-vers-gaussienne). Les expériences démontrent que NewtonGS obtient des erreurs de trajectoire, de point final et de vitesse plus faibles que cinq bases analytiques à travers les séparations in-distribution et de décalage de plage de vitesse.

Résultats

Les auteurs ont évalué NewtonGS sur le jeu de données State-32, qui contient 1 048 576 séquences d'entraînement et 131 072 séquences pour les séparations in-distribution (ID) et hors-distribution (OOD) (où l'OOD implique des plages de vitesse accrues).

Prédiction d'État : Sur les séparations ID et OOD, NewtonGS a obtenu les RMSE de trajectoire, l'erreur de déplacement final (FDE) et la RMSE de vitesse les plus bas parmi cinq bases analytiques (incluant Hold-Z0, Constant Velocity, Damped Velocity, Gravity-Bounce et Physics-Prior).
- Sur ID, NewtonGS a réduit les erreurs de trajectoire, de point final et de vitesse de 3,61 %, 2,57 % et 2,34 % par rapport à la meilleure base.
- Sur OOD, les réductions étaient respectivement de 3,06 %, 5,25 % et 2,27 %, indiquant une robustesse aux décalages de vitesse.
Transversalité des Représentations : Sur les sous-ensembles Gaussian-32 et Same-32, NewtonGS a surpassé la méthode vidéo-vers-4DGS de L4GM en termes d'erreurs de trajectoire, de point final et de quaternion, démontant une conversion efficace des états prédits vers les objets gaussiens animés.
Comparaison avec les Proxys Vidéo : Dans une comparaison "Common-12" contre les modèles de génération vidéo (Sora, Veo 3, Wan, etc.), NewtonGS a obtenu des scores plus élevés en cohérence physique (PISp), stabilité de l'arrière-plan (BCp) et fluidité du mouvement (MSp), avec une variance plus faible entre les catégories de mouvement.

Signification et Revendications

L'article affirme que NewtonGS fournit un pont nécessaire entre les représentations gaussiennes 3D statiques et le mouvement piloté par la physique et contrôlable. En assignant des états dynamiques explicites aux objets gaussiens, la méthode permet un mouvement prévisible et éditable, ce qui est crucial pour l'animation de scènes et la création de contenu interactif.

Les auteurs soulignent que leur approche diffère des méthodes 4DGS existantes en privilégiant un cadre d'objet cohérent et un contrôle direct de l'espace d'état plutôt que la prédiction indépendante du mouvement des primitives. La dynamique hybride structurée permet au modèle de capturer divers motifs de mouvement (balistique, rebond, roulement, oscillation) que les règles analytiques fixes ne parviennent pas à saisir, tout en maintenant l'interprétabilité grâce aux a priori physiques sous-jacents.

L'article reste modeste quant à sa portée :

Il se concentre sur la dynamique au niveau de l'objet et ne modélise pas les articulations, les changements de topologie ou les interactions complexes entre plusieurs objets (les collisions par paires ne sont pas explicitement modélisées dans la carte d'événements).
L'implémentation actuelle gère le contact avec un sol horizontal ; les contacts avec les murs et les pentes sont appris via les résidus plutôt que par des solveurs explicites.
Les résultats rapportés partent d'états initiaux étiquetés ; l'article ne prétend pas résoudre le problème automatique d'inférence observation-vers-état à partir de vidéos brutes, bien qu'il fournisse des interfaces déterministes pour le regroupement et l'élévation d'état.
L'évaluation est menée sur des jeux de données synthétiques générés procéduralement ; bien que la méthode démontre une animation efficace, elle ne prétend pas atteindre une reconstruction 4D photoréaliste ou une supériorité aux systèmes text-to-video dans les tâches de génération générale.