Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

Résumé Technique : Les Réseaux de Neurones Liquides comme Champ de Déformation Continu « Drop-in » pour le Gaussian Splatting 3D Dynamique

Énoncé du Problème
Le Gaussian Splatting 3D Dynamique (D-3DGS) reconstruit des scènes en mouvement à partir de vidéos monoculaires en déformant un ensemble canonique de Gaussiennes 3D à l'aide d'un Perceptron Multicouche (MLP) conditionné par le temps de l'image $t$. Bien que $t$ soit une variable physique continue, l'architecture de déformation MLP standard du D-3DGS traite $t$ comme une entrée discrète. L'architecture manque de couplage temporel entre les pas de temps adjacents ; elle est ajustée indépendamment pour chaque image de l'ensemble d'entraînement, et la lissage temporel n'émerge que comme un sous-produit de l'optimisation plutôt que d'être structurellement imposé. Les alternatives existantes en temps continu, telles que les Neural ODEs ou les variantes de Latent-ODE (par exemple, ODE-GS), introduisent des priors explicites en temps continu mais entraînent des coûts de calcul importants en raison de la nécessité de solveurs numériques dans la boucle d'entraînement. Les auteurs identifient un manque pour une conception architecturale qui fournit des sémantiques de temps continu sans la surcharge des intégrateurs numériques.

Méthodologie
Le papier propose de redéfinir le champ de déformation $F_\theta$ du D-3DGS comme une pile de cellules Closed-form Continuous-time (CfC), un type de Réseau de Neurones Liquide (LNN). Cette conception préserve le reste du pipeline D-3DGS (Gaussiennes canoniques, rasteriseur, fonctions de perte et calendriers d'entraînement) tout en remplaçant uniquement le réseau de déformation.

• Structure de la cellule CfC : Chaque cellule est la solution en forme fermée d'une Équation Différentielle Ordinaire (ODE) à constante de temps liquide (LTC). Contrairement aux MLP standards, une cellule CfC calcule un état caché mis à jour $h'$ via une porte temporelle sigmoïdale $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$, où $\tau$ est le signal de temps écoulé. Cette porte interpole entre deux états cachés candidats ($g$ et $h_{cand}$), intégrant ainsi directement une réponse lissée et apprise aux variations de temps dans le paysage de perte, sans invoquer de solveur numérique.
• La Profondeur comme Temps (Depth-as-Time) : Les auteurs instancient le champ de déformation comme une pile de $D$ cellules CfC. Crucialement, ils n'utilisent pas les cellules de manière récurrente à travers les images de la vidéo. Au lieu de cela, la profondeur du réseau agit comme le mécanisme de récurrence temporelle. Pour chaque passage avant (forward pass), l'état caché est réinitialisé à zéro, et le temps de l'image $t$ est injecté comme signal de temps écoulé dans chaque cellule de la pile. Cette approche « profondeur-comme-temps » permet au réseau de fonctionner comme un bloc de propagation directe (feed-forward) doté de sémantiques de temps continu.
• Implémentation : L'implémentation est un remplacement direct (« drop-in replacement ») du module de déformation D-3DGS. Les auteurs utilisent une largeur de backbone de 64, une taille cachée de 128, et 6 cellules CfC (configuration par défaut), correspondant aux schémas d'encodage positionnel du D-3DGS original.

Principales Contributions

1. Champ de Déformation Liquide : L'introduction d'un champ de déformation pour le D-3DGS construit à partir d'une pile de cellules CfC qui expose une mise à jour explicitement cadencée par le temps sur le temps de l'image $t$. Cette conception maintient exactement le même profil de coût d'inférence qu'un MLP standard de propagation directe.
2. Évaluation Empirique : Tests complets sur huit scènes synthétiques D-NeRF et sept scènes réelles NeRF-DS. L'étude rapporte le PSNR, le SSiment (SSIM), l'LPIPS, le nombre de paramètres et les MACs (opérations de multiplication-accumulation), démontrant que le champ liquide égale ou dépasse le baseline MLP.
3. Positionnement Architectural : Une délimitation claire de l'endroit où le CfC se situe dans le spectre des méthodes en temps continu. Le papier positionne le CfC comme le segment « économique » du spectre : il offre des sémantiques de temps continu et une robustesse au jitter sans la pénalité de calcul des solveurs ODE/SDE requis par des méthodes comme ODE-GS.

Résultats

• Scènes Synthétiques (D-NeRF) : Le champ de déformation liquide égale ou dépasse le baseline MLP de D-3DGS réentraîné sur 6 scènes sur 8. Le PSNR moyen agrégé est presque identique (38,25 dB pour CfC contre 38,26 dB pour le MLP). Les gains les plus significatifs ont été observés dans les scènes avec un mouvement articulé à haute fréquence (ex: Hook +1,49 dB, Hell Warrior +0,82 dB), où la non-linéarité cadencée par le temps agit comme un prior de lissage implicite.
• Scènes Réelles (NeRF-DS) : Sur sept scènes réelles dominées par le bruit de pose, l'approche CfC a surpassé le baseline MLP sur toutes les métriques moyennes (PSiel PSNR : 23,86 dB vs 23,39 dB ; SSIM : 0,8491 vs 0,8403 ; LPIPS : 0,1891 vs 0,2011). L'amélioration la plus importante s'est produite sur la scène As, qui présente un mouvement spéculaire important, où la méthode CfC a obtenu un gain de PSNR de +2,74 dB.
• Efficacité de Calcul : Lorsqu'il est configuré avec une profondeur et une largeur identiques au MLP de base ($D=8, W=256$), la pile CfC a entraîné un surcoût d'environ 50 % en paramètres et en MACs. Cependant, la configuration par défaut des auteurs ($D=6, W=128$) a en réalité réduit l'empreinte de calcul de 36 % par rapport au baseline MLP tout en maintenant une qualité supérieure ou comparable.
• Ablation : Les expériences sur la scène Hell Warrior ont confirmé que l'architecture de la cellule CfC surpasse le backbone MLP standard. La profondeur optimale a été identifiée à $D=6$, et l'activation GELU a produit les meilleurs résultats, suggérant que les backbones lisses non bornés se composent mieux avec la non-linéarité au niveau de la cellule.

Signification et Revendications
Le papier affirme présenter une « conception architecturale à friction quasi nulle » qui transforme le champ de déformation MLP discret du D-3DGS en une fonction explicite du temps $t$. La signification réside dans l'obtention de sémantiques de temps continu et d'une robustesse à la supervision bruitée (telle que la dérive de pose et le flou de mouvement) sans la charge de calcul des solveurs numériques.

Les auteurs présentent modestement leur contribution comme une amélioration architecturale plutôt que comme un changement fondamental de paradigme de reconstruction. Ils reconnaissent que l'approche « profondeur-comme-temps » n'utilise pas la mémoire temporelle à long horizon typique des LNN récurrents, car l'ensemble par Gaussian est non stationnaire. Par conséquent, la garantie de continuité est dérivée uniquement de la non-linéarité cadencée par le temps. Le papier conclut que, bien que les méthodes basées sur ODE/SDE puissent encore être supérieures pour l'extrapolation ou les données fortement corrompues, l'approche CfC offre le choix le plus économique pour le régime d'interpolation standard de la reconstruction de scènes 3D dynamiques, permettant aux praticiens d'adopter des priors de temps continu de manière incrémentale.