💻 computer science

Feed-forward Motion In-betweening for Any 4D

Cet article propose un nouveau cadre d'interpolation (in-betweening) de type feed-forward qui exploite un VAE de maillage par trame et un modèle de flux rectifié conditionné par des images clés pour générer efficacement des séquences de maillages 4D à long horizon avec des formes arbitraires et une contrôlabilité spatio-temporelle accrue, surmontant ainsi les limites de lenteur d'inférence et d'accumulation d'erreurs des méthodes existantes.

Auteurs originaux : Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un animateur essayant de créer un film. Habituellement, vous devez dessiner chaque image à la main, ou du moins dessiner les moments clés (comme un personnage qui saute) et laisser l'ordinateur remplir le reste. Ce document présente un nouvel outil appelé CompletionAny4D qui agit comme une machine de « remplissage de blancs » ultra-intelligente et instantanée pour les films en 3D.

Voici comment cela fonctionne, décomposé avec des analogies simples :

Le gros problème : L'ordinateur « lent et maladroit »

Avant cet outil, créer des films en 3D (appelés 4D, qui sont des objets 3D se déplaçant dans le temps) revenait à essayer de cuisiner un gâteau en pétrissant la pâte à la main pour chaque seconde du film.

L'ancienne méthode : Les ordinateurs devaient effectuer une quantité massive de calculs pour chaque scène spécifique afin de comprendre comment l'objet devait bouger. Cela prenait des heures (parfois 20 heures pour quelques secondes de vidéo) et était très difficile à contrôler. Si vous vouliez qu'un personnage lève le bras gauche, l'ordinateur se trompait souvent ou mettait un temps infini pour réussir.
La limitation : Les outils rapides existants étaient comme un « générateur de mouvement aléatoire ». Ils pouvaient faire bouger les choses rapidement, mais vous ne pouviez pas leur dire exactement quoi faire. Si vous disiez « saute », il pourrait sauter, mais il pourrait aussi pivoter de manière bizarre, ce que vous ne vouliez pas.

La solution : CompletionAny4D

Les auteurs ont construit un système qui est comme un assistant d'animateur professionnel qui travaille en secondes, et non en heures. Il peut prendre un objet 3D (comme un robot, un chat ou un arbre) et quelques « images clés » (des instantanés du début et de la fin d'un mouvement, plus éventuellement quelques-uns au milieu) et remplir instantanément tous les mouvements fluides entre elles.

Voici les trois « ingrédients secrets » qui le font fonctionner :

1. Le « Squelette vs La Danse » (VAE par image)

Imaginez que vous avez une marionnette. La forme de la marionnette (la tête, les bras, les jambes) est une chose, mais la danse qu'elle exécute en est une autre.

Les outils précédents essayaient de mémoriser toute la danse d'un coup, ce qui rendait difficile l'arrêt et la modification d'un mouvement spécifique.
CompletionAny4D sépare la forme de la marionnette de son mouvement. Il observe la forme de la marionnette une seule fois (l'« ancrage ») et traite ensuite chaque image de la danse comme une instruction séparée. Cela permet à l'ordinateur de dire : « D'accord, à cette seconde exacte, le bras doit être ici », sans perturber le reste du corps.

2. Le « GPS de Navigation » (Conditionnement par images clés)

Considérez le mouvement comme un voyage en voiture.

Les anciens outils rapides : Ils roulaient simplement dans une direction générale. Vous pouviez arriver dans la bonne ville, mais vous pourriez faire un détour bizarre ou manquer le virage spécifique que vous vouliez.
CompletionAny4D : Vous lui donnez une carte avec des points de contrôle spécifiques (images clés). « Commencez ici, arrêtez-vous à cet arbre, et finissez à la montagne ». L'ordinateur est forcé de passer exactement par ces points de contrôle. Il ne se contente pas de deviner ; il calcule le chemin le plus fluide et le plus naturel qui doit passer par vos points spécifiques.

3. La « Magie de la Ligne Droite » (Rectified Flow)

C'est le moteur sous le capot. Imaginez que vous voulez aller du point A au point B.

Les anciennes méthodes : Elles pouvaient prendre un chemin sinueux et confus, essayant de trouver le meilleur chemin étape par étape, ce qui provoque l'accumulation d'erreurs (comme une marche d'ivrogne).
CompletionAny4D : Il utilise une technique appelée « Rectified Flow ». Considérez cela comme le fait de tracer une ligne parfaitement droite entre votre point de départ et votre point d'arrivée, puis de remplir les points le long de cette ligne. C'est beaucoup plus rapide et bien plus précis car l'ordinateur ne s'embrouille pas et ne dévie pas de sa trajectoire.

Ce qu'il peut faire (et ce qu'il ne peut pas faire)

Les victoires :

Vitesse : Il génère 16 secondes d'animation en environ 4 secondes sur un ordinateur puissant. C'est instantané comparé aux 20 heures que cela prenait auparavant.
Contrôle : Si vous lui donnez une instruction textuelle comme « saute et tourne sur toi-même » et quelques images clés, il suit vos instructions bien mieux que les outils précédents.
Longues histoires : Bien qu'il ait été entraîné sur des clips courts, il peut assembler ces courts clips pour créer des films plus longs sans que le personnage ne devienne « ivre » ou ne perde sa forme.

Les limites (que le papier admet) :

Pas de contrôle « partiel » : Vous ne pouvez pas lui dire de « ne bouger que la main gauche » tout en gardant le reste parfaitement immobile. Il contrôle l'objet entier à la fois.
Pas de changement de forme : Si l'objet est censé changer sa forme fondamentale (comme une chenille se transformant en papillon), cet outil ne peut pas le faire. Il conserve le même « squelette » pour l'objet tout au long du film.
Un seul passage : Il génère un film de longueur fixe en une seule fois. Il ne peut pas continuer à générer indéfiniment en un seul passage (bien qu'on puisse les assembler).

L'essentiel

CompletionAny4D est une nouvelle façon de créer des animations 3D qui est rapide, contrôlable et précise. Au lieu de deviner comment un objet 3D devrait bouger, il écoute vos instructions spécifiques (images clés) et comble les vides instantanément, rendant possible la création d'animations 3D complexes en quelques secondes plutôt qu'en plusieurs heures.

Résumé Technique : CompletionAny4D

Énoncé du Problème

La dynamique 4D, représentant la géométrie 3D évoluant dans le temps, est fondamentale pour la modélisation de mondes dans l'animation et les jeux. Cependant, générer des séquences de maillages 4D contrôlables reste difficile en raison de la rareté des jeux de données 4D à grande échelle et à long horizon avec des topologies arbitraires. Les approches existantes font face à deux limitations principales :

Efficacité d'inférence vs Contrôlabilité : Les premières méthodes de texte-vers-4D reposent sur la distillation de priors de diffusion vidéo ou sur l'optimisation au moment du test (par exemple, la distillation de score - SDS). Bien qu'elles évitent le besoin de données d'entraînement 4D spécialisées, elles nécessitent une optimisation par instance extrêmement coûteuse (par exemple, ~20 heures pour 41 images), ce qui les rend impraticables pour un usage interactif.
Limitations des générateurs de type "feed-forward" : Les modèles récents de type "feed-forward" offrent une inférence rapide mais manquent de précision dans le contrôle spatio-temporel. Ils peinent souvent à générer des mouvements spécifiques souhaités à partir de simples invites textuelles. De plus, l'extension de ces modèles à des séquences de long horizon via la génération autorégressive entraîne une accumulation d'erreurs et une dérive du mouvement, car ils manquent de contraintes explicites pour maintenir la cohérence au fil du temps.

Le problème central abordé est la manière de parvenir à une génération de maillage 4D de type "feed-forward" rapide qui supporte un contrôle spatio-temporel précis via des images clés (keyframes) éparses et du texte, tout en maintenant la cohérence sur de longs horizons, le tout sans nécessiter d'optimisation par scène.

Méthodologie : CompletionAny4D

Les auteurs proposent CompletionAny4D, un cadre de type "feed-forward" conditionné par le texte et les images clés, conçu pour l'interpolation de mouvement (in-betweening) sur des maillages 4D arbitraires. Le cadre découple l'information de topologie/forme de l'information de mouvement et opère dans un espace latent.

1. VAE de Maillage par Image (Frame-wise Mesh VAE)

Pour permettre un conditionnement par image clé, les auteurs conçoivent un VAE de maillage par image, contrastant avec les VAE séquentiels existants (ex: DyMeshVAE) qui compressent l'information temporelle.

Architecture : L'encodeur traite chaque image indépendamment. Il extrait une structure de forme partagée latente ( $\mathbf{V}_0^n$ ) ancrée par un maillage de référence ( $M_0$ ) et génère des latents de trajectoire par image ( $\mathbf{V}_t^n$ ) pour chaque pas de temps.
Mécanisme : En encodant les images indépendamment tout en préservant une ancre de forme partagée, le modèle crée un espace latent aligné sur les images. Cela permet le "verrouillage" ou le remplacement direct des tokens latents à des indices d'images clés spécifiques sans modifier implicitement les pas de temps non-clés, une capacité entravée par la compression temporelle des modèles séquentiels.

2. Flux Rectifié Conditionné par Images Clés (Keyframe-Conditioned Rectified Flow)

La génération des images non-clés est modélisée comme une tâche d'interpolation de mouvement utilisant un modèle de Flux Rectifié (Rectified Flow) avec un backbone MMDiT (Masked Multi-Modal Diffusion Transformer).

Stratégie de Conditionnement : Au lieu d'un simple remplacement de latent au moment de l'échantillonnage (ce qui produit un contrôle faible), le modèle utilise un schéma de remplacement de latent masqué pendant l'entraînement et l'inférence.
- Un masque binaire $m$ identifie les images clés observées.
- L'entrée de conditionnement pour le modèle de flux consiste en l'invite textuelle, le latent de forme partagé, et une séquence concaténée où les latents des images clés sont "propres" (vérité terrain) et les latents des images non-clés sont "bruités".
Objectif d'Entraînement : Le modèle apprend un champ de vitesse $\mathbf{v}_\theta$ pour transporter le bruit vers les données le long de lignes droites. La fonction de perte minimise l'erreur de régression entre la vitesse prédite et la vitesse cible, conditionnée par la séquence masquée.
Inférence : Étant donné une invite textuelle, un maillage de référence et des images clés éparses, le modèle résout l'équation différentielle ordinaire (ODE) apprise pour synthétiser les latents de trajectoire intermédiaires, qui sont ensuite décodés en la séquence complète du maillage 4D.

Contributions Clés

Cadre CompletionAny4D : Le premier cadre "feed-forward" pour l'interpolation de mouvement de maillage 4D contrôlable spatialement et temporellement sur des topologies arbitraires. Il permet un contrôle précis via des images clés éparses et du texte, entraîné sur des données de court horizon mais capable de génération de long horizon.
VAE de Maillage par Image : Une conception de VAE novatrice qui désentrelace la structure de la forme du mouvement et encode les images indépendamment. Cette architecture est essentielle pour permettre l'injection directe de latents d'images clés et le conditionnement masqué, surmontant les limitations des espaces latents à compression temporelle.
age 3. Flux Rectifié Conditionné par Images Clés : Un modèle de flux rectifié qui intègre les contraintes d'images clés éparses directement dans le mécanisme de conditionnement via le remplacement de latent masqué. Cette approche apprend à respecter les contraintes des images clés pendant l'entraînement, résultant en une contrôlabilité supérieure par rapport aux bases de remplacement au moment de l'inférence.
Génération de Long Horizon via l'Interpolation : La démonstration que le conditionnement par images clés éparses peut stabiliser la génération au-delà de l'horizon d'entraînement. En enchaînant les tâches d'interpolation (par exemple, générer 16 images, puis utiliser la dernière image comme nouvelle image de départ), la méthode produit des séquences longues et cohérentes sans la dérive typique de la génération autorégressive.

Résultats Expérimentaux

La méthode a été évaluée sur les benchmarks DyMesh16 (16 images) et DyMesh32 (31 images).

Performance de Court Horizon (DyMesh16) :
- Précision : CompletionAny4D a nettement surpassé à la fois le modèle AnimateAnyMesh publié et une base de comparaison de remplacement par échantillonnage en termes de métriques de précision de sommet (RMSE, distance de Chamfer, DTW) sur les images non contraintes. Par exemple, avec 3 images clés, la méthode proposée a atteint un RMSE de 1.852 (échelle $\times 100$ ) contre 6.438 pour la base de comparaison et 6.424 pour AnimateAnyMesh.
- Contrôlabilité : Des études utilisateurs (20 participants) ont montré que la méthode proposée obtenait les scores les plus élevés en "Contrôle" (4.12/5) et en alignement "Texte" (3.37/5), surpassant à la fois la base de comparaison et le modèle open-source AnimateAnyMesh.
- Qualité : Bien qu'AnimateAnyMesh ait obtenu des scores VBench légèrement plus élevés dans des contextes ouverts (sans images clés), CompletionAny4D a maintenu une naturalité de mouvement et une qualité esthétique compétitives tout en offrant une contrôlabilité supérieure.
Performance de Long Horizon (DyMesh32) :
- Évalué via un protocole de génération en deux étapes (16 images + 16 images avec chevauchement).
- Stabilité : AnimateAnyMesh a présenté une accumulation significative d'erreurs de rotation et une dérive lors de la seconde étape. En revanche, CompletionAny4D a maintenu une cohérence spatio-temporelle à travers les étapes, atteignant les RMSE (2.132) et DTW (0.7272) les plus bas parmi toutes les méthodes.
- Préférence Utilisateur : Les utilisateurs ont classé Completion4D le plus haut en termes de naturalité, de préservation de la forme et de contrôlabilité pour les séquences longues.
Efficacité : Le cadre a démontré des vitesses d'inférence rapides (environ 2,8 secondes pour 16 images sur un GPU H100), nettement plus rapides que les méthodes d'optimisation et compétitives ou plus rapides que les autres bases de comparaison "feed-forward".

Signification et Revendications

L'article affirme que Completion4D représente une étape significative vers la création de contenu 4D contrôlable. Sa principale importance réside dans la démonstration que le conditionnement spatio-temporel explicite (via des images clés éparses et du texte) est une alternative viable et efficace à la génération uniquement textuelle ou à l'optimisation coûteuse au moment du test.

Les auteurs soulignent que :

Le conditionnement au moment de l'entraînement est supérieur au remplacement au moment de l'inférence : Apprendre à respecter les contraintes d'images clés au sein du modèle de flux donne de bien meilleurs résultats que le simple verrouillage des latents lors de l'échantillonnage.
Les latents alignés par image sont nécessaires : Le VAE par image proposé est un composant architectural critique qui permet la manipulation directe d'images spécifiques, une exigence pour une interpolation robuste que les modèles séquentiels ne peuvent pas facilement satisfaire.
Généralisation de Court à Long Horizon : La méthode prouve que des modèles entraînés sur des séquences courtes peuvent générer des mouvements 4D longs et cohérents si guidés par des images clés éparses, résolvant ainsi le problème d'accumulation d'erreurs inhérent aux approches autorégressives.

L'article conclut que si les invites textuelles seules sont souvent insuffisantes pour spécifier des mouvements complexes et précis, la combinaison du texte et d'images clés éparses fournit une interface puissante et pratique pour générer des animations de maillage 4D contrôlables.