💻 computer science

Generative Motion In-betweening by Diffusion over Continuous Implicit Representations

Ce papier propose une nouvelle pipeline de modèle de diffusion latente basée sur des représentations implicites neuronales (INR) du mouvement, qui reconstruit efficacement des transitions de mouvement lisses et diversifiées à partir de trames clés extrêmement espacées tout en préservant strictement la précision des trames clés et en assurant la continuité du mouvement.

Auteurs originaux : Shiyu Fan, Paul Henderson, Edmond S. L. Ho

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shiyu Fan, Paul Henderson, Edmond S. L. Ho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un animateur essayant de créer un film d'un personnage marchant du point A au point B. Autrefois, vous deviez dessiner chaque image clé à la main. Plus tard, les ordinateurs ont pu « deviner » les images intermédiaires si vous leur donniez une posture de départ et une posture d'arrivée. Cela s'appelle l'interpolation de mouvement.

Cependant, les programmes informatiques actuels ont souvent du mal lorsque vous ne leur donnez que quelques « images clés » (instantanés de la posture du personnage). Ils pourraient faire glisser les pieds du personnage sur le sol comme s'il était sur la glace, ou leurs mouvements pourraient paraître tremblotants et peu naturels. Ils oublient aussi parfois exactement où le personnage était censé se trouver aux points de départ et d'arrivée.

Ce papier présente un nouvel outil appelé Interpolation de mouvement générative par diffusion sur des représentations implicites continues. C'est une longue expression, alors décomposons-la avec quelques analogies.

1. Le problème : La carte « pixelisée » vs la carte « lisse »

La plupart des ordinateurs d'animation traitent le temps comme un collier de perles. Ils ne connaissent que des perles spécifiques (images) à des moments précis. Si vous leur donnez des perles éloignées, ils doivent deviner le fil qui les relie. Souvent, cette devinette est erronée, ce qui entraîne des mouvements saccadés ou un « glissement des pieds ».

Les auteurs proposent d'utiliser une carte lisse et continue à la place. Ils utilisent ce qu'on appelle une Représentation Neurale Implicite (RNI).

L'analogie : Imaginez la différence entre une photo numérique basse résolution (pixelisée, blocs) et un dessin vectoriel haute résolution (lignes lisses qui paraissent parfaites, quelle que soit l'ampleur du zoom).
Comment cela fonctionne : Au lieu de stocker une liste de postures, leur système apprend une « fonction lisse » qui décrit le mouvement entier comme une courbe unique et ininterrompue. Cela signifie que l'ordinateur comprend le mouvement comme un flux continu, et non comme une série d'instantanés déconnectés. Cela empêche naturellement le « tremblement » et rend le mouvement beaucoup plus naturel.

2. Le moteur : L'artiste « Diffusion »

Pour combler les lacunes entre vos images clés éparses, les auteurs utilisent un Modèle de Diffusion.

L'analogie : Pensez à la diffusion comme à un sculpteur qui commence avec un bloc d'argile bruyant et chaotique. Le sculpteur enlève lentement le bruit, affinant la forme jusqu'à ce qu'une statue parfaite émerge.
Comment cela fonctionne : L'ordinateur commence avec du bruit aléatoire et le « débruite » lentement pour créer un mouvement. Le défi consiste à s'assurer que ce nouveau mouvement correspond à vos points de départ et d'arrivée spécifiques (les images clés) sans perdre la variété naturelle du mouvement.

3. Le secret : La « Guidance sur Variété Implicite » (IMG)

Voici la plus grande innovation. Habituellement, lorsqu'un modèle de diffusion tente de suivre des règles spécifiques (comme « être à cet endroit exact à cet instant précis »), il se perd. Il pourrait suivre la règle si strictement que le mouvement devient rigide, ou il pourrait ignorer la règle et dériver.

Les auteurs ont inventé un nouveau mécanisme de direction appelé Guidage sur Variété Implicite (IMG).

L'analogie : Imaginez que vous essayez de marcher sur un fil tendu (la « variété » ou le chemin lisse du mouvement naturel) tout en tenant un poids lourd qui vous tire vers une destination spécifique (vos images clés).
- Si vous tirez trop fort vers la destination, vous pourriez tomber du fil (le mouvement devient peu naturel).
- Si vous restez simplement sur le fil, vous pourriez manquer la destination.
- L'IMG est l'équilibre. Il vérifie constamment deux choses :
  1. Erreur géométrique : « Sommes-nous au bon endroit ? » (Le pied a-t-il atterri là où il devrait ?)
  2. Erreur de variété : « Marchons-nous toujours naturellement ? » (Restons-nous sur le chemin lisse et naturel ?)
Le résultat : Le système pousse doucement le mouvement pour atteindre vos images clés avec précision, sans le forcer à briser les lois de la physique ou à paraître robotique. Il corrige le chemin en temps réel pendant que le « sculpteur » enlève le bruit.

4. Pourquoi cela compte

Le papier affirme qu'en combinant ces trois éléments (Cartes continues lisses + Sculpture par diffusion + Direction intelligente) :

Précision : Le personnage atteint exactement les postures de départ et d'arrivée que vous avez demandées, même si vous ne lui avez donné que deux ou trois instantanés.
Qualité : Le mouvement est lisse, sans glissement de pied ni tremblement.
Variété : Contrairement aux anciennes méthodes qui pourraient produire exactement la même marche ennuyeuse à chaque fois, ce système peut générer de nombreuses façons différentes et réalistes de passer du point A au point B.
Pas de texte nécessaire : Vous n'avez pas besoin de taper une description comme « une marche joyeuse » pour que cela fonctionne ; il utilise simplement les postures que vous lui donnez.

Résumé

Considérez ce papier comme l'enseignement à un ordinateur de devenir un animateur maître capable de regarder quelques croquis grossiers et de remplir le reste du film avec une performance lisse, réaliste et variée, tout en s'assurant que le personnage atterrit exactement là où vous lui avez dit de le faire. Ils ont fait cela en apprenant à l'ordinateur à voir le mouvement comme une rivière lisse et continue plutôt que comme une série de pas hachés, puis en lui donnant une boussole spéciale pour rester sur la bonne voie.

Résumé Technique : Interpolation Générative de Mouvement par Diffusion sur des Représentations Implicites Continues

Énoncé du Problème
L'interpolation de mouvement est une tâche fondamentale en animation de personnages, nécessitant la génération de transitions fluides et naturelles entre des images clés espacées. Bien que les récents progrès des modèles génératifs, en particulier les modèles de diffusion, aient amélioré la synthèse de mouvement, les méthodes existantes présentent des limitations significatives. Les approches traditionnelles basées sur la régression peinent souvent à assurer la diversité, tandis que les méthodes actuelles basées sur la diffusion exhibent des erreurs notables sur les images clés, des discontinuités de mouvement (telles que des tremblements et des glissements de pieds), ainsi que des vitesses d'entraînement et de génération lentes. De plus, de nombreux modèles de pointe reposent sur une conditionnement textuel pour garantir la qualité, ce qui limite leur praticité dans les scénarios où les descriptions textuelles sont indisponibles. Un défi critique demeure dans la génération de mouvements de haute qualité et diversifiés à partir d'informations spatio-temporelles extrêmement espacées et ambiguës, sans introduire d'artefacts non naturels.

Méthodologie
Les auteurs proposent un pipeline novateur intégrant des Modèles de Diffusion Latente (LDM) avec des Représentations Implicites Neuronales de Mouvement (INR). L'innovation centrale réside dans l'échantillonnage des paramètres INR à partir d'une variété latente continue conditionnée par des images clés espacées, plutôt que dans une opération sur des pas de temps discrets.

Représentation du Mouvement (INR) : Le système représente les séquences de mouvement comme des fonctions continues reliant le temps aux poses, encodées dans un vecteur latent compact $z$ . Cela est réalisé à l'aide d'un Autoencodeur Variationnel (VAE) basé sur NeMF, qui décompose le mouvement en composantes globales (orientation et translation de la racine) et locales (positions, rotations et vitesses des articulations). Cette représentation continue capture les motifs de mouvement globaux et lisse les transitions, atténuant le bruit et les discontinuités souvent présents dans la modélisation à temps discret.
Échantillonneur de Diffusion Latente : Les auteurs conçoivent un échantillonneur de diffusion basé sur un Transformateur de Diffusion (DiT). Contrairement aux mécanismes d'auto-attention standards, le réseau utilise une attention croisée pour intégrer les informations provenant d'images clés espacées sélectionnées aléatoirement dans le processus de débruitage. Cela permet au modèle de mapper efficacement les contraintes espacées vers l'espace latent compact, même avec de grands écarts temporels.
Objectif d'Entraînement : Le modèle est entraîné pour prédire le latent propre $z_0$ à partir d'entrées bruitées. La fonction de perte combine l'objectif de débruitage standard avec des termes de cohérence géométrique (erreurs de translation de la racine, d'orientation de la racine, de position des articulations et de rotation des articulations) calculés aux emplacements des images clés. La guidance sans classificateur (CFG) est employée pour permettre un conditionnement flexible.
Guidage de Variété Implicite (IMG) : Pour réduire davantage l'erreur sur les images clés tout en préservant la diversité du modèle génératif, les auteurs introduisent une stratégie d'optimisation d'échantillonnage appelée IMG. Durant le processus d'inférence (spécifiquement les 300 dernières étapes d'un programme DDIM de 1000 étapes), la direction d'échantillonnage est affinée en utilisant deux contraintes basées sur le gradient :
- Perte Géométrique : Minimise l'erreur entre le mouvement généré et les images clés de référence.
- Perte de Préservation de la Variété : Empêche l'optimisation de pousser la représentation latente hors de la variété de données apprise. Cela est réalisé en interpolant le mouvement généré avec une interpolation sphérique linéaire (Slerp) des images clés, en encodant ce mouvement « restauré », et en minimisant la distance entre la prédiction originale et ce latent restauré. Cela garantit que le mouvement généré reste réaliste et fluide.

Contributions Clés

Première Adaptation des INR de Mouvement à l'Interpolation Générative : L'article présente le premier cadre adaptant les INR de mouvement à la tâche d'interpolation générative de mouvement en utilisant un modèle de diffusion latente. Cette approche exploite des représentations continues et compactes pour générer des mouvements de haute qualité à partir d'images clés extrêmement espacées, sans conditionnement textuel.
Stratégie de Préservation de Variété : Les auteurs introduisent le concept de préservation de variété pour l'optimisation d'échantillonnage. Ils conçoivent une nouvelle fonction de perte au sein de l'algorithme d'échantillonnage postérieur, adaptée aux variétés implicites de mouvement, qui réduit efficacement l'erreur sur les images clés tout en maintenant la qualité et la diversité du mouvement.
Performance Supérieure dans les Scénaires Espacés : La méthode proposée atteint des performances de pointe dans les tâches d'interpolation de mouvement conditionnées par des images clés extrêmement espacées (par exemple, 1, 5 ou 20 images aléatoires) sans nécessiter de descriptions textuelles, surpassant les références existantes basées sur la diffusion et le VAE.

Résultats
Des expériences extensives ont été menées sur le jeu de données HumanML3D (utilisant la représentation SMPL) avec des comparaisons contre des références telles que CondMDI, NeMF, MMM et TST.

Métriques Quantitatives : Le modèle proposé surpasse systématiquement les références en termes de Fréchet Inception Distance (FID), de Diversité et de Multi-modalité à travers diverses densités d'images clés (K=1, 5, 20). Notamment, il a obtenu des erreurs sur les images clés significativement plus faibles que CondMDI et NeMF, en particulier dans les scénarios espacés (K=1 et K=5).
Améliorations Qualitatives : Les comparaisons visuelles ont démontré que le modèle génère des transitions plus fluides avec moins d'artefacts tels que des glissements de pieds ou des tremblements. Contrairement aux références qui échouent souvent à atteindre les positions cibles ou exhibent des mouvements de membres non naturels, la méthode proposée a maintenu une précision de trajectoire globale et des longueurs de foulée naturelles.
Études d'Ablation : Les expériences ont confirmé l'efficacité de la représentation INR par rapport à d'autres types de VAE (MLD, MMM) et ont validé que la stratégie IMG complète (combinant les pertes géométriques et de variété) offre le meilleur équilibre entre faible erreur sur les images clés et haute diversité de mouvement.
Généralisation et Efficacité : Le modèle a démontré une forte généralisation lors des tests sur le jeu de données AIST++ (entraîné uniquement sur HumanML3D). De plus, l'utilisation de l'attention croisée sur les paramètres INR 1D plutôt que sur l'auto-attention complète de la séquence a réduit la complexité computationnelle, et l'échantillonnage IMG flexible a permis des compromis efficaces entre vitesse et qualité.

Signification
L'article affirme qu'en établissant une correspondance entre les INR et les informations spatio-temporelles espacées au sein d'un cadre de diffusion latente, la méthode proposée reconstruit avec succès des mouvements plausibles et fluides à partir de données extrêmement espacées. La signification de ce travail réside dans sa capacité à découpler la génération de mouvement de haute qualité de la nécessité d'images clés denses ou d'un conditionnement textuel. En introduisant la préservation de variété lors de l'échantillonnage, les auteurs abordent le compromis courant entre l'adhésion à des contraintes strictes et le maintien de la diversité générative. Cette approche offre une solution pratique pour les scénarios d'animation de personnages où seules des données d'entrée limitées sont disponibles, atteignant des résultats de pointe dans des configurations d'images clés espacées difficiles tout en assurant à la fois la précision des images clés et la diversité des mouvements intermédiaires.