💻 computer science

GestureFM : Compact Latent Flow Matching for Low-Latency Co-Speech Body-Motion Generation

GestureFM est un cadre de Flow Matching latent compact qui permet une génération de mouvement corporel co-locutif en streaming à faible latence et de haute qualité en compressant les poses SMPL-X dans un espace latent et en employant un lisseur léger pour résoudre les discontinuités aux limites des segments, atteignant une qualité de mouvement compétitive avec une latence du premier segment minimale.

Auteurs originaux : Jie Liu, Tianmei Sun, Zian Liu

Publié 2026-08-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jie Liu, Tianmei Sun, Zian Liu

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un ami et que, tout en parlant, vos mains, vos bras et votre corps dansent naturellement au rythme de vos paroles. C'est ce qu'on appelle le « geste co-discursif » (co-speech gesture), et c'est une partie essentielle de la façon dont les humains communiquent. Maintenant, imaginez un personnage de jeu vidéo ou un assistant virtuel qui veut faire la même chose. Le défi est que l'ordinateur doit écouter votre voix, comprendre ce que vous dites et faire bouger instantanément le corps du personnage pour correspondre. Mais attention : si l'ordinateur attend que vous ayez terminé toute votre phrase avant de commencer à bouger, le personnage ressemblera à un robot qui est toujours en retard. Pour paraître réel, le personnage doit commencer à bouger pendant que vous parlez encore. C'est le monde de la « génération en streaming à faible latence » — faire bouger un humain numérique en temps réel sans décalage.

Pour y parvenir, les scientifiques utilisent des astuces mathématiques spéciales. L'une de ces astuces est un « Auto-encodeur Variationnel » (VAE), qui est comme une application de compression ultra-efficace. Il prend un mouvement corporel 3D immense et complexe et le comprime en un code minuscule et simple (un « espace latent ») qui est beaucoup plus facile à gérer pour un ordinateur. Une autre astuce est le « Flow Matching » (appariement de flux), qui revient à tracer une ligne droite et lisse à partir d'un gribouillage aléatoire vers une image parfaite. Au lieu de deviner l'image étape par étape comme un artiste maladroit, le Flow Matching apprend le chemin exact à suivre, permettant à l'ordinateur de dessiner l'image finale très rapidement. La grande question que les chercheurs tentent de résoudre est la suivante : pouvons-nous combiner ces outils pour faire bouger un humain virtuel de manière si rapide et fluide qu'il semble vraiment présent, même pendant que nous parlons ?

Entrez dans GestureFM, une nouvelle étude qui tente de répondre précisément à cette question. Les chercheurs, Jie Liu, Tianmei Sun et Zian Liu, ont construit un système conçu pour générer des mouvements corporels à partir de la parole avec un délai presque nul. Ils appellent leur système « GestureFM » car il utilise cette magie du « Flow Matching » à l'intérieur d'un espace « latent » compressé.

Voici comment leur système fonctionne, en utilisant une analogie simple : Imaginez que vous essayez de décrire une danse à un ami lors d'un appel téléphonique, mais que vous ne pouvez envoyer que de courts clips de votre voix de 1 seconde à la fois. Votre ami doit commencer à danser immédiatement en se basant sur ce qu'il entend jusqu'à présent. GestureFM est cet « ami » qui est incroyablement doué pour cela. D'abord, il utilise un « Gesture VAE » pour traduire les mouvements complexes à 168 dimensions d'un corps humain (comme tous les angles de vos articulations) en un code minuscule de 44 jetons (tokens). C'est comme transformer un film complet en quelques notes de croquis rapides. Ensuite, un « Transformer par Flow Matching conditionné par l'audio » écoute votre voix (plus précisément, les motifs sonores appelés caractéristiques Log-Mel) et utilise ces notes de croquis pour dessiner la seconde de mouvement suivante.

La partie la plus excitante de leur découverte est la rapidité et l'efficacité de ce processus. L'équipe a constaté qu'elle pouvait générer le tout premier bloc de mouvement en seulement 22 millisecondes. Pour donner un ordre d'idée, cela représente 0,022 fois la vitesse du temps réel. Cela signifie que l'ordinateur travaille environ 45 fois plus vite que la vie réelle, laissant amplement de place pour que le mouvement se produise instantanément pendant que vous parlez.

Ils ont également testé combien d'« étapes » l'ordinateur devait effectuer pour dessiner le mouvement. Dans de nombreux systèmes d'IA, faire plus d'étapes signifie généralement une meilleure image mais une vitesse plus lente. Cependant, GestureFM a découvert quelque chose de surprenant : faire plus d'étapes ne rendait pas le mouvement beaucoup meilleur. Qu'ils fassent 2 étapes ou 32 étapes, la qualité du mouvement (mesurée par un score appelé distance de geste de Fréchet, ou FGD) restait presque exactement la même. Pour cette raison, ils recommandent d'utiliser seulement 2 étapes (K=2) pour obtenir la vitesse la plus rapide possible sans perdre de qualité.

Mais il y avait un petit problème. Comme le système génère le mouvement par blocs de 1 seconde, la transition entre un bloc et le suivant pouvait parfois paraître un peu saccadée, comme une vidéo qui stagne pendant une fraction de seconde. Pour correr cela, ils ont ajouté un « lisseur local de 7 images » (7-frame local smoother). Considérez cela comme un petit éditeur qui mélange doucement la fin du mouvement d'une seconde avec le début de la seconde suivante. Ce simple correctif a réduit le « saut de vélocité » (la saccade soudaine) de 85 %, rendant le mouvement beaucoup plus fluide, sans perturber le rythme de la danse avec la musique.

Les chercheurs ont également testé d'autres idées pour voir s'ils pouvaient faire encore mieux, mais ils en ont écarté certaines. Par exemple, ils ont essayé de donner de la « mémoire » au système en transmettant la fin du bloc de mouvement précédent au suivant. Malheureusement, cela a considérablement dégradé la qualité du mouvement (le score FGD est passé de 0,253 à 1,740). Ils ont réalisé que c'était parce que le système a été entraîné sur des données de mouvement réelles et parfaites, mais lorsqu'il essayait d'utiliser sa propre « mémoire » pendant le test, il se perdait dans ses propres erreurs. Ils ont donc décidé qu'il était préférable, pour l'instant, de garder chaque bloc indépendant et d'utiliser simplement la technique de lissage pour corriger les bordures.

En fin de compte, GestureFM montre que vous pouvez créer des mouvements corporels de haute qualité et à faible latence pour des humains virtuels sans avoir besoin d'attendre la fin de la phrase. En compressant les données, en utilisant le Flow Matching et en ajoutant un simple filtre de lissage, ils ont obtenu un système qui est à la fois incroyablement rapide (latence de 22 ms) et très précis, s'accordant parfaitement au rythme de la parole. C'est un grand pas vers la création d'humains numériques qui ne font pas que parler, mais qui bougent véritablement avec nous en temps réel.

Résumé Technique : GestureFM

Problématique

Les humains numériques interactifs et les agents conversationnels incarnés nécessitent une génération de mouvement corporel pilotée par la parole qui fonctionne avec une faible latence. Les méthodes actuelles de génération co-speech de haute qualité, souvent basées sur des modèles de diffusion ou de larges architectures Transformer, sont principalement conçues pour une inférence hors ligne sur des séquences complètes. Ces approches supposent généralement l'accès à l'intégralité de la séquence audio ou utilisent un contexte temporel bidirectionnel, ce qui les rend inadaptées aux applications interactives en temps réel où le mouvement doit être généré avant qu'un énoncé complet ne soit disponible. Le défi central consiste à synthétiser un mouvement corporel expressif et de haute qualité à partir de courts buffers audio avec une latence minimale du premier segment (first-chunk), tout en maintenant la continuité temporelle dans un contexte de streaming.

Méthodologie

Les auteurs proposent GestureFM, un cadre compact de Flow Matching (FM) latent conçu pour la génération de mouvement corporel co-speech à faible latence et en streaming. Le système se compose de trois composantes principales :

1. Auto-encodeur Variationnel de Gestes (Gesture VAE)

Pour réduire la charge computationnelle du modèle génératif, les auteurs compressent les données de mouvement de haute dimension dans un espace latent compact.

Entrée : Pose corporelle SMPL-X de 168 dimensions (165-D rotations) et translation globale (3-D).
Architecture : Un encodeur Transformer bidirectionnel (6 couches, $d_{model}=512$ ) avec une couche Conv1d espacée effectuant un sous-échantillonnage temporel de 4×, mappant 176 trames d'entrée en 44 tokens latents. L'espace latent a une dimension de $D_z = 16$ .
Décodage : Un décodeur Transformer causal reconstruit le mouvement. Bien que l'encodeur soit bidirectionnel (pour l'entraînement hors ligne), le décodeur et le modèle génératif en aval utilisent une attention causale pour supporter l'inférence en streaming.
Objectif d'entraînement : Le VAE est entraîné avec une perte composite incluant la reconstruction de la pose, la reconstruction de la translation, des termes de vélocité et un terme de divergence KL ( $\beta = 10^{-5}$ ).

2. Flow Matching Causal Conditionné par l'Audio

Le modèle génératif opère dans l'espace latent normalisé du VAE.

Conditionnement Audio : L'audio est traité via un extracteur de spectrogramme Log-Mel (80 bandes) et un encodeur CNN léger pour produire 44 tokens audio temporels.
Transformer de Flow Matching : Un Transformer de 6 couches (5,9 M de paramètres) apprend un champ de vitesse $v_\theta$ qui transporte une distribution de bruit $p_0 = \mathcal{N}(0, I)$ vers la distribution de données cible.
Mécanisme Causal : Le modèle emploie un masque d'auto-attention causal, garantissant que chaque token latent n'est attentif qu'à lui-même et aux tokens précédents, permettant ainsi la génération en streaming.
Normalisation Latente : Une étape critique consiste à normaliser les latents cibles du VAE en utilisant la moyenne et l'écart-type par dimension calculés sur l'ensemble d'entraînement. Cela aligne la distribution empirique des latents avec le prior Gaussien utilisé par le Flow Matching, empêchant les échantillons de s'écarter de la variété (manifold) de mouvement apprise.

3. Pipeline d'Inférence en Streaming

Fenêtre Glissante : Le système génère des segments de mouvement de 1 seconde (30 trames) à partir d'un contexte audio disponible de 2 secondes.
Mélange par Recouvrement (Overlap Blending) : Les segments consécutifs se chevauchent de 25 % (0,25 s), les trames étant mélangées par interpolation linéaire.
Intégration ODE : Le mouvement est généré en intégrant le champ de vitesse appris à l'aide de la méthode ODE du point milieu. Le nombre d'étapes d'intégration ( $K$ ) est un paramètre ajustable pour la latence.
Lissage des Frontières : Pour traiter les discontuités de vélocité aux limites des segments, un lisseur local léger de 7 trames est appliqué après le mélange par recouvrement. Cela mélange le mouvement décodé avec une interpolation linéaire locale sans altérer la longueur de la séquence ou le timing audio.

Principales Contributions

Représentation Latente Compacte : La proposition d'un espace latent de 16 dimensions qui compresse la pose et la translation SMPL-X de 168-D, permettant une génération efficace.
Stratégie de Normalisation Latente : L'introduction de la normalisation latente pour le Flow Matching, qui améliore considérablement la qualité de la génération en alignant la distribution cible avec le prior Gaussien.
Pipeline de Streaming Causal : Une architecture de streaming à fenêtre glissante qui démontre que le nombre d'étapes ODE a un impact négligeable sur la qualité du mouvement (Fréchet Gesture Distance), permettant de sélectionner $K=2$ comme configuration optimale pour la latence la plus faible.
Analyse de la Continuité des Frontières : La caractérisation des discontinuités de vélocité aux frontières de segments lors du déploiement en streaming et la démonstration qu'un lisseur local de 7 trames réduit les sauts de vélocité de 85 % sans dégrader l'alignement sur le rythme (beat alignment).

Résultats Expérimentaux

Le modèle a été évalué sur le jeu de données BEAT2 (60 heures de capture de mouvement SMPL-X provenant de 25 locuteurs).

Qualité du Mouvement (FGD) : Le modèle GestureFM latent-normalisé a atteint une distance Fréchet de geste (FGD) officielle de 0,272 sur l'ensemble de test. Cela représente une amélioration de 30 % par rapport à la variante non normalisée (0,390) et surpasse significativement le checkpoint de mouvement corporel EMAGE reproduit (2,373).
Alignement sur le Rythme (BA) : Le modèle correspond à l'alignement du rythme de la vérité terrain avec un score de 0,758 (hors ligne) et 0,762 (en streaming avec le lisseur).
Latence : Avec $K=2$ étapes d'ODE, le système atteint une latence du premier segment de 22 ms avec un facteur de temps réel (RTF) de 0,022×.
Études d'Ablation :
- Dimension Latente : Un espace latent de 16-D a produit une meilleure qualité de génération en aval qu'un espace de 32-D, malgré une meilleure reconstruction VAE pour ce dernier, suggérant que l'espace de 16-D agit comme un régularisateur implicite pour le flow matching causal.
- Étapes ODE : Le FGD est resté stable (0,293–0,305) pour tous les $K \ge 2$ testés, confirmant que l'augmentation des étapes n'améliore pas la qualité mais augmente linéairement la latence.
- Lissage : Le lisseur de 7 trames a réduit les sauts de vélocité aux frontières de 0,700 à 0,105 (une réduction de 85 %) tout en maintenant un BA stable.
- Mémoire Inter-Segments : Une extension tentant de passer les queues de latents des segments précédents a échoué en raison du biais d'exposition, provoquant une dégradation de 6,9× du FGD.

Signification et Revendications

L'article affirme que GestureFM établit une base solide et efficace pour la génération de mouvement corporel à faible latence. Sa principale importance réside dans la démonstration qu'une synthèse de mouvement de haute qualité et compatible avec le streaming est réalisable sans le coût computationnel lourd de l'attention bidirectionnelle ou de l'échantillonnage de diffusion itératif.

Les auteurs soulignent que la normalisation latente est essentielle pour aligner les échantillons générés avec la variété (manifold) du VAE, et que les étapes ODE minimales ( $K=2$ ) sont suffisantes pour une sortie de haute qualité, rendant le système viable pour des applications interactives en temps réel. De plus, l'étude souligne la nécessité pratique du post-traitement (lissage local) pour atténuer les artefacts inhérents au streaming indépendant par segments, tout en notant que des mécanismes plus complexes à état (comme la mémoire de queue de latent) nécessitent une gestion prudente du biais d'exposition pour être efficaces.

Le travail conclut que bien que le modèle actuel se concentre sur la pose corporelle et la translation (excluant les expressions faciales et les mains), il fournit un cadre fondamental pour de futurs systèmes d'humains numériques holistiques et à faible latence.