Résumé Technique : WaveSync

Problématique

La génération de gestes co-discursifs expressifs pour les robots humanoïdes physiques présente un défi unique, distinct de celui des avatars virtuels. Alors que les avatars virtuels peuvent exécuter des mouvements rapides et superposés sans conséquence, les robots physiques opèrent sous des contraintes cinématiques et dynamiques strictes (par exemple, les limites de vitesse des moteurs et l'intégrité structurelle). Les méthodes existantes échouent souvent à traiter ce problème couplé :

• Les systèmes basés sur des règles manquent de flexibilité et ne peuvent pas s'adapter à la prosodie en direct.
• Les modèles fondés sur les données manquent souvent de gestes emphatiques dans les données d'entraînement et peuvent générer des trajectoires qui violent les limites matérielles.
• Les planificateurs basés sur les LLM fournissent un ancrage sémantique mais peuvent halluciner des configurations de joints et introduire de la latence.
• Les méthodes de synchronisation actuelles pour les robots physiques reposent généralement sur un simple ajustement de durée (étirement de l'audio ou des images clés), ce qui ignore la structure sous-verbale. Cela entraîne un désalignement entre les pics de stress de la parole et les maxima de l'amplitude du geste, affaiblissant la perception de naturel de l'interaction.

Méthodologie : Le Framework WaveSync

WaveSync est un framework hybride conçu pour synchroniser les amplitudes de gestes avec l'emphase de la parole tout en respectant strictement les contraintes cinématiques du robot. Le pipeline se compose de trois étapes séquentielles :

1. Scripting Sémantique par LLM et Synthèse de l'SIW

Le système convertit le texte conversationnel brut en un signal d'énergie continu appelé Onde d'Importance Sémantique (SIW - Semantic Importance Wave).

• Décomposition Sémantique : Un grand modèle de langage (LLM) traite la réponse du dialogue, la décomposant en segments prosodiques. Pour chaque mot, le LLM assigne un poids d'importance sémantique ($\alpha \in [0, 1]$), où les valeurs proches de 1 indiquent des mots-clés accentués et les valeurs proches de 0 représentent des mots de remplissage.
• Alignement Temporel : Ces poids par mot sont fusionnés avec les horodatages provenant d'un pipeline d'alignement forcé basé sur Whisper pour déterminer le temps cible ($t_c$) de chaque pic de geste.
• Construction de l'Onde : Les paires discrètes (mot-poids) sont transformées en un signal continu $s(t)$ par superposition de noyaux gaussiens. Cette forme d'onde sert de cible d'optimisation, encodant l'énergie communicative au fil du temps.

2. Modélisation d'Action Cinématique via des Primitives Paraboliques et des DMP

Les gestes récupérés d'une bibliothèque de mouvements sont adaptés pour garantir la faisabilité cinématique et l'expressivité.

• Modélisation Parabolique : Les amplitudes de gestes sont modélisées comme des paraboles inversées ($P_j(t)$) pour représenter les phases de préparation, de frappe (stroke) et de rétractation. Cette forme mathématique permet un alignement direct avec les pics de l'SIW.
• Primitives de Mouvement Dynamiques (DMP) : Les gestes sélectionnés sont encodés sous forme de DMP. Cela permet :
  • Mise à l'échelle Spatiale : La position cible est mise à l'échelle selon l'importance sémantique et l'état émotionnel (ex: l'excitation induit un mouvement plus large/rapide).
  • Variation Stylistique : Un bruit stochastique est injecté dans la fonction de forçage pour éviter un comportement répétitif de type "modèle".
  • Adaptation Temporelle : Un paramètre de mise à l'échelle temporelle ($\tau$) est utilisé comme variable principale pour étirer ou compresser la durée du geste ($D(\tau)$) sans altérer la signature cinématique sous-jacente.

3. Optimisation de l'Onde (Wavefront Optimization)

Cette étape résout les conflits temporels lorsque des gestes de longue durée sont assignés à des pics sémantiques rapprochés, garantissant la synchronisation sans violer les limites matérielles. Elle emploie une politique hiérarchique à trois étapes :

• Alignement des Pics : Le système maximise l'intégrale de recouvrement entre l'impulsion du geste et l'SIW pour aligner les pics de frappe avec l'emphase vocale.
• Ajustement d'Exécution : Si des chevauchements surviennent, la durée des gestes suivants est compressée. Une limite inférieure stricte est imposée ($D \geq \frac{2}{3}D_0$) pour éviter des vitesses articulaires extrêmes qui pourraient endommager le matériel.
• Propagation Vers l'Avant : Si la compression seule ne peut résoudre le conflit (c'est-à-dire si la "règle de croisement" est violée), le système décale tous les gestes suivants vers l'avant dans le temps. Le décalage temporel accumulé est injecté dans le pipeline de synthèse vocale (TTS) sous forme de pauses naturelles entre les segments. Cela préserve la prosodie de la parole tout en donnant au robot le temps nécessaire pour achever des mouvements cinématiquement valides. L'interpolation de mouvement assure des transitions fluides aux limites des gestes tronqués.

Contributions Clés

1. Architecture Hybride : Un nouveau pipeline qui convertit l'intention sémantique pilotée par LLM en mouvements de robot via des DMP, contournant efficacement les risques de génération directe d'angles articulaires à partir de LLM.
2. Optimisation de l'Onde (Wavefront Optimization) : Un module de synchronisation qui atteint un alignement précis de pic à pic entre le stress de la parole et les frappes de geste tout en satisfaisant strictement les contraintes cinématiques et dynamiques en temps réel.
3. Planification Sécurisée pour le Matériel : L'introduction d'un mécanisme qui résout les conflits de mouvement par compression de durée et pauses naturelles plutôt que par la distorsion du signal de parole ou le risque de dommages matériels.

Résultats Expérimentaux

Le système a été évalué dans des simulations PyBullet de haute fidélité utilisant un modèle de haut du corps humain de type humanoïde à travers cinq scénarios de dialogue (salutation, conversation informelle, descriptif, avertissement et réflexion).

• Évaluation Objective :
  • Précision de Synchronisation : WaveSync a atteint un score moyen de Synchronisation Humaine (HbS) de 0,307, maintenant les erreurs d'alignement généralement en dessous du seuil de tolérance perceptuelle d'une seconde. Le scénario S3 (Descriptif) a donné les meilleurs résultats (HbS = 0,534), tandis que le S2 (Informel) a montré une fidélité moindre en raison de pics de gestes ambigus.
  • Fluidité de Trajectoire : WaveSync a maintenu des magnitudes de jerk articulaire constamment basses. En revanche, la ligne de base sans DMP présentait des pics fréquents dépassant 140 m/s³, confirmant que l'interpolation par images clés sans façonnage de trajectoire produit des mouvements brusques et dangereux.
• Évaluation Subjective :
  • Une étude utilisateur avec 20 participants a évalué le système sur la Fluidité du Mouvement, la Synchronisation Temporelle, l'Adéquation Sémantique et le Naturel Global.
  • WaveSync a systématiquement surpassé trois lignes de base par ablation (sans SIW, sans DMP, sans Wavefront).
  • Les écarts de performance les plus importants ont été observés pour la Synchronisation Temporelle et le Naturel Global. L'étude a confirmé que le retrait de n'importe quel composant (poids sémantique, façonnage DMP ou planification de l'onde) dégradait significativement l'expérience utilisateur.

Signification et Revendications

L'article affirme que WaveSync comble avec succès le fossé entre la génération de gestes expressifs et les limitations physiques des robots humanoïdes. En intégeant l'importance sémantique aux contraintes cinématiques, le système produit des gestes qui sont expressifs, ancrés sémantiquement et cinématiquement conformes.

Les auteurs notent que le système actuel repose sur une bibliothèque d'actions fixes, ce qui limite la couverture pour les dialogues non contraints. Par conséquent, l'article présente modestement les travaux futurs comme visant à traiter cette limitation par la synthèse automatique de gestes et souligne que le test de WaveSync sur du matériel robotique réel reste la prochaine étape critique. Ce travail est présenté comme une étape fondamentale vers le déploiement d'applications de robots sociaux dotés d'une communication non verbale naturelle et synchronisée.