TEXEDO : Test Time Scaling for Controller-aware Language-conditioned Humanoid Motion Generation

Résumé Technique : TEXEDO

Énoncé du Problème

La génération de mouvement conditionnée par le texte est devenue une interface prometteuse pour la programmation des robots humanoïdes, pourtant un décalage critique subsiste entre le générateur de mouvement et le contrôleur du corps complet (whole-body controller). Les générateurs actuels sont généralement entraînés sur des jeux de données de mouvements humains réadaptés aux morphologies robotiques. Bien que ces modèles capturent des priors cinématiques sémantiques riches, ils manquent d'exposition aux contraintes spécifiques du contrôleur en aval, telles que les limites d'équilibre, la synchronisation des contacts, la saturation des actionneurs et les modes de défaillance spécifiques au contrôleur. Par conséquent, les mouvements générés peuvent être sémantiquement plausibles mais dynamiquement infaisables, entraînant des échecs de déploiement tels que des chutes, des contacts inappropriés ou une saturation des actionneurs.

Les approches existantes traitent souvent la génération et le contrôle comme étant faiblement couplés. Alors que la modélisation du langage a réussi à adopter le « scaling au moment du test » (échantillonnage de multiples candidats et sélection du meilleur via un vérificateur) pour améliorer la qualité de la génération, l'application de cela au mouvement humain nécessite une notion de qualité « ancrée ». Un candidat doit non seulement s'aligner avec l'instruction textuelle, mais il doit également être exécutable par le traceur du corps complet spécifique sur la plateforme matérielle spécifique.

Méthodologie : TEXEDO (Text-See-Do)

TEXEDO est un cadre de scaling au moment du test conçu pour convertir un générateur de texte-vers-mouvement pré-entraîné et gelé en un système de mouvement conscient du contrôleur sans modifier le générateur ou le traceur. Le pipeline opère en trois étapes :

1. TEXT (Texte) : Échantillonnage de Candidats

Étant donné une instruction en langage naturel $\ell$, un générateur conditionné par le langage $G$ (par exemple, FSQ-GPT) échantillonne un ensemble de $N$ trajectoires de référence du corps complet candidates $\{m_i\}_{i=1}^N$. Le générateur est traité comme une boîte noire ; le cadre repose uniquement sur les trajectoires décodées.

2. SEE (Voir) : Vérification Ancrée

Chaque candidat est évalué par deux vérificateurs complémentaires et ancrés :

• Vérificateur de Faisabilité Dynamique ($R_{dyn}$) : Ce vérificateur prédit si un mouvement peut être suivi avec succès par le contrôleur lors du déploiement. Il est distillé à partir de rollouts hors ligne du véritable traceur (par exemple, SONIC).
  • Signal Oracle : Les rollouts hors ligne génèrent trois signaux : le succès binaire ($y_s$), la qualité de suivi ($q_d$) et le ratio de progression ($q_g$). Ces signaux sont condensés en un score de qualité oracle unique $Q^*$.
  • Modèle Substitut : Un Transformer temporel léger est entraîné pour prédire ces signaux directement à partir du mouvement $m$, produisant $R_{dyn}(m)$. Cela évite le coût prohibitif de l'exécution de rollouts complets au moment de la sélection.
• Vérificateur d'Alignement Sémantique ($R_{text}$) : Ce vérificateur mesure l'alignement entre l'instruction textuelle et le mouvement.
  • Architecture : Des encodeurs GRU bidirectionnels pour le texte et le mouvement sont entraînés sur le squelette robotique cible en utilisant une perte contrastive.
  • Score : Le score est défini comme l'exponentielle de la distance négative des embeddings entre les encodages texte et mouvement, $R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$.

3. DO (Faire) : Sélection Asymétrique

TEXEDO emploie une stratégie de filtrage puis de re-classement pour sélectionner le mouvement final $\hat{m}$ :

1. Filtrer : Les candidats prédits comme dynamiquement infaisables ($R_{dyn} < \theta$) sont écartés. Cela traite la faisabilité dynamique comme une contrainte stricte pour garantir la sécurité et l'exécutabilité.
2. Re-classer : Parmi l'ensemble des candidats restants et faisables, le candidat ayant le score d'alignement sémantique le plus élevé ($R_{text}$) est sélectionné.
3. Repli (Fallback) : Si aucun candidat ne passe le filtre dynamique, le candidat ayant le $R_{dyn}$ le plus élevé est sélectionné pour maximiser la chance d'exécution.

Contributions Clés

1. Formulation du Problème : Ce travail formule la génération de mouvement humanoïde conditionnée par le langage et consciente du contrôleur comme un problème de scaling au moment du test, en exploitant des échantillons supplémentaires lors de l'inférence pour améliorer l'unique mouvement de référence commandé au robot.
2. Conception de Double Vérificateur : Il introduit deux vérificateurs ancrés :
   • Un Vérificateur de Faisabilité Dynamique distillé des rollouts du traceur pour prédire l'exécutabilité physique.
   • Un Vérificateur d'Alignement Sémantique entraîné sur des mouvements de squelettes robotiques pour mesurer l'alignement texte-mouvement.
3. Stratégie de Sélection Asymétrique : Le papier propose une règle de filtrage puis de re-classement qui donne la priorité à la faisabilité dynamique comme une contrainte stricte avant d'optimiser l'alignement sémantique. Cela résout la tension entre ces deux critères concurrents, garantissant que le mouvement sélectionné est à la fois sûr et sémantiquement fidèle.

Résultats Expérimentaux

Le cadre a été évalué sur un humanoïde Unitree G1 utilisant le contrôleur du corps complet SONIC, avec des expériences couvrant la simulation et le déploiement en conditions réelles.

• Efficacité du Scaling au Moment du Test :
  • L'augmentation de la taille du pool de candidats ($N$) améliore systématiquement les performances.
  • La sélection basée uniquement sur $R_{dyn}$ atteint un succès de suivi élevé (0,990) mais dégrade l'alignement sémantique (le score VLM-Judge chute à 4,924).
  • La sélection basée uniquement sur $R_{text}$ atteint un alignement sémantique élevé (6,110) mais offre une amélioration minimale du succès d'exécution (0,885).
  • TEXEDO équilibre avec succès les deux, atteignant un succès de suivi de 0,984 et un score VLM-Judge de 6,054 (à $N=32$), surpassant nettement la ligne de base ($N=1$) qui avait 0,873 de succès et 5,722 d'alignement.
• Généralisation Zero-Shot :
  • Indépendant du Générateur : Appliqué à un générateur inédit (Kimodo) sans réentraînement des vérificateurs, TEXEDO améliore à la fois la qualité d'exécution et l'alignement sémantique, démontant que les critères de sélection se transfèrent entre les architectures de générateurs.
  • Hors-Distribution (OOD) : Sur des prompts issus du jeu de données inédit BONES-SEED, TEXEDO améliore le succès de suivi de 0,860 à 0,980 et réduit considérablement les erreurs de suivi, montrant une robustesse de généralisation aux prompts OOD.
• Déploiement en Réel :
  • TEXEDO a été déployé sur un Unitree G1 physique à travers 30 prompts diversifiés (locomotion, gestes, combinaisons).
  • Il a exécuté avec succès les 30 prompts, sélectionnant systématiquement des mouvements stables et correspondant à la sémantique voulue, là où les méthodes de base échouaient souvent ou produisaient des comportements instables.

Signification et Revendications

Le papier affirme que la vérification ancrée est une voie efficace vers la génération de mouvement humanoïde guidée par le langage et déployable. En traitant la faisabilité dynamique comme une contrainte stricte et l'alignement sémantique comme l'objectif de sélection, TEXEDO permet l'utilisation de puissants générateurs de texte-vers-mouvement pré-entraînés sans nécessiter de réentraînement ou de modifications complexes du contrôleur.

Les auteurs soulignent que cette approche permet de convertir le calcul supplémentaire au moment de l'inférence (échantillonnage de plus de candidats) en une trajectoire de référence unique de haute qualité, qui est à la fois alignée sur le langage et physiquement ancrée. La méthode démontre qu'il est possible de combler le fossé entre la génération sémantique et le contrôle physique, produisant des gains constants tant en simulation que lors de l'exécution sur du matériel réel. Le travail suggère que le scaling au moment du test, lorsqu'il est couplé à des vérificateurs conscients du contrôleur, est une stratégie viable pour améliorer la fiabilité des robots humanoïdes dans des tâches ouvertes.