MoCHA: Denoising Caption Supervision for Motion-Text Retrieval

1. Problématique : Le Bruit dans la Supervision par Texte

Le domaine de la recherche texte-mouvement (Motion-Text Retrieval) vise à associer des descriptions linguistiques naturelles à des séquences de mouvements humains 3D. Les approches actuelles reposent sur l'apprentissage d'espaces d'incorporation partagés via des objectifs de contraste (comme InfoNCE), traitant chaque paire (mouvement, légende) comme une vérité terrain déterministe.

Cependant, les auteurs identifient une mauvaise spécification fondamentale de ce problème :

• Nature stochastique des légendes : Une légende n'est pas une étiquette unique et déterministe, mais un échantillon tiré d'une distribution de descriptions valides.
• Mélange de sémantique et de bruit : Chaque annotation mélange deux composantes :
  1. Sémantique récupérable du mouvement ($s$) : Le contenu kinématique réel (type d'action, parties du corps, direction, répétitions) déductible des coordonnées des articulations 3D.
  2. Facteurs de nuisance ($a$) : Variations dépendantes de l'annotateur (style linguistique, hypothèses sur l'intention, contexte inféré, émotions hallucinées comme "nervous" ou "scared" qui n'ont pas de signature dans les joints 3D).
• Conséquences :
  • Variance intra-mouvement : Différents annotateurs décrivant le même mouvement produisent des embeddings textuels dispersés, affaiblissant l'alignement avec le mouvement.
  • Décalage de distribution (Cross-dataset) : Les jeux de données (ex: HumanML3D vs KIT-ML) ont des distributions de bruit différentes (vocabulaire, longueur, style). Un modèle entraîné sur le bruit d'un jeu de données est mal calibré pour un autre, limitant sévèrement le transfert inter-jeux de données.

2. Méthodologie : MoCHA (Motion Canonicalization for Human Action)

MoCHA propose un cadre de débruitage de la supervision qui projette les légendes sur leur contenu récupérable par le mouvement avant l'encodage, sans modifier l'architecture de récupération elle-même.

A. Opérateur de Canonisation $C(t)$

L'objectif est de définir une transformation qui préserve $s$ tout en supprimant $a$.

• Décomposition : $t \sim p(t|s, a)$. L'opérateur $C(t) \approx \phi(s)$ vise à extraire la représentation textuelle stable du mouvement.
• Implémentation :
  1. Version LLM : Utilisation d'un grand modèle de langage (GPT-5.2) pour réécrire les légendes en éliminant le style et les inférences, ne gardant que les actions et directions.
  2. Version Distillée (LLM-free) : Un modèle FlanT5-base est entraîné par distillation sur les paires $(t, C(t))$ générées par le LLM. Cela permet une inférence rapide et autonome sans dépendre d'un LLM externe.

B. Entraînement par Mélange (Blend Training)

Pour équilibrer la stabilité sémantique et la diversité linguistique, MoCHA introduit un schéma d'entraînement à deux passes :

• Vue débruitée (Primaire) : La légende canonisée $C(t_i)$ est utilisée pour ancrer l'alignement autour de la sémantique $s$, réduisant la variance du gradient.
• Vue originale (Secondaire) : La légende brute $t_i$ est utilisée comme régularisateur pour maintenir la diversité linguistique et éviter que le modèle n'oublie les nuances présentes dans les requêtes naturelles.
• Objectif : La perte totale est une combinaison pondérée : $\mathcal{L}_{mix} = \lambda \mathcal{L}_{InfoNCE}(m, C(t)) + (1-\lambda) \mathcal{L}_{InfoNCE}(m, t)$.

3. Contributions Clés

1. Définition théorique du bruit : Formalisation de la supervision par légende comme un mélange de sémantique kinématique et de facteurs de nuisance, expliquant mathématiquement pourquoi la variance intra-mouvement dégrade l'apprentissage contrastif.
2. Cadre de canonisation : Introduction de l'opérateur $C(t)$, implémenté via un LLM et distillé dans un modèle léger (FlanT5), compatible avec n'importe quelle architecture de récupération.
3. Stratégie d'entraînement hybride : Proposition du "Blend Training" pour éviter la sur-canonisation tout en bénéficiant d'un signal de supervision plus propre.
4. Preuve empirique : Démonstration que le débruitage surpasse l'augmentation par paraphrase (qui élargit la variance au lieu de la réduire) et que la canonisation est un principe général applicable même avec des règles simples (suppression des mots vides), bien que les méthodes apprises soient supérieures.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks HumanML3D (H) et KIT-ML (K), avec une attention particulière au transfert inter-jeux de données.

• État de l'art (In-distribution) :

  • Sur HumanML3D, la variante LLM atteint 13.9% de R@1 (Text-to-Motion), soit une amélioration de +3.1 points par rapport à l'état de l'art précédent (MoPa).
  • Sur KIT-ML, la variante LLM atteint 24.3% de R@1, soit une amélioration massive de +10.3 points.
  • La variante sans LLM (T5) obtient également des gains significatifs (+2.5pp sur H, +8.1pp sur K).

• Transfert Inter-Jeux de Données (Cross-Dataset) :

  • C'est ici que MoCHA excelle le plus, car il élimine le biais de style spécifique à chaque jeu de données.
  • Transfert H → K : Amélioration relative de +94% en R@1.
  • Transfert K → H : Amélioration relative de +52%.
  • Cela confirme que le bruit $a$ est la cause principale de l'échec du transfert.

• Analyse Géométrique de l'Espace d'Embedding :

  • Réduction de la variance intra-mouvement des embeddings textuels de 11% à 19%.
  • Les clusters positifs (mêmes mouvements) sont plus compacts, l'alignement texte-mouvement est plus fort, et la séparation par rapport aux négatifs est améliorée.
  • Réduction de la variance des gradients d'entraînement, conduisant à un signal d'apprentissage plus stable.

• Comparaison avec l'Augmentation :

  • L'augmentation par paraphrase (TMR++) tend à augmenter la variance et dégrade parfois les performances R@1, tandis que la canonisation améliore systématiquement tous les rangs de rappel.

5. Signification et Conclusion

Le papier MoCHA remet en question l'hypothèse courante selon laquelle chaque légende est une vérité terrain parfaite. En traitant la supervision comme un problème de débruitage, il démontre que :

1. La variabilité stylistique des annotateurs est un obstacle majeur à la généralisation des modèles de mouvement.
2. La canonisation (projection sur le contenu sémantique pur) est un principe général qui améliore la robustesse et le transfert, bien au-delà des capacités des simples règles de suppression de mots.
3. Il est possible d'atteindre des performances d'état de l'art et une transférabilité exceptionnelle sans modifier l'architecture de base du modèle de récupération, simplement en nettoyant les données d'entrée.

Cette approche ouvre la voie à des systèmes de récupération et de génération de mouvement plus robustes, capables de fonctionner efficacement sur des données non vues et de différents styles d'annotation.