🤖 AI

Social Structure Matters in 3D Human-Human Interaction Generation

Cet article propose le cadre « Solo-to-Social », qui répond aux défis de la génération d'interactions humaines à deux par commande textuelle en employant un paradigme planificateur-exécuteur où un LLM infère la structure sociale sous-jacente (phases et rôles) et un exécuteur de mouvement transpose cette structure en mouvements à deux personnes physiquement plausibles et coordonnés.

Auteurs originaux : Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

Publié 2026-06-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Deux personnes, un texte

Imaginez que vous demandiez à un ordinateur de dessiner une image de deux personnes qui se font un câlin. Si vous lui demandez simplement de « dessiner un câlin », il pourrait dessiner deux personnes debout l'une à côté de l'autre, ou peut-être une personne faisant un câlin à un mur.

Dans le monde de l'animation 3D, faire bouger deux personnes de manière réaliste ensemble à partir d'une description textuelle (comme « une personne s'approche, fait un câlin, puis lâche prise ») est incroyablement difficile. Les méthodes précédentes traitaient cela comme deux danses solos distinctes se déroulant en même temps. Mais l'interaction humaine n'est pas seulement deux danses solos ; c'est une conversation de mouvement.

Les auteurs soutiennent que l'ingrédient secret manquant à ces animations est la Structure Sociale.

Qu'est-ce que la « Structure Sociale » ?

Pensez à une interaction sociale comme à une pièce de théâtre.

Mouvement Solo : C'est comme un acteur qui répète ses répliques seul. Il sait marcher, faire un signe de la main ou sauter.
Structure Sociale : Ce sont les indications scéniques et les directives de mise en scène. Elles indiquent :
1. Les Phases : L'histoire a des actes (ex. : Approche, Contact, Relâchement). On ne peut pas faire un câlin à quelqu'un avant de s'être approché de lui.
2. Les Rôles : Dans chaque scène, qui fait quoi ? Est-ce que la Personne A est le « câlineur » et la Personne B est le « câliné » ? Est-ce que la Personne A est l'« attaquant » et la Personne B est le « défenseur » ?

Sans cette structure, l'ordinateur pourrait faire en sorte que la Personne A essaie de faire un câlin pendant que la Personne B s'éloigne, ou qu'ils se fassent face du mauvais côté. Le résultat donne l'impression de deux personnes qui ne se connaissent pas, plutôt que de deux personnes qui interagissent.

La découverte : Le « Penseur » vs le « Danseur »

Les chercheurs ont testé une IA très intelligente (un Grand Modèle de Langage ou LLM) pour voir si elle pouvait gérer tout ce travail seule. Ils ont trouvé une séparation claire des capacités :

Le LLM est un excellent « Directeur » (Le Penseur) :
Si vous demandez au LLM de planifier la scène, il est excellent. Il peut décomposer l'histoire en phases (« D'abord ils marchent, ensuite ils se touchent, ensuite ils se séparent ») et assigner des rôles (« La Personne A initie, la Personne B reçoit »). Il comprend parfaitement la logique de l'interaction.
Le LLM est un mauvais « Danseur » (L'Exécuteur) :
Cependant, lorsque vous demandez au LLM de générer réellement le mouvement 3D (les coordonnées des os), il échoue. Il produit des mouvements raides, statiques ou vacillants. C'est comme un metteur en scène qui sait exactement comment une scène doit paraître, mais qui n'a jamais appris à bouger son propre corps.

La solution : L'équipe « Planificateur-Exécuteur »

Parce que le LLM est bon pour réfléchir mais mauvais pour bouger, les auteurs ont créé une équipe en deux parties appelée « Penser avec le LLM, Bouger avec la Compétence de Mouvement ».

Partie 1 : Le Planificateur (Le LLM)

Le LLM agit comme le Scénariste et le Directeur.

Il prend une simple consigne textuelle (ex. : « Deux personnes se font un high-five »).
Il la décompose en un plan structuré :
- Phase 1 (Approche) : La Personne A marche vers la Personne B.
- Phase 2 (Contact) : La Personne A lève la main, la Personne B lève la main.
- Phase 3 (Relâchement) : Ils écartent les mains.
Crucialement, il assigne des rôles spécifiques à chaque personne pour qu'elles sachent qui fait quoi.

Partie 2 : L'Exécuteur (Le Modèle de Mouvement)

L'Exécuteur est un robot spécialisé entraîné sur des milliers d'heures de mouvements humains solos (comme un danseur professionnel qui a pratiqué des millions de pas).

Au lieu d'apprendre à ce robot à partir de zéro, les auteurs lui ont donné une amélioration spécialisée (appelée LoRA).
Cette amélioration permet au robot d'écouter le plan du Directeur.
Le tour de magie : Le robot ne se contente pas de bouger ; il bouge par rapport à l'autre personne.
- Auto-conditionnement : Il se souvient de ce qu'il vient de faire pour assurer des transitions fluides (pas de sauts brusques entre les phases).
- Conditionnement du Partenaire : Il regarde où se trouve l'autre personne en ce moment même et ajuste son propre mouvement pour correspondre. Si le partenaire recule, le robot avance pour le rejoindre.

Le Résultat : Une danse coordonnée

En combinant le script du Directeur (Structure Sociale) avec la mémoire musculaire du Danseur (Compétence de Mouvement), le système crée des animations où :

Le timing est parfait (ils ne ratent pas leurs mains).
Les rôles sont cohérents (le câlineur fait vraiment un câlin, le câliné l'accepte vraiment).
Le mouvement est fluide, tout comme chez les vrais humains.

Analogie de synthèse

Imaginez que vous vouliez construire une maison.

Anciennes méthodes : Vous avez engagé deux maçons et leur avez dit : « Construisez une maison ». Chacun a construit un mur, mais les murs ne se rejoignaient pas, et le toit flottait.
Le LLM seul : Vous avez engagé un architecte qui a écrit un plan parfait, mais qui ne peut pas tenir une truelle. Le plan était excellent, mais la maison n'a jamais été construite.
La méthode de cet article : Vous avez engagé l'Architecte pour écrire un plan détaillé, étape par étape, avec des rôles spécifiques pour chaque travailleur. Ensuite, vous avez engagé un Maître Maçon qui est un expert pour poser des briques. L'Architecte dit au Maçon exactement quoi faire à chaque étape, et le Maçon utilise ses compétences d'expert pour poser les briques parfaitement. Le résultat est une maison qui tient debout et qui ressemble exactement à ce qui était prévu.

L'article prouve que pour que deux personnes interagissent de manière réaliste en 3D, il faut modéliser explicitement le script social (phases et rôles) et laisser un modèle de mouvement spécialisé l'exécuter, plutôt que de forcer une IA textuelle à réaliser elle-même la danse physique.

Résumé Technique : La structure sociale importe dans la génération d'interactions humain-humain en 3D

Définition du Problème

Bien que la génération de mouvement à partir de texte ait connu un succès significatif dans la synthèse de mouvements 3D réalistes pour une personne seule à partir du langage naturel, étendre cette capacité à l'interaction humain-humain (HHI) pilotée par le texte reste un défi. Les approches existantes traitent souvent l'HHI comme une simple extension spatiale de la génération de mouvement solo, en modélisant conjointement deux acteurs ou en composant des priors de mouvement individuels. Cependant, cela néglige une propriété fondamentale de l'HHI : les interactions ne sont pas simplement la somme de deux mouvements individuels plausibles, mais sont organisées par une structure sociale sous-jacente.

Cette structure sociale régit deux dimensions critiques :

Progression de Phase : L'organisation temporelle d'une interaction en étapes telles que l'approche, le contact, le relâchement ou la coordination sur place.
Coordination Sensible au Partenaire : Les responsabilités asymétriques mais couplées des acteurs au sein de chaque phase (par exemple, initiateur vs receveur, attaquant vs défenseur).

Sans modéliser explicitement cette structure, les mouvements générés manquent souvent de cohérence de phase (par exemple, des acteurs s'approchant à des moments incohérents) ou de sensibilisation au partenaire (par exemple, faire face dans la mauvaise direction ou exécuter des rôles incompatibles), ce qui donne des interactions qui ne parviennent pas à paraître cohérentes malgré la plausibilité des poses individuelles.

Méthodologie

Le papier propose un paradigme planificateur-exécuteur intitulé « Penser avec l'LLM, Bouger avec le Skill de Mouvement », qui sépare la planification de la structure sociale de l'exécution du mouvement. Cette approche est fondée sur l'observation que les modèles de langage étendus (LLM) possèdent de fortes capacités de raisonnement sémantique mais manquent de la précision cinématique requise pour la génération de mouvement 3D continu.

1. Planification de la Structure Sociale (Le Planificateur)

Les auteurs utilisent un LLM (spécifiquement Qwen3.5) pour convertir les descriptions d'interaction globales implicites en une supervision sociale explicite et alignée sur le mouvement.

Annotation Alignée sur le Mouvement : Pour empêcher le LLM de générer des plans linguistiquement plausibles mais incohérents avec le mouvement, le système extrait des « faits de mouvement » de jeux de données HHI réels (InterHuman et InterX). Ces faits incluent l'évolution de la distance interpersonnelle, les initiateurs de mouvement, la sémantique du contact et les indices au niveau des membres.
Décomposition : Le LLM est conditionné sur le texte global, les étiquettes de phase détectées (approche, contact, relâchement, sur place) et ces faits de mouvement. Il produit ensuite un plan structuré composé d'unités de niveau de phase et d'assignations de rôles sensibles au partenaire (par exemple, des actions spécifiques pour la Personne 1 et la Personne 2 dans chaque phase).
Résultat : Ce processus transforme les paires texte-mouvement grossières en annotations sociales fines et alignées sur le mouvement ( $S$ ), servant de pont entre l'intention du langage et l'exécution du mouvement.

2. Exécution du Mouvement Solo-vers-Social (L'Exécuteur)

Pour ancrer la structure sociale planifiée dans un mouvement 3D continu et coordonné, les auteurs introduisent le cadre Solo-to-Social (S2S). Au lieu d'entraîner un nouveau modèle à partir de zéro, S2S adapte un backbone de mouvement solo pré-entraîné (HY-Motion 1.0) en utilisant l'adaptation de bas rang (LoRA) efficace en paramètres.

Auto-conditionnement par Phase : Pour assurer des transitions fluides entre les phases, le modèle conditionne la génération de la phase actuelle sur les $e$ dernières trames de la phase précédente. Cela ancre la progression temporelle dans une trajectoire continue.
Conditionnement du Partenaire en Référentiel Ego : Pour parvenir à une coordination sensible au partenaire, le modèle conditionne la génération de l'Acteur $i$ sur le mouvement du partenaire (l'Acteur $j$ ), transformé dans le référentiel égocentrique de l'Acteur $i$ . Cela permet au modèle d'observer directement la position relative, l'orientation et la géométrie de l'interaction.
Objectif d'Entraînement : L'objectif de fine-tuning combine la perte de flow-matching originale avec des pertes pour la fluidité temporelle, la distance relative et l'orientation relative, garantissant que le modèle préserve les priors de mouvement atomiques tout en apprenant la coordination sociale.

Contributions Clés

Formulation du Problème : Le papier formule la génération d'HHI pilotée par le texte comme un problème de modélisation et d'ancrage de la structure sociale, identifiant la progression de phase et la coordination sensible au partenaire comme les principes organisateurs centraux plutôt que de traiter cela comme une simple extension à deux personnes de la génération de mouvement solo.
Analyse de la Limite de Capacité : À travers une étude diagnostique, les auteurs démontrent que les LLM sont efficaces pour la planification de la structure sociale (récupération des décompositions de phase et des rôles) mais inadéquats pour l'exécution directe du mouvement 3D continu en raison d'un manque de précision cinématique et de cohérence dynamique.
Paradigme Planificateur-Exécuteur : Un cadre novateur où un planificateur LLM réorganise les jeux de données HHI en annotations fines et alignées sur le mouvement, et un exécuteur Solo-to-Social adapte un modèle de mouvement solo pré-entraîné pour ancrer ces structures dans un mouvement coordonné.
Cadre S2S : L'introduction de l'auto-conditionnement par phase et du conditionnement du partenaire en référentiel ego, combinés à LoRA, pour transférer efficacement les priors de mouvement solo vers les tâches d'interaction sociale.

Résultats Expérimentaux

La méthode proposée a été évaluée sur des benchmarks HHI standards (InterHuman et InterX) contre cinq baselines existantes (ComMDM, in2IN, InterGen, InterMask, TIMotion) et une variante utilisant uniquement le planificateur social avec le modèle solo brut.

Performance Quantitative : La méthode proposée a obtenu la R-Précision la plus élevée (24,67 % Top-1) et la plus faible Distance de Fréchet Inception (FID) (0,65), indiquant une supériorité dans l'alignement texte-mouvement et le réalisme du mouvement. Elle a également obtenu les meilleurs scores dans les études utilisateurs pour la Cohérence de Phase (classement 2,57) et la Coordination du Partenaire (classement 2,78).
Améliorations Qualitatives : Les comparaisons visuelles montrent que la méthode produit des transitions de phase plus claires (par exemple, des étapes distinctes d'approche, de contact et de relâchement) et des comportements de partenariat plus cohérents (par exemple, un blocage approprié, une poignée de main et une coordination de levage) par rapport aux baselines, qui souffrent souvent de contacts prématurés, d'interactions statiques ou de mésappariements de rôles.
Études d'Ablation : Supprimer la planification de la structure sociale a provoqué une chute significative de la R-Précision. Supprimer les faits de mouvement a dégradé la cohérence du mouvement. Supprimer l'auto-conditionnement a nui à la fluidité des phases, tandis que supprimer le conditionnement du partenaire a gravement dégradé la coordination spatiale interpersonnelle (Erreurs de Distance Relative et d'Orientation).

Signification et Revendications

Le papier affirme que traiter la structure sociale comme l'abstraction centrale pour la génération d'HHI est crucial pour obtenir des interactions cohérentes. En découplant le raisonnement sémantique des LLM de l'exécution cinématique de modèles de mouvement spécialisés, le cadre parvient à combler le fossé entre l'organisation de l'interaction de haut niveau et la réalisation du mouvement de bas niveau.

Les auteurs déclarent que leur travail valide l'importance de la fois de la planification de la structure sociale (pour organiser l'interaction) et de l'ancrage au niveau du mouvement (pour assurer la plausibilité physique). Ils positionnent cette approche comme une étape vers une génération plus contrôlable et sémantiquement ancrée pour le mouvement humain interactif, avec des applications potentielles dans l'animation, les avatars virtuels et l'IA incarnée, tout en reconnaissant la nécessité de travaux futurs pour étendre ces concepts aux scénarios multi-personnes et aux dynamiques sociales plus complexes.