🤖 AI

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

L'article présente Co-policy, un cadre pour la co-création musicale incarnée entre l'humain et le robot qui intègre un planificateur Qwen-vl affiné pour l'ancrage de l'intention sémantique avec une politique visuomotrice par mélange gaussien afin de générer des réponses musicales complémentaires, en temps réel et physiquement exécutables.

Auteurs originaux : Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée maîtresse : De la « lecture seule » à la « session de jam »

Imaginez que vous jouez une chanson au piano.

L'ancienne méthode (Lecture robotique) : Vous dites au robot : « Joue ces trois notes ». Le robot appuie sur les touches exactement comme ordonné, tel un magnétophone. C'est précis, mais c'est ennuyeux. C'est juste une machine qui exécute une tâche.
La nouvelle méthode (Co-policy) : Vous jouez quelques notes et dites : « Hé, rendons ça énergique ! ». Le robot écoute, comprend votre humeur, puis joue une mélodie complémentaire qui s'accorde avec la vôtre. Il ne se contente pas de vous copier ; il fait une session de jam avec vous.

Cet article présente Co-policy, un système qui transforme le robot d'un « magnétophone » en un « partenaire musical ».

La recette en trois étapes pour la musique robotique

Les auteurs ont conçu un système qui décompose la tâche complexe de la « musique robotique » en trois fonctions distinctes, comme un petit groupe de musique ayant des rôles spécifiques :

1. Le Traducteur (Le planificateur « F-Qwen »)

Le Job : Cette partie écoute ce que vous dites, observe les notes que vous avez jouées et regarde la vue de la caméra du robot sur l'instrument.
L'analogie : Voyez cela comme un traducteur musical qui parle à la fois le « Humain » et le « Robot ». Si vous dites « Rends ça joyeux » alors que vous jouez une mélodie triste, le traducteur ne va pas simplement répéter les notes tristes. Il consulte une « fiche de triche » (appelée Semantic Anchor Bank) pour comprendre à quoi ressemble une version « joyeuse » de cette mélodie. Il crée un plan structuré : « D'accord, je vais jouer ces notes spécifiques pour correspondre à ton énergie, mais je vais éviter de frapper la cloche qui vibre actuellement ».
Pourquoi c'est important : Cela empêche le robot de se contenter de vous copier. Cela le force à ajouter quelque chose de nouveau qui s'adapte à l'ambiance.

2. Le Chef d'orchestre (La variation contrainte)

Le Job : Une fois que le traducteur a un plan, cette étape vérifie les règles.
L'analogie : Imaginez un chef d'orchestre strict mais utile. Le traducteur peut dire : « Jouons une note aiguë ! ». Mais le chef d'orchestre vérifie la partition et dit : « Attendez, le bras du robot ne peut pas atteindre cette note sans cogner la table. Choisissons une note plus basse qui sonne tout aussi bien ».
Pourquoi c'est important : Cela garantit que les idées du robot sont physiquement réalisables. Cela équilibre la créativité et la réalité.

3. Le Muscle (Le GMP - Politique visuomotrice à mélange de Gaussiennes)

Le Job : C'est la partie qui déplace réellement le bras du robot pour frapper le carillon.
L'analogie : La plupart des robots sont comme des enregistreurs à piste unique. S'ils doivent frapper une cloche, ils calculent un chemin parfait et le suivent. S'ils ratent leur cible, ils échouent.
- Le GMP de Co-policy est comme un batteur de jazz. Lorsqu'il doit frapper une cloche, il ne choisit pas seulement une façon de le faire. Il se dit : « Je pourrais la frapper par le haut, ou par le côté, ou la tapoter doucement ». Il garde toutes ces options en tête en même temps.
- L'astuce de vitesse : Les autres robots avancés (utilisant des « politiques de diffusion ») sont comme un peintre qui doit ajouter lentement des couches de peinture pour obtenir la bonne couleur. Cela prend du temps. Le GMP de Co-policy est comme un photographe qui prend l'image parfaite instantanément. Il prédit toutes les manières possibles de frapper la cloche en une seule « capture » (passage direct), ce qui le rend assez rapide pour de la musique en temps réel.

Comment ils l'ont testé

Les chercheurs ne se sont pas contentés d'une simulation sur ordinateur ; ils ont construit un vrai robot doté d'une main flexible, semblable à une main humaine, pour frapper un ensemble de carillons musicaux (comme un xylophone).

Le Test : Des humains jouaient une courte mélodie ou donna énormément d'instructions verbales (ex : « Rends ça énergique »).
Le Résultat : Le robot écoutait, élaborait une mélodie complémentaire et frappait physiquement les carillons en rythme avec l'humain.
Le Score : Des experts humains (musiciens professionnels) ont écouté les résultats. Ils ont jugé le robot plus haut sur « l'alignement de l'intention » (a-t-il saisi l'ambiance ?) et la « créativité » (a-t-il ajouté quelque chose de nouveau ?) par rapport aux anciens systèmes robotiques.
La Vitesse : Le robot réagissait beaucoup plus vite que les robots « peintres lents », permettant une conversation musicale interactive sans pauses embarrassantes.

La conclusion clé

L'article soutient que pour que les robots puissent réellement « créer » avec les humains, ils ne peuvent pas être de simples ordinateurs intelligents qui produisent des fichiers texte ou audio. Ils doivent être incarnés. Ils doivent comprendre que leur corps physique a des limites (peut-il atteindre cette cloche ?) et que leurs actions se déroulent en temps réel (peut-il frapper la note avant que l'humain ne finisse sa phrase ?).

Co-policy résout cela en séparant la « pensée » (quoi jouer) de l'« action » (comment bouger), permettant au robot d'être à la fois créatif et physiquement précis, transformant un solo en un duo.

Résumé technique : Co-policy – Co-création musicale réactive humain-robot

1. Énoncé du problème

L'article traite du défi de la co-création musicale incarnée humain-robot. Alors que l'IA générative a progressé dans la production de contenus désincarnés (texte, audio, partitions), les systèmes robotiques fonctionnent souvent comme de simples dispositifs de lecture exécutant des notes pré-spécifiées sans véritable contribution créative ou adaptation physique en temps réel.

Les auteurs identifient deux questions scientifiques non résolues :

Écart sémantique-action (Semantic-to-Action Gap) : Comment un robot peut-il transformer une graine créative humaine incomplète (par exemple, un motif, une intention verbale ou un style) en une réponse musicale complémentaire plutôt qu'en une copie mécanique ?
Exécution physique et latence : Comment cette réponse peut-elle être exécutée physiquement, avec précision et avec une latence de niveau interactionnel ?

Les solutions existantes font face à des compromis :

Politiques de diffusion (Diffusion Policies) : Très expressives mais souffrent d'une latence élevée due au débruitage itératif, ce qui les rend inadaptées au timing musical serré humain-robot.
Modèles d'imitation standards : S'effondrent souvent vers des actions moyennes, perdant la diversité des modes frappants nécessaires à une performance expressive.
Modèles génératifs désincarnés : Manquent de contraintes physiques (accessibilité, dynamique de l'instrument) requises pour une exécution dans le monde réel.

2. Méthodologie : Le cadre Co-policy

Co-policy est un agent d'IA incarné modulaire et léger qui sépare le pipeline en trois étapes distinctes : Ancrage de l'intention sémantique, Variation musicale contrainte et Exécution visuomotrice.

2.1 Ancrage de l'intention sémantique et planification

Au lieu de traiter le modèle de langage-vision (VLM) comme un générateur monolithique de bout en bout, Co-policy l'utilise comme un module d'ancrage sémantique.

Banque d'ancres sémantiques (Semantic Anchor Bank) : Une base de données de graines musicales appariées, d'images de partitions, de descripteurs de style et de balises de jouabilité robotique est utilisée pour récupérer le contexte pertinent lors de l'inférence.
Qwen-vl affiné (F-Qwen) : Le VLM est affiné pour produire des plans JSON structurés plutôt que du texte libre. Il traite la parole humaine, les graines musicales en direct (extraites de l'audio) et les observations visuelles (RGB) pour définir le rôle du robot (ex: "accompagnement"), le style, le tempo et les notes atteignables.
Planificateur de variation contrainte : Le planificateur génère une réponse de note robotique ( $N^r_t$ $N_{t}^{r}$ ) qui doit satisfaire quatre critères :
1. Cohérence du motif : Retenir une structure reconnaissable de la graine humaine.
2. Validité harmonique : Éviter les conflits tonaux.
3. Nouveauté : Empêcher la copie directe (garantir la contribution créative).
4. Jouabilité incarnée : Garantir que le plan est exécutable dans l'espace de travail du robot et dans les limites de latence.

2.2 Politique visuomotrice à mélange gaussien (GMP)

Pour répondre aux défis de latence et de multimodalité, l'article introduit la GMP, une politique de densité de mélange conditionnelle à passage unique.

Encodeur d'attention auto-guidée (GSA) : Pour résoudre le déséquilibre global-local du raisonnement visuel, l'encodeur utilise une architecture à double flux :
- Un flux Swin Transformer capture les dépendances spatiales à longue portée (configuration de la scène).
- Un flux DenseNet extrait les caractéristiques locales par pixel (régions de contact).
- Couplage inter-flux (Cross-Stream Coupling) : Les requêtes sont tirées du flux global, tandis que les clés et les valeurs proviennent du flux local. Cela permet au modèle de demander « où est la cible ? » en utilisant le contexte global, tout en répondant à l'aide de preuves locales, améliant ainsi la localisation de cloches spécifiques.
Tête d'action à densité de mélange (Mixture-Density Action Head) : Au lieu de prédire une action déterministe unique (ce qui mène à l'effondrement de mode), la GMP prédit une distribution de mélange gaussienne conditionnelle sur des vecteurs d'action robotiques complets (ou des trajectoires à court horizon) :
$p_\theta(\tau_t | O_t, N^r_t, c_t) = \sum_{k=1}^K \pi_k \mathcal{N}(\tau_t; \mu_k, \Sigma_k)$
- Chaque composante $k$ représente un mode d'action latent (ex: frapper par le haut, balancement latéral ou tapotement doux) plutôt qu'un joint spécifique.
- Cela préserve plusieurs réponses physiques réalisables en un seul passage direct, évitant le débruitage itératif des modèles de diffusion.
Inférence : Le système sélectionne le mode le plus probable ( $\arg\max \pi_k$ ) ou agrège l'espérance du mélange, permettant une exécution à faible latence.

3. Contributions clés

Définition formelle de la co-création incarnée : L'article définit la co-création comme une interaction en boucle fermée où le robot contribue par une réponse complémentaire à une graine humaine incomplète, se distinguant de la lecture robotique ou de la génération désincarnée.
Agent incarné modulaire : Un cadre combinant F-Qwen pour l'ancrage sémantique, un planificateur contraint pour la variation musicale et la GMP pour l'exécution. Cette approche modulaire évite les coûts de déploiement des modèles VLA monolithiques de bout en bout tout en maintenant l'ancrage physique.
GMP à faible latence : Une politique de densité de mélange conditionnelle qui prédit des distributions d'actions multimodales en un seul passage direct, préservant les modes d'action physiquement réalisables sans la latence du débruitage des modèles de diffusion.

4. Résultats expérimentaux

Le système a été évalué sur une performance réelle de carillon et sur la plateforme de simulation ManiSkill2.

4.1 Évaluation sur robot réel (Performance de carillon)

Qualité de la co-création : Dans des évaluations d'experts en aveugle (10 joueurs de carillon professionnels), Co-policy avec F-Qwen et GMP a obtenu un score moyen de 74,8 en co-création musicale sémantique et de 62,0 en co-création de concerto. Cela a surpassé la ligne de base de la politique de diffusion (66,3 et 55,8, respectivement) et d'autres bases comme $\pi_{0.5}$ et GR00T.
Précision d'exécution : Co-policy a atteint un taux de succès d'action ( $Acc_a$ ) de 0,78 et une précision d'accordage ( $Acc_t$ ) de 0,88, résultant en une précision combinée de 0,69. C'est une amélioration significative par rapport à la politique de diffusion (précision combinée de 0,56).
Latence : La fréquence d'action post-commande pour Co-policy était de 18,6 Hz, nettement supérieure à celle de la politique de diffusion (1,01 Hz) sous les mêmes paramètres de matériel et d'horizon d'action.

4.2 Études d'ablation

Ancrage sémantique : Remplacer le Qwen-vl standard par le F-Qwen affiné a amélioré les scores de co-création de 7,4 % à 13,3 % en musique sémantique et de 3,5 % à 9,6 % dans les tâches de concerto.
Composants de la GMP : L'ablation des composants de l'encodeur GMP a montré que l'étape Swin Transformer a contribué à 32 % de la performance, le bloc DenseNet 27 %, le mécanisme GSA 21 % et la tête de densité de mélange 16 %.
Généralisation : Sur la plateforme de simulation ManiSkill2 (tâches Pour, Fill, Hang, Excavate), la GMP a démontré une généralisation robuste, validant l'efficacité de la politique visuomotrice au-delà de la tâche spécifique du carillon.

5. Signification et affirmations

L'article affirme que la génération d'actions physiquement ancrées est une composante nécessaire de la co-création humain-IA.

Au-delà de la lecture : Le système démontre qu'un robot peut transformer une graine humaine incomplète en une réponse complémentaire sémantiquement alignée, musicalement cohérente et physiquement exécutable.
Interprétabilité : En séparant l'ancrage sémantique, la planification et l'exécution, le système permet une inspection indépendante des échecs (sémantique vs perceptuelle vs exécution), contrairement aux modèles monolithiques de bout en bout.
Latence vs Expressivité : Ce travail montre qu'une politique de densité de mélange conditionnelle peut préserver de multiples modes d'action réalisables (expressivité) tout en respectant les exigences de latence strictes de l'interaction musicale, un compromis souvent difficile pour les modèles de diffusion.

Les auteurs maintiennent un champ d'application modeste, reconnaissant que le système actuel est principalement validé sur la performance de carillon et repose sur des indices audio symboliques de haut niveau plutôt que sur un retour tactile en boucle fermée. Ils positionnent ce travail comme une étape vers une "variation guidée" dans l'IA incarnée, où la créativité est contrainte par la faisabilité physique et les propriétés de l'instrument.