MusPyExpress: Extending MusPy with Enhanced Expression Text Support

La musique existe dans deux mondes distincts. L'un est le son que nous entendons, un flux fluide d'ondes qui emplit une pièce. L'autre est le manuel d'instruction que les musiciens utilisent pour créer ce son, une page statique de symboles connue sous le nom de partition musicale. Pendant des décennies, les ordinateurs ont été très doués pour lire le premier monde, transformant l'audio en données, mais ils ont eu du mal avec le second. Lorsque les chercheurs ont voulu apprendre à un ordinateur à comprendre ou à créer de la musique, ils se sont appuyés sur un format numérique appelé MIDI. Ce format est excellent pour dire à un ordinateur quelles notes jouer et quand les jouer, agissant comme une liste précise d'instructions pour un pianiste robotique. Cependant, cette liste est dépourvue d'une couche cruciale de nuance humaine. Elle indique à la machine les notes, mais elle omet les instructions émotionnelles qui disent à un interprète humain comment les ressentir.

Dans la musique écrite occidentale, les compositeurs remplissent les espaces entre les notes avec des mots et des symboles qui guident l'interprétation. Il ne s'agit pas de simples suggestions ; ce sont des commandes spécifiques concernant la vitesse, le volume et le style. Un compositeur peut écrire « adagio » pour dire au musicien d'aller lentement, ou « crescendo » pour indiquer une augmentation graduelle du volume. Il peut marquer une section pour qu'elle soit jouée avec un toucher vif et détaché ou un flux fluide et lié. Ces instructions, appelées texte d'expression, sont la feuille de route qui transforme une séquence de notes en une œuvre d'art vivante et vibrante. Jusqu'à présent, les outils standards pour enseigner la musique aux ordinateurs ont largement ignoré cette feuille de route, traitant les notes comme la seule chose importante. Cette lacune signifiait que si les ordinateurs pouvaient générer une mélodie, ils ne pouvaient pas facilement générer l'humeur, la tension ou la forme dynamique qui donne à la musique son aspect humain.

Une équipe de chercheurs a abordé cette limitation en créant un nouvel outil appelé MusPyExpress. Ce logiciel est une mise à jour d'une bibliothèque existante utilisée par les informaticiens pour traiter les données musicales. Le nouveau système est conçu pour lire les instructions riches et détaillées contenues dans le MusicXML, un format utilisé pour les partitions numériques qui est bien plus expressif que l'ancien standard MIDI. En construisant cette extension, les chercheurs ont permis aux ordinateurs d'extraire et de comprendre toute la gamme du texte d'expression, des indications de tempo qui changent la vitesse de la musique aux symboles dynamiques qui contrôlent la force ou la douceur d'une note. Ils ont traité ces instructions non pas comme de simples commentaires, mais comme des points de données essentiels qui peuvent être stockés, analysés et utilisés pour apprendre aux machines à composer avec sentiment.

Pour prouver que ce nouvel outil pouvait gérer la complexité de la musique réelle, les chercheurs se sont tournés vers une vaste collection de partitions du domaine public contenant plus de 220 000 fichiers. Ils ont utilisé MusPyExpress pour scanner cette bibliothèque et ont découvert que la grande majorité de ces morceaux, soit plus de 95 pour cent, contenaient ces instructions expressives. Au total, le logiciel a identifié plus de 3,5 millions de marquages individuels à travers la collection. L'analyse a révélé que ces instructions ne sont pas dispersées de manière aléatoire ; elles suivent des modèles qui reflètent l'histoire même de la musique. Par exemple, les chercheurs ont constaté que les compositeurs de l'ère romantique, qui vivaient au XIXe siècle, utilisaient ces marques expressives beaucoup plus fréquemment que les compositeurs des périodes antérieures, baroque ou classique. Cela concorde avec la pratique historique, car les compositeurs romantiques écrivaient souvent des directions émotionnelles spécifiques pour guider les interprètes, tandis que les compositeurs plus anciens s'appuyaient davantage sur les conventions de performance de leur époque.

L'étude a également montré comment la densité de ces instructions varie à travers une pièce musicale. Les marquages structurels, tels que les lettres de répétition qui divisent une chanson en sections, apparaissent moins souvent et sont espacés davantage. En revanche, les instructions concernant le tempo et le volume peuvent être très concentrées, apparaissant fréquemment pour façonner le flux immédiat de la mélodie. Les chercheurs ont même observé que certains compositeurs, comme Liszt et Debussy, surchargeaient leurs partitions de ces détails, tandis que d'autres les utilisaient plus parcimonieusement. Cette cartographie détaillée du texte d'expression a fourni la première image claire de la quantité de données émotionnelles cachées dans les partitions numériques standard, des données qui étaient auparavant inaccessibles à la plupart des modèles informatiques.

Avec cette nouvelle capacité à lire et comprendre le texte d'expression, les chercheurs ont démontré trois manières distinctes dont un ordinateur pourrait utiliser cette information. Premièrement, ils ont montré qu'un modèle pouvait apprendre à générer à la fois les notes et les instructions d'expression simultanément, imitant la façon dont un compositeur humain écrit une partition. Deuxièmement, ils ont entraîné un système pour créer de la musique basée sur un ensemble spécifique d'instructions émotionnelles, permettant à un utilisateur de fournir une séquence de mots comme « lent, fort, puis doux » et de faire générer à l'ordinateur une mélodie qui correspond à cette humeur. Cela pourrait être utile pour la création de musiques de fond pour des films ou des jeux vidéo où le son doit correspondre à un arc narratif spécifique. Troisièmement, ils ont testé un système capable de prendre une séquence de notes simple et sans émotion et d'y ajouter automatiquement les marquages d'expression appropriés, annotant ainsi une mélodie brute de son contexte émotionnel manquant.

Les expériences ont montré que lorsque l'ordinateur recevait ces instructions expressives, sa capacité à créer de la musique réaliste s'améliorait. Les modèles qui apprenaient à générer les notes et le texte d'expression ensemble, ou qui utilisaient le texte d'expression comme guide, produisaient des résultats plus cohérents avec les modèles humains que les modèles qui ne regardaient que les notes. Les chercheurs ont découvert que l'approche la plus efficace consistait à injecter les instructions d'expression au modèle juste avant qu'il ne génère les notes correspondantes, permettant à l'ordinateur d'anticiper la direction émotionnelle de la musique. Bien que les modèles ne reproduisent pas parfaitement la complexité d'une performance humaine, les résultats suggèrent que l'inclusion de ces instructions textuelles aide considérablement l'ordinateur à comprendre la structure et le sentiment d'une pièce.

Ce travail ne prétend pas avoir résolu le problème de l'intelligence artificielle créant de la musique parfaite, ni suggère que les machines peuvent désormais remplacer les compositeurs humains. Au contraire, il établit un nouveau fondement pour la façon dont les ordinateurs interagissent avec les partitions musicales. En déverrouillant la couche expressive de la partition, MusPyExpress permet aux chercheurs de construire des modèles qui sont conscients du contexte complet d'une composition. Les chercheurs prévoient d'utiliser cet outil pour annoter de vastes collections de musique existante qui manquent actuellement de ces détails émotionnels, apportant potentiellement un nouveau niveau d'expressivité à de vastes bibliothèques de musique numérique. Le but ultime n'est pas de remplacer la touche humaine, mais de donner aux machines le vocabulaire nécessaire pour comprendre et reproduire les subtiles instructions qui transforment une séquence de notes en une histoire.