YQX+: Benchmarking Probabilistic Modeling of Piano Performance Expression

La musique sur une partition est un ensemble d'instructions, une carte de notes qui indique au pianiste quelles touches presser et pendant combien de temps. Mais la carte n'est pas le territoire. Deux pianistes peuvent jouer exactement la même partition et produire des sons qui semblent totalement différents. L'un peut jouer avec un rythme doux et ondulant et des touches légères, tandis qu'un autre joue avec une énergie vive et percutante. Cette différence n'est pas une erreur ; c'est l'essence même de l'expression musicale. C'est la capacité humaine à prendre des instructions rigides pour les transformer en une performance vivante et respirante qui transmet l'émotion, le style et la structure. Pendant des décennies, des scientifiques et des ingénieurs ont tenté d'apprendre aux ordinateurs à faire la même chose : regarder une partition et générer une performance qui semble humaine, naturelle et pleine de sentiment. Le défi est qu'il n'existe pas de manière « correcte » unique de jouer une pièce. Un ordinateur qui se contente de calculer la moyenne de toutes les performances possibles produit souvent quelque chose de plat et de sans vie. Pour véritablement capturer l'art du jeu de piano, une machine doit comprendre qu'une seule partition peut admettre de nombreuses interprétations valables et expressives.

Une équipe de chercheurs de la Queen Mary University of London et de l'Université de New York a abordé ce problème avec un nouveau cadre appelé YQX+. Plutôt que de construire un seul système pour générer de la musique, ils ont créé un terrain d'essai standardisé pour voir comment différents types de modèles informatiques gèrent la tâche de prédire l'expression humaine. Imaginez une course où chaque coureur part de la même ligne, court sur la même piste et est jugé selon les mêmes règles. Avant ce travail, différents groupes de recherche construisaient leurs propres pistes uniques et utilisaient différentes façons de mesurer la vitesse, ce qui rendait impossible de dire quel coureur était réellement le plus rapide. Les chercheurs derrière YQX+ ont réparé la piste. Ils ont défini un ensemble spécifique de caractéristiques musicales que chaque modèle doit observer, telles que la hauteur d'une note, sa position au sein d'une phrase musicale, et les annotations sur la partition comme « fort » ou « doux ». Ils ont également défini un ensemble spécifique de sorties que chaque modèle doit prédire : la vitesse du tempo, la force de la frappe de la touche, l'amplitude du micro-rythme (le « wiggle » du timing) et la durée de résonance de la note. En forçant chaque modèle à respecter les mêmes règles, l'équipe a enfin pu les comparer équitablement.

L'équipe a testé une grande variété de modèles informatiques, allant des anciennes méthodes statistiques aux réseaux de neurones modernes et complexes. Ils ont entraîné ces modèles sur des milliers de pièces de musique classique, où l'ordinateur pouvait voir à la fois la partition écrite et un enregistrement d'un humain en train de jouer. Le but était de voir quel modèle pouvait le mieux deviner les choix expressifs qu'un humain ferait. Les résultats ont montré que les modèles plus grands et plus puissants, spécifiquement un type de système d'apprentissage basé sur les arbres et un type de réseau de neurones conçu pour apprendre des motifs cachés, étaient les plus performants. Ces modèles de pointe étaient capables de prédire le timing et la dynamique d'une performance avec une précision plus grande que les systèmes précédents. Ils ne se contentaient pas de deviner les notes ; ils capturaient les subtiles poussées et tractions du rythme qui font que la musique semble vivante.

Cependant, mesurer la capacité d'un ordinateur à jouer de la musique est délicat. Un ordinateur peut être très proche d'une performance humaine en termes de chiffres bruts, tout en sonnant robotique à l'oreille humaine. Pour résoudre cela, les chercheurs ont introduit un nouvel outil appelé PerformanceMOS. Il s'agit d'un estimateur fondé sur les données, une sorte de juge numérique entraîné à prédire à quel point un auditeur humain apprécierait une performance. Il a été entraîné sur un ensemble massif de données de performances de piano qui avaient été évaluées par des experts humains pour leur talent, leur fluidité et leur expressivité. Les chercheurs ont utilisé cet outil pour noter les résultats de leurs modèles. Les résultats sont éloquents : les meilleurs modèles de leur nouveau cadre ont obtenu des scores compétitifs, voire supérieurs, aux systèmes les plus avancés actuellement disponibles.

Pour en être certain, l'équipe a également mené un test d'écoute avec quarante participants humains. Ces auditeurs, un mélange de passionnés de musique et de musiciens expérimentés, ont évalué les performances générées par ordinateur sur une échelle de zéro à cent. Ils ont jugé si elles sonnaient de manière naturelle, si le rythme était libre et à quel point elles étaient expressives. Les résultats ont confirmé ce que les scores informatiques suggéraient. Les modèles utilisant le nouveau cadre, particulièrement les approches basées sur les arbres et les réseaux de neurones, ont été jugés aussi haut que les meilleurs systèmes existants. Ils sonnaient de manière naturelle et musicalement convaincante. Curieusement, l'étude a révélé que le simple fait de rendre les modèles plus complexes ne garantissait pas toujours un meilleur son ; la manière dont les modèles étaient entraînés et les caractéristiques spécifiques qui leur étaient données comptaient tout autant.

Les chercheurs ont également découvert que, bien que ces modèles soient excellents pour prédire les détails d'une note individuelle, ils peinent parfois à capturer les changements de tempo et d'émotion grandioses et amples qui se produisent au cours d'une pièce entière. Cela suggère que, si les ordinateurs sont devenus très doués pour les détails locaux de l'expression, le récit musical plus large reste un défi. L'étude conclut que YQX+ fournit une base solide pour les travaux futurs. Elle offre une façon claire et équitable de tester de nouvelles idées et un outil fiable, PerformanceMOS, pour estimer la réaction des humains face à la musique générée par ordinateur. Ce travail ne prétend pas avoir résolu le mystère de l'expression musicale, mais il a construit un meilleur microscope pour observer comment elle fonctionne, nous rapprochant un peu plus de machines capables de comprendre véritablement l'âme d'une performance.