A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

Imaginez que vous êtes un bibliothécaire essayant de sauver les plus belles recettes manuscrites du monde. Mais au lieu de l'encre et du papier, ces recettes sont écrites sous forme de notes de musique sur des partitions. Pendant des décennies, les ordinateurs sont devenus plutôt doués pour lire des mélodies simples à une seule ligne — comme la partie d'un joueur de flûte solo. Ils peuvent regarder une image de la musique et la transformer en un fichier numérique qu'un ordinateur peut jouer. Ce domaine est appelé la Reconnaissance Optique de Musique (OMR - Optical Music Recognition). C'est comme apprendre à un robot à lire un recueil de chansons pour qu'il puisse chanter l'air pour vous ou aider un musicien à s'exercer.

Cependant, les choses deviennent désordonnées lorsqu'on essaie de lire la musique d'un groupe entier à la fois. Imaginez un quatuor à cordes : quatre instruments différents (deux violons, un alto et un violoncelle) jouant quatre lignes de musique différentes simultanément, toutes regroupées sur la même page. C'est un casse-tête visuel avec des notes qui se croisent, des symboles différents pour chaque instrument, et une écriture manuscrite désordonnée datant de plusieurs siècles. Jusqu'à présent, les ordinateurs ont eu du mal avec cette musique « multi-parties » car ils n'avaient pas un ensemble d'entraînement de qualité pour apprendre. C'est comme essayer d'enseigner à un étudiant comment lire un roman complexe alors qu'il n'a pratiqué que sur des fiches de révision de phrases simples.

C'est là qu'une nouvelle équipe de chercheurs intervient avec un nouvel outil massif appelé OSSQ-OMR. Ils ont construit le tout premier ensemble de données d'entraînement dédié spécifiquement à ces partitions complexes de quatuors à cordes. Considérez cela comme une immense bibliothèque parfaitement organisée où chaque page scannée d'une vieille partition est associée à son jumeau numérique parfait. Ils n'ont pas simplement ramassé des images au hasard ; ils ont passé des centaines d'heures à corriger manuellement les versions numériques pour qu'elles correspondent exactement aux scans originaux, jusqu'au moindre point et à chaque ligne.

Avec cette nouvelle bibliothèque en main, les chercheurs ont testé deux différents « robots lecteurs » (modèles informatiques) pour voir lesquels pouvaient le mieux apprendre. Ils ont découvert que les robots apprenaient mieux lorsqu'on leur apprenait à lire la ligne d'un instrument à la fois, plutôt que d'essayer d'avaler toute la page d'un coup. Ils ont également découvert que la manière dont la musique est écrite numériquement importe plus que la conception du cerveau du robot. Les meilleurs résultats sont venus d'un format spécifique appelé LMXE, qui a atteint un taux d'erreur très bas de seulement 3,6 % sur des images propres générées par ordinateur et de 5,9 % sur de vraies pages scannées. Bien que cela prouve que l'enseignement de la lecture de musique de quatuor complexe à des ordinateurs est tout à fait possible, les résultats montrent aussi qu'il reste encore beaucoup de place pour l'amélioration, surtout face à la réalité désordonnée et imparfaite des partitions sur vieux papier.

La vue d'ensemble : Ce qu'ils ont fait et trouvé

Les chercheurs ont créé OSSQ-OMR, le premier jeu de données conçu spécifiquement pour aider les ordinateurs à reconnaître la musique pour les quatuors à cordes. Avant cela, la plupart des outils de vision par ordinateur pour la musique étaient entraînés sur des chansons simples à une seule ligne ou sur de la musique pour piano. Les quatuors à cordes sont beaucoup plus difficiles car ils impliquent quatre voix indépendantes jouant simultanément, souvent avec des mises en page complexes, des clés différentes et une écriture manuscrite qui varie considérablement d'un éditeur à l'autre.

Pour construire ce jeu de données, l'équipe est partie de 116 partitions numériques existantes de quatuors à cordes. Ils ont ensuite traqué les versions scannées originales de ces partitions dans la bibliothèque IMSLP. Voici la partie délicate : les fichiers numériques originaux ne correspondaient pas toujours parfaitement aux scans. Parfois, une mesure était manquante, ou un symbole se trouvait au mauvais endroit. Les auteurs ont passé plus de 100 heures à éditer manuellement les fichiers numériques pour les rendre visuellement identiques aux images scannées. Ils ont également organisé les données en deux niveaux : le niveau système (toute la ligne de musique avec les quatre instruments) et le niveau portée (juste la ligne d'un seul instrument). Enfin, ils ont converti la musique en trois formats de texte numérique différents : LMXE, kern et ABC.

Le jeu de données est énorme. Il contient 24 544 images de systèmes et 98 172 images de portées dérivées de ces 116 partitions. Environ la moitié de ces images sont synthétiques (versions propres générées par ordinateur), et l'autre moitié est scannée à partir de vrais livres anciens.

Pour tester si ce jeu de données aide réellement, les chercheurs ont mis en place un « benchmark », qui est comme un examen standardisé pour les modèles informatiques. Ils ont testé deux types populaires de modèles d'IA :

1. Zeus : un modèle basé sur un traitement séquentiel plus ancien (LSTM).
2. SMT : un modèle plus récent utilisant une architecture Transformer (similaire à la technologie derrière les chatbots modernes).

Ils ont testé ces modèles sur le jeu de données en utilisant différents réglages pour voir quelle combinaison fonctionnait le mieux. Voici ce qu'ils ont trouvé :

• Lire une ligne à la fois est préférable : Les modèles ont performé de manière significative plus performante lorsqu'on leur demandait de lire juste la portée d'un instrument (niveau portée) plutôt que toute la page à la fois (niveau système). Même si lire toute la page donne plus de contexte à l'ordinateur (comme voir ce que font les autres instruments), les modèles ne semblaient pas utiliser cette information supplémentaire pour faire moins d'erreurs. En fait, les taux d'erreur étaient plus bas lorsque les modèles se concentraient sur une seule ligne.
• Le format importe plus que le cerveau : Les chercheurs ont testé neuf façons différentes de transformer la musique en jetons de texte (les « mots » que lit l'ordinateur). Ils ont trouvé que le format LMXE produisait systématiquement les meilleurs résultats, quel que soit le modèle utilisé. Étonnamment, le nouveau modèle Transformer (SMT) a obtenu de moins bons résultats sur le format kern que sur le LMXE, même si SMT a été conçu à l'origine pour le kern.
• La compression n'a pas aidé : Ils ont essayé d'utiliser le « Byte-Pair Encoding » (BPE) sur le format ABC, qui est une méthode pour raccourcir le texte en regroupant les caractères communs. Ils espéraient que cela pourrait aider, mais cela a en fait empiré les résultats. À mesure que la taille du vocabulaire pour la compression augmentait, le taux d'erreur augmentait également.
• Données réelles vs Données propres : Les modèles ont bien mieux réussi sur les images synthétiques propres (taux d'erreur aussi bas que 3,6 %) que sur les images scannées désordonnées (taux d'erreur autour de 5,9 %). C'est attendu, car les images scannées présentent du bruit, des ombres et une encre inégale. Cependant, l'ancien modèle de style LSTM (Zeus) était plus robuste face à ce désordre que le nouveau modèle Transformer (SMT). Lors du passage des données propres aux données scannées, les performances de Zeus ont chuté d'environ 39 %, tandis que celles de SMT ont chuté de façon massive de 100 %.

L'article a également testé un modèle externe appelé Legato, qui a été entraîné sur un autre jeu de données. Lorsqu'ils ont essayé d'utiliser Legato sur ces nouvelles données de quatuor à cordes sans le réentraîner, les résultats ont été terribles (taux d'erreur supérieurs à 36 % sur les données synthétiques et 66 % sur les données scannées). Cela suggère que le pré-entraînement d'un modèle sur des données musicales générales ne suffit pas ; il faut l'entraîner spécifiquement sur le type de musique que vous voulez qu'il lise.

En conclusion, les auteurs montrent que l'enseignement de la lecture de partitions de quatuors à cordes complexes à des ordinateurs est réalisable, mais que cela nécessite les bonnes données et la bonne façon de formater ces données. La meilleure configuration qu'ils aient trouvée a atteint un taux d'erreur de 3,6 % sur les données synthétiques et de 5,9 % sur les données scannées. Bien que ce soit un excellent début, l'article suggère qu'il reste encore beaucoup de travail à faire pour rendre ces systèmes aussi performants que les humains pour lire le chaos désordonné et magnifique des partitions du monde réel. Ils suggèrent également que les recherches futures devraient porter sur des ensembles encore plus grands, comme des orchestres complets, et tenter de construire des modèles capables de lire des pages entières d'un coup sans avoir besoin de les découper au préalable.