Velocity Prediction in Automatic Guitar Transcription
Cet article présente une méthodologie pour la transcription automatique de guitare qui prédit avec succès la vélocité des notes en préentraînant un modèle sur des données synthétiques générées avec des instruments virtuels, puis en transférant ces poids vers un modèle entraîné sur de l'audio de guitare réelle, atteignant ainsi des performances de transcription de pointe ainsi que des capacités de prédiction de la vélocité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez un robot capable d'écouter une chanson à la guitare et de rédiger la partition pour vous. C'est ce qu'on appelle la « Transcription Automatique de Guitare ». Pendant longtemps, ces robots étaient très doués pour identifier quelles notes étaient jouées (comme un « Do » ou un « Mi »), mais ils étaient terribles pour comprendre avec quelle force le guitariste frappait les cordes.
Dans le monde de la musique numérique, la force avec laquelle vous frappez est appelée la vélocité. Sur un piano, c'est facile à mesurer car l'ordinateur sait exactement à quelle vitesse la touche est pressée. Mais sur une guitare, c'est comme essayer de deviner la force avec laquelle quelqu'un a frappé dans un ballon de football en écoutant simplement le boum — c'est vague, et il n'existe aucune mesure standard. C'est pourquoi la plupart des robots de transcription de guitare ignorent simplement cette donnée.
Ce document présente une astuce ingénieuse pour apprendre à un robot à comprendre la « vélocité » de la guitare (ou l'intensité) sans avoir besoin d'une guitare spéciale et coûteuse qui mesure la force.
Le Problème : Pas de manuel d'instruction
Pour apprendre quelque chose à un robot, vous avez généralement besoin d'une énorme pile d'exemples où la réponse est déjà connue (comme le corrigé d'un professeur). Pour le piano, nous avons ces corrigés. Pour la guitare, nous n'en avons pas. Nous avons des enregistrements de vrais guitaristes, mais nous ne connaissons pas le chiffre exact de la « vélocité » pour chaque note qu'ils ont jouée.
La Solution : Le simulateur de « Guitare Virtuelle »
Les chercheurs ont décidé de construire un simulateur d'entraînement au lieu d'utiliser des enregistrements réels dans un premier temps.
- Le Simulateur : Ils ont utilisé un logiciel informatique (instruments virtuels) qui agit comme une guitare. Ils ont dit à l'ordinateur : « Joue cette note à une vélocité de 50 », et l'ordinateur a généré un fichier sonore. Comme l'ordinateur a généré le son, il connaissait le chiffre exact de la « vélocité » pour chaque note.
- La Première Leçon : Ils ont enseigné leur modèle de robot en utilisant ces données synthétiques et fictives. Le robot a appris à observer les ondes sonores et à deviner : « Ah, cela ressemble à une vélocité de 50 ».
- Le Transfert : Une fois que le robot a appris le concept d'intensité à partir des données fictives, ils ont pris cette partie spécifique de son cerveau (les « poids de vélocité ») et l'ont déplacée vers un nouveau modèle.
- La Deuxième Leçon : Ils ont ensuite enseigné à ce nouveau modèle en utilisant de vrais enregistrements de guitaristes réels (provenant de jeux de données comme GAPS et GOAT). Ils ont dit au robot : « Oublie les chiffres fictifs maintenant ; apprends juste à reconnaître les vraies notes et les cordes ». Mais ils ont gardé le « cerveau de vélocité » appris à l'étape 2 figé en place.
Pensez à l'enseignement de la conduite à un étudiant. D'abord, vous le laissez s'exercer sur un simulateur de conduite où vous savez exactement à quelle vitesse il va. Une fois qu'il a compris le concept de vitesse et de freinage, vous le mettez dans une vraie voiture. Vous n'avez plus besoin de lui dire à quelle vitesse il va ; il a déjà le « ressenti » pour la vitesse, et il doit maintenant simplement apprendre à gérer la route réelle.
Qu'ont-ils découvert ?
Les chercheurs ont testé leur robot de deux manières :
1. Peut-il deviner l'intensité sur les données fictives ?
Oui, et il était très bon pour cela. Lorsqu'il était testé sur les données synthétiques (où la « bonne » réponse était connue), le robot faisait des erreurs très faibles par rapport à un robot qui n'avait pas reçu cet entraînement spécial. Il a réussi à apprendre la « personnalité » de la guitare virtuelle.
2. Cela aide-t-il à transcrire de vraies chansons de guitare ?
C'est la partie délicate. Puisque nous n'avons pas de « corrigé » pour la vélocité de la guitare réelle, ils ne pouvaient pas prouver que le robot devinait le chiffre exact pour les vraies chansons. Cependant, ils ont trouvé un petit avantage secondaire :
- Le robot qui avait reçu l'« entraînement de vélocité » était légèrement meilleur pour déterminer quand les notes commençaient et s'arrêtaient (le timing) par rapport au robot qui n'avait pas reçu cet entraînement.
- L'amélioration était infime (environ 0,1 %), mais elle était là. C'est comme dire : « Savoir avec quelle force le ballon a été frappé a aidé le robot à deviner la trajectoire du ballon un tout petit peu mieux ».
L'essentiel
L'article affirme qu'ils ont réussi à construire le premier modèle de transcription de guitare capable de prédire la « vélocité » (l'intensité). Ils y sont parvenus en :
- Créant un jeu de données fictif où les chiffres d'intensité étaient connus.
- Enseignant au modèle sur ces données fictives.
- Transférant ce savoir à un modèle entraîné sur de l'audio de guitare réelle.
Les Limites :
Les auteurs sont honnêtes quant aux défauts. Comme la « vélocité » sur une guitare n'est pas un chiffre fixe comme sur un piano, ils ne peuvent pas prouver que leur robot est 100 % correct concernant l'intensité des chansons réelles. Ils ne font, en essence, que deviner en fonction de la manière dont la note est forte et brillante, ce qui est une bonne approximation, mais pas une mesure parfaite.
En résumé, ils ont appris à un robot à « ressentir » l'intensité de la guitare grâce à un simulateur de jeu vidéo, et ce « ressenti » a aidé le robot à jouer le vrai jeu un tout petit peu mieux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.