MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation

Imaginez un monde où vous pourriez prendre votre chanson préférée et la remixer instantanément dans un style complètement nouveau — peut-être transformer une ballade triste en un hymne rock entraînant — tout en gardant la mélodie et les paroles originales parfaitement intactes. C'est le rêve de la « Génération de Chansons de Reprise » (Cover Song Generation), une branche de l'intelligence artificielle qui tente d'apprendre aux ordinateurs à être des caméléons musicaux. Pour ce faire, l'IA doit comprendre deux choses très différentes à la fois : la « musique » (l'air, le rythme, les notes) et les « mots » (les sons spécifiques qui composent le langage, comme la différence entre un « b » et un « p »). Voyez cela comme la préparation d'un gâteau où vous devez suivre une recette stricte pour la saveur (les paroles) tout en improvisant simultanément un nouveau style de décoration (la musique). Si l'IA réussit la décoration mais se trompe sur la saveur, vous pourriez vous retrouver avec un gâteau au chocolat qui a le goût d'un citron. Pendant longtemps, l'IA était douée pour la décoration mais médiocre pour la saveur, transformant souvent les paroles de manière si désastreuse qu'elles devenaient du charabia.

Ce document présente un nouveau système appelé MPEcho qui résout ce problème en apprenant à l'IA à écouter les « minuscules blocs de construction » de la parole, et pas seulement les grands mots. Les chercheurs ont réalisé que pour obtenir les paroles correctes, l'ordinateur doit savoir exactement quand chaque petit son commence et s'arrête, tout comme un chef d'orchestre sait exactement quand un violoniste doit jouer une seule note. Pour ce faire, ils ont construit un outil spécial appelé Phonsa, qui agit comme un transcripteur ultra-précis, écoutant un chanteur et écrivant l'occurrence temporelle exacte de chaque son de la chanson. En combinant ce timing super précis avec la mélodie, MPEcho peut générer de nouvelles chansons de reprise où les paroles sont claires et l'air est fidèle. Les résultats montrent que cette approche réduit considérablement le nombre d'erreurs commises par l'IA lorsqu'elle chante, faisant passer le taux d'erreur de près de la moitié des mots à moins d'un cinquième, prouvant que prêter attention aux détails infimes du son est le secret pour faire mieux chanter l'IA.

Le Problème : Quand l'IA chante, elle bafouille

La génération de chansons de reprise est un équilibre délicat. Vous voulez que l'IA conserve la mélodie centrale et les paroles exactes d'une chanson de référence, tout en changeant le style, les instruments et la voix. Les tentatives précédentes, comme un modèle nommé SongEcho, ont tenté de résoudre cela en fournissant à l'IA la « hauteur » (pitch - comment les notes sont hautes ou basses) et une simple étiquette indiquant simplement « chant » ou « non-chant ».

Imaginez essayer de dire à un ami de chanter une chanson en lui fredonnant seulement l'air et en disant « je chante maintenant » ou « je ne chante pas maintenant ». Ce n'est pas très utile ! L'IA pourrait deviner la mélodie, mais elle n'aurait aucune idée de quels mots chanter ou de quand passer d'un son à un autre. Résultat ? L'IA chantait souvent la bonne mélodie mais déformait les paroles, transformant « Hello » en « Helo » ou « Halo ». En fait, l'ancienne méthode faisait des erreurs dans environ 45,62 % des mots. C'est comme essayer de lire un menu où la moitié des articles sont mal orthographiés.

La Solution : Une nouvelle façon d'écouter et de chanter

Les auteurs, dirigés par Wei-Jaw Lee et Yi-Hsuan Yang, ont réalisé que pour corriger les paroles, ils devaient emprunter une astuce à un domaine différent appelé Synthèse de Voix Chantée (Singing Voice Synthesis - SVS). La SVS est généralement utilisée pour faire chanter une chanson spécifique à un robot à partir d'une partition, et elle est très efficace car elle connaît le timing exact de chaque minuscule son (phonème).

Ils ont construit MPEcho, un nouveau cadre qui ajoute un « encodeur de phonèmes » et un « régulateur de longueur » au système.

• L'Encodeur de Phonèmes : Au lieu de simplement savoir que « le chant est en cours », l'IA reçoit désormais une liste de chaque son individuel (comme /h/, /e/, /l/, /o/) et sait exactement combien de temps chacun doit durer.
• Le Régulateur de Longueur : Il agit comme un métronome pour les mots, étirant ou contractant les sons pour qu'ils s'insèrent parfaitement dans la chronologie musicale.

Mais il y avait un piège : pour enseigner cela à MPEcho, ils avaient besoin d'une immense bibliothèque de chansons où chaque son était déjà parfaitement cadencé. Une telle donnée n'existait pas. Ils ont donc construit Phonsa.

Phonsa est comme un traducteur magique. Il prend l'enregistrement d'un chanteur et écrit automatiquement les temps de début et de fin exacts pour chaque son de la chanson. Il est basé sur un célèbre outil de parole appelé Whisper, mais a été adapté spécifiquement pour le chant. Il utilise un système d'attention « par morceaux » (pensant en petits segments qui se chevauchent) et a ajouté des jetons spéciaux pour les « respirations » et les « limites » afin de gérer la nature désordonnée et émotionnelle du chant.

Les Résultats : Du charabia à des paroles claires

L'équipe a testé leur nouveau système sur un ensemble de données de plus de 1 427 heures de chansons pop et traditionnelles chinoises. Ils ont comparé MPEcho au modèle SongEcho et à d'autres variations.

1. La Magie du Timing : Lorsqu'ils ont utilisé Phonsa pour donner à MPEcho un timing de phonèmes précis, le nombre d'erreurs de mots (appelé Taux d'Erreur de Phonème, ou PER) a chuté de manière spectaculaire.

   • Ancien Modèle (SongEcho) : Faisait des erreurs dans 45,62 % des mots.
   • Nouveau Modèle (MPEcho) : Faisait des erreurs dans seulement 18,65 % des mots.
   • C'est une amélioration massive, transformant un fouillis de bafouillages en quelque chose de compréhensible.

2. Le Point d'Équilibre : Ils ont découvert qu'utiliser uniquement la mélodie ne suffisait pas (les mots étaient encore confus), et qu'utiliser uniquement le timing des phonèmes n'était pas idéal non plus (la mélodie devenait étrange). Mais lorsqu'ils ont combiné les deux — en donnant à l'IA l'air et le timing précis des sons — le résultat était le meilleur des deux mondes. La chanson était musicale et les paroles étaient claires.

3. Le Style « Jam » vs « SVS » : Ils ont également testé une autre façon d'organiser les sons (appelée style « Jam », qui groupe les sons par mot) par rapport à leur nouveau style « SVS » (groupement par son individuel). Le style SVS fonctionnait bien mieux. Le style « Jam » était comme essayer de donner des directions en disant « allez à la rue suivante », tandis que le style SVS était comme dire « tournez à gauche au niveau de la maison rouge, puis à droite au niveau de la boîte aux lettres bleue ». Cette précision supplémentaire a aidé l'IA à ne pas se perdre.

4. Opinion Humaine : Enfin, ils ont demandé à de vraies personnes d'écouter les chansons. Les auditeurs ont jugé les chansons de MPEcho plus élevés en termes de cohérence mélodique, de naturel vocal et de qualité globale. Curieusement, les auditeurs humains semblaient apprécier la clarté des paroles encore plus que les mesures informatiques ne le suggéraient, prouvant que des paroles claires offrent une bien meilleure expérience d'écoute.

Ce que cela signifie

Cet article suggère que si vous voulez qu'une IA génère des chansons complètes qui sonnent humaines et chantent clairement, vous ne pouvez pas vous contenter de regarder la vue d'ensemble (la mélodie et les mots). Vous devez zoomer et comprendre les détails infimes, à la fraction de seconde, de la manière dont les sons sont produits. En combinant le meilleur de la génération musicale et la précision de la synthèse de la parole, MPEcho montre que l'IA peut enfin chanter les paroles correctement tout en conservant une allure d'artiste créatif.

Les chercheurs précisent avec prudence que ce système fonctionne actuellement mieux avec des chanteurs solos et le chinois mandarin. Ils suggèrent que les travaux futurs pourraient explorer la possibilité de le faire fonctionner avec plusieurs chanteurs, différentes langues et même plus d'expressions émotionnelles. Mais pour l'instant, ils ont déchiffré le code pour créer des reprises par IA qui ne se contentent pas de bien sonner, mais qui font aussi sens.