Imaginez un monde où votre ordinateur ne se contente pas de lire une chanson que vous avez téléchargée, mais apprend réellement à improviser avec vous. C'est le domaine de la métacréation musicale, un terme sophistiqué pour désigner l'utilisation de l'informatique pour simuler la créativité humaine. Au cœur de ce domaine se trouvent les agents musicaux : des programmes logiciels conçus pour agir comme des partenaires musicaux. Ils peuvent écouter ce que vous jouez, apprendre votre style, puis improviser leurs propres parties en temps réel. Voyez-les comme des compagnons de groupe numériques qui ne se fatiguent jamais, ne ratent jamais une mesure et peuvent s'adapter instantanément à votre humeur.

Pendant longtemps, ces compagnons de groupe numériques ont été entraînés sur des montagnes massives de données — des milliers de chansons de tous les genres imaginables. Bien que puissante, cette approche revient à essayer d'apprendre le jazz en écoutant tous les enregistrements jamais réalisés ; vous pourriez en saisir l'ambiance générale, mais vous ne sonnerez jamais vraiment comme vous. La grande question que se posent les chercheurs est la suivante : pouvons-nous construire une IA qui apprend à partir d'une petite collection personnelle de sons, devenant ainsi un véritable reflet de la voix unique d'un artiste ? Ce document explore cette question, en étudiant comment construire des musiciens IA qui soient éthiques, transparents et profondément personnels, plutôt que de simples machines à motifs génériques.

Rencontre avec la session de jam numérique : MACAT et MACataRT

Dans cet article, les chercheurs Keon Ju M. Lee et Philippe Pasquier présentent deux nouveaux agents musicaux, MACAT et MACataRT. Vous pouvez les considérer comme deux types différents de compagnons numériques conçus pour aider les musiciens humains à créer de la musique à la volée. Au lieu d'être entraînés sur l'ensemble d'Internet, ces agents reposent sur une philosophie de « petites données » (small data). Imaginez que vous appreniez un tour à un chien non pas en lui montrant des millions de vidéos d'autres chiens, mais en vous exerçant avec seulement quelques friandises et votre propre voix. C'est ce que font ces systèmes : ils apprennent à partir d'une collection de clips audio restreinte et organisée fournie par l'artiste, ce qui leur permet de mimer parfaitement le style unique de cet artiste.

Les deux personnalités du partenaire de groupe IA

Le document présente ces deux systèmes comme ayant des « personnalités » et des modes de fonctionnement différents, un peu comme deux types de musiciens différents dans un groupe.

1. MACAT : Le soliste qui s'écoute soi-même
MACAT est conçu pour les situations où l'IA doit prendre les commandes ou diriger la performance. Il fonctionne comme un musicien qui s'écoute constamment jouer.

• Comment ça marche : Il utilise une « carte auto-organisatrice », qui est comme une carte mentale où il regroupe les sons similaires. Lorsqu'il joue un son, il écoute le résultat, consulte sa carte mentale et décide de ce qu'il va jouer ensuite en fonction des motifs trouvés dans les propres enregistrements de l'artiste.
• La magie : Il utilise un outil appelé « Factor Oracle » pour repérer des motifs dans la séquence de sons. Si l'artiste joue un roulement de tambour rapide suivi d'un murmure calme, MACAT apprend cette séquence. Lors d'un concert en direct, il peut observer ses propres « pensées » récentes (les sons qu'il vient de jouer) et décider d'avancer vers une nouvelle idée ou de revenir en arrière pour répéter un moment intéressant, le tout en temps réel.
• L'ambiance : Il est idéal pour les performances en solo ou lorsque le musicien humain souhaite que l'IA soit le moteur principal de la musique, créant un paysage sonore dynamique et évolutif qui semble vivant.

2. MACataRT : L'artiste de la mosaïque collaborative
MACataRT est le partenaire le plus flexible, conçu pour l'improvisation collaborative où l'humain et l'IA échangent des idées. Il est construit sur un concept appelé « mosaïquage audio ».

• L'analogie de la mosaïque : Imaginez que vous avez une boîte de milliers de petites tuiles de différentes couleurs (des clips audio). MACataRT peut instantanément saisir la tuile parfaite pour l'insérer dans le tableau que vous êtes en train de dessiner. Si vous jouez une note aiguë, il saisit une tuile au son aigu. Si vous jouez un son rugueux et grinçant, il saisit une tuile rugueuse.
• Comment ça marche : Il organise ces tuiles dans un espace 2D basé sur leurs caractéristiques sonores (comme la hauteur ou la brillance). Le musicien humain peut pointer un endroit dans cet espace, et l'IA extraira un son de cette zone.
• Le twist : Contrairement à son prédécesseur (le système original CataRT), MACataRT ajoute un élément de « machine à remonter le temps ». Il peut apprendre l'ordre dans lequel l'artiste joue habituellement les choses. Ainsi, il peut non seulement choisir le bon son, mais aussi prédire le son suivant pour maintenir le rythme et le flux. Il possède deux modes : Réactif (répond instantment à ce que vous jouez) et Proactif (prédit ce qui devrait suivre en se basant sur les motifs appris).

Pourquoi les « petites données » changent tout

L'aspect le plus important de cette recherche n'est pas seulement que la musique sonne bien, mais comment elle y parvient. Les auteurs soutiennent que l'entraînement d'une IA sur des ensembles de données massifs et anonymes (comme l'ensemble d'Internet) est risqué. C'est comme un peintre qui copierait un peu de Van Gogh, un peu de Picasso et un peu d'un panneau de signalisation aléatoire, aboutissant à un mélange confus et sans originalité. De plus, cela soulève des questions éthiques : l'IA a-t-elle volé le style d'un musicien qui n'a jamais consenti à figurer dans les données d'entraînement ?

En utilisant des ensembles de données personnalisés et restreints, ces agents résolvent ces deux problèmes :

1. Éthique et transparence : Puisque l'IA est entraînée uniquement sur les propres enregistrements de l'artiste, il n'y a aucun mystère sur la provenance de la musique. C'est une collaboration claire et honnête. L'artiste sait exactement de quoi l'IA a appris.
2. Personnalisation réelle : L'IA devient un miroir de l'artiste. Elle ne se contente pas de sonner « comme de la musique » ; elle ressemble à ce musicien spécifique. Le document suggère que cela crée une connexion plus profonde et plus significative entre l'humain et la machine.

Sessions de jam en conditions réelles

Le document ne reste pas uniquement en laboratoire ; il montre ces systèmes en action.

• MACAT a été utilisé par le collectif K-Phi-A lors du festival MusicAcoustica à Hangzhou, en Chine. Là, il a aidé à créer une performance électronique ambiante où l'IA et les humains improvisaient ensemble, l'IA prenant la direction pour façonner le son.
• MACataRT a été utilisé par un percussionniste et un guitariste (le duo KeRa) pour créer une pièce intitulée Echoes of Synthetic Forest. Cette œuvre était si réussie qu'elle a atteint le Top 10 des finalistes du concours de musique IA 2024 et a été jouée à Zurich, en Suisse. Cela prouve que ces agents basés sur de petites données peuvent créer de la musique qui résonne auprès du public et des jurys.

Le bonus écologique et éthique

Ces systèmes possèdent un superpouvoir caché : ils sont respectueux de l'environnement. L'entraînement de modèles d'IA massifs nécessite de gigantesques supercalculateurs et consomme beaucoup d'électricité, laissant une empreinte carbone importante. Ces agents musicaux, cependant, peuvent être entraînés sur un ordinateur portable standard (même un ancien modèle avec un processeur Intel Core i7 ou une puce Apple M2) sans avoir besoin de cartes graphiques externes puissantes. Parce qu'ils utilisent de petits ensembles de données, ils sont plus rapides, moins coûteux et plus verts à exploiter.

Et après ?

Les auteurs sont clairs : c'est un travail en cours. Ils suggèrent que, bien que les systèmes actuels soient excellents pour repérer des motifs courts, ils pourraient devenir encore meilleurs pour comprendre les récits musicaux à long terme. Les futures versions pourraient utiliser l'apprentissage profond pour mémoriser des séquences plus longues et ajouter de l'« explicabilité », afin que les musiciens puissent voir exactement pourquoi l'IA a choisi une certaine note. Ils prévoient également d'ajouter une boucle de rétroaction où l'IA apprend de ses erreurs en temps réel, rendant la session de jam encore plus serrée.

En résumé, ce document nous montre que l'avenir de la musique par l'IA ne consiste pas à remplacer les artistes humains par un robot géant et générique. Il s'agit de donner à chaque musicien un partenaire numérique sur mesure, éthique et écologique, qui l'aide à explorer de nouveaux sons tout en restant fidèle à sa propre voix unique. Il ne s'agit pas de l'IA qui joue pour vous, mais de l'IA qui joue avec vous.