A Survey on Music Generation from Single-Modal, Cross-Modal, and Multi-Modal Perspectives

Cet article de synthèse examine la génération musicale à partir des perspectives mono, croisée et multi-modale, en abordant les représentations des données, les méthodes d'alignement, les ensembles de données actuels, les défis majeurs et les orientations futures de ce domaine de recherche émergent.

L'essentiel

🎵 La Symphonie des Sens : Comment l'IA apprend à composer avec ses yeux et ses oreilles

Imaginez que vous êtes un chef d'orchestre. Jusqu'à récemment, vous ne pouviez donner vos instructions qu'à un seul musicien : celui qui joue la partition écrite (le symbolique) ou celui qui chante la mélodie (l'audio). C'est ce qu'on appelle la génération musicale "mono-mode". L'IA composait de la musique en regardant uniquement une partition ou en écoutant un enregistrement, un peu comme un musicien qui joue les yeux fermés, uniquement guidé par ce qu'il a déjà entendu.

Mais les humains, nous, sommes différents. Quand nous écoutons de la musique, nous voyons souvent un film, nous lisons un poème, ou nous ressentons une émotion en regardant une image. Notre cerveau lie tout cela ensemble.

Ce papier de recherche, écrit par une équipe de l'Université de Zhejiang en Chine, raconte l'histoire de comment l'IA essaie de faire de même : apprendre à composer de la musique en utilisant non seulement des sons, mais aussi des mots, des images et des vidéos.

Voici les grands chapitres de cette histoire, expliqués avec des analogies :

1. Le Dictionnaire des Sens (Les Représentations)

Pour que l'IA comprenne le monde, elle doit d'abord apprendre à "parler" chaque langue sensorielle.

• Le Son (Audio) : C'est comme une vague d'air complexe. Pour l'IA, c'est trop lourd à porter. Elle utilise donc des "compresseurs" (comme des valises intelligentes) pour réduire le son en petits paquets numériques sans perdre la saveur de la musique.
• La Partition (Symbolique) : C'est la musique écrite, comme une recette de cuisine. C'est précis (note, durée), mais ce n'est pas encore du son.
• Le Texte : C'est la description. "Une musique triste et lente". L'IA utilise des modèles de langage (comme des super-dictionnaires) pour comprendre ces mots.
• L'Image et la Vidéo : C'est le défi le plus dur. Une image est faite de pixels (des points de couleur), tandis que la musique est faite de notes (des sons dans le temps). C'est comme essayer de traduire une peinture en une odeur ! L'IA doit apprendre à voir un visage triste et comprendre qu'il faut une musique lente et mineure.

2. Les Trois Niveaux de Maîtrise

L'article classe les progrès de l'IA en trois étapes, comme un jeu vidéo où l'on débloque de nouveaux niveaux :

• Niveau 1 : Le Soliste (Génération Mono-mode)
  L'IA prend un bout de musique et en crée un autre. C'est comme un musicien qui improvise sur une mélodie existante. C'est bien, mais limité.
• Niveau 2 : Le Duo (Génération Cross-mode)
  L'IA commence à faire des liens entre deux mondes.
  • Texte vers Musique : Vous écrivez "une jungle bruyante", et l'IA crée le bruit de la jungle.
  • Image vers Musique : Vous montrez une photo de plage, l'IA joue une musique d'été.
  • Vidéo vers Musique : Vous montrez une vidéo de danse, l'IA crée le rythme parfait pour bouger.
• Niveau 3 : L'Orchestre Complet (Génération Multi-mode)
  C'est le Graal. L'IA reçoit tout en même temps : une vidéo de danse, un texte disant "joyeux", et une partition de piano. Elle doit tout fusionner pour créer une musique qui correspond parfaitement à tout cela simultanément. C'est comme si le chef d'orchestre recevait des instructions du public, du décorateur et du scénariste en même temps pour diriger l'orchestre.

3. Les Ingrédients Manquants (Les Données)

Pour apprendre, l'IA a besoin de millions d'exemples. Imaginez que vous voulez apprendre à cuisiner : il vous faut des recettes et les plats finis.

• Le problème : Il existe des millions de vidéos YouTube, mais très peu sont étiquetées avec précision (ex: "Cette vidéo de 30 secondes correspond exactement à cette mélodie de piano en Do majeur").
• La solution : Les chercheurs créent des bases de données géantes en mélangeant des vidéos, des textes et des musiques, ou en utilisant l'IA elle-même pour inventer des liens entre des données qui n'étaient pas liées au départ. C'est un peu comme assembler un puzzle géant où certaines pièces manquent, et l'IA doit deviner où elles vont.

4. Le Jury (L'Évaluation)

Comment savoir si la musique de l'IA est bonne ?

• Le test mathématique : On compare la musique générée à la réalité avec des formules complexes (comme mesurer la distance entre deux nuages de points). C'est précis, mais ça ne dit pas si la musique est belle.
• Le test humain : On demande à des gens d'écouter et de voter. "Est-ce que cette musique correspond à l'image ?", "Est-ce que c'est joli ?". C'est subjectif, mais c'est la seule façon de juger l'émotion.
• Le défi : Parfois, l'IA crée une musique qui correspond mathématiquement à l'image, mais qui sonne "fausse" ou "robotique" à nos oreilles.

5. Les Défis du Futur (Ce qui reste à faire)

Même si l'IA fait des merveilles, elle a encore des difficultés :

• La Créativité : L'IA a tendance à copier ce qu'elle a déjà appris. Elle doit apprendre à être plus originale, à inventer de nouveaux styles, pas juste à assembler des pièces existantes.
• La Vitesse : Créer de la musique de haute qualité prend du temps. Il faut que ce soit plus rapide, comme passer d'un four à bois à un four à micro-ondes.
• L'Harmonie : Parfois, l'image dit "triste" et le texte dit "joyeux". L'IA doit apprendre à résoudre ces conflits et à trouver une musique qui fait le lien entre les deux.
• L'Accessibilité : Aujourd'hui, il faut être un expert pour bien utiliser ces outils. L'objectif est que n'importe qui puisse dire "Je veux une musique de film d'horreur" et obtenir un chef-d'œuvre instantanément.

En résumé

Ce papier est une carte routière. Il nous dit : "Regardez où nous sommes allés (de la simple partition à la vidéo complexe), voici les outils que nous utilisons (les algorithmes), voici les obstacles (manque de données, difficulté à juger la beauté), et voici la direction à prendre pour que, bientôt, l'IA puisse composer de la musique aussi naturellement et créativement qu'un humain, en voyant, en entendant et en ressentant le monde entier."

C'est le début d'une nouvelle ère où la musique ne sera plus seulement entendue, mais vécue à travers tous nos sens.

Résumé technique

1. Problématique

La génération musicale par intelligence artificielle a évolué d'une approche mono-modale (génération à partir d'un seul type de données, comme l'audio ou le symbolique) vers des approches plus complexes intégrant plusieurs modalités. Bien que les grands modèles de langage (LLM) et les modèles génératifs aient fait des progrès significatifs, la fusion efficace d'informations hétérogènes (texte, images, vidéo, partitions, audio) pour guider la création musicale reste un défi majeur.

Les problèmes centraux identifiés dans l'article sont :

• Le fossé sémantique et structurel : Il existe un écart important entre les représentations audio (ondes, spectres) et symboliques (notes, partitions), ainsi qu'entre les modalités non musicales (visuel, texte) et la musique.
• L'alignement modal : Assurer que la musique générée correspond fidèlement aux conditions d'entrée (rythme d'une vidéo, émotion d'un texte, style d'une image) est difficile, tant au niveau macro (ambiance) que micro (rythme précis, harmonie).
• La pénurie de données : Il manque de grands ensembles de données multi-modaux de haute qualité, alignés temporellement et sémantiquement, nécessaires pour entraîner des modèles robustes.
• L'évaluation : L'absence de systèmes d'évaluation unifiés et complets, capables de mesurer à la fois la qualité musicale intrinsèque et la cohérence multi-modale.

2. Méthodologie et Cadre d'Analyse

Les auteurs proposent une revue systématique de l'état de l'art en classant les méthodes de génération musicale selon la nature des modalités d'entrée et de sortie. L'analyse couvre trois niveaux de complexité :

A. Représentations des Modalités

L'article détaille comment chaque modalité est encodée pour l'IA :

• Audio : Utilisation de modèles de compression vectorielle (VQ-VAE, SoundStream, EnCodec) pour transformer les ondes en tokens discrets, et de modèles auto-supervisés (AudioMAE, MERT) pour l'encodage sémantique.
• Musique Symbolique : Représentations sous forme d'événements (MIDI, REMI), de rouleaux de piano (Piano Rolls) ou de graphes, souvent encodés via des architectures Transformer ou des méthodes de pré-entraînement (BERT, MusicVAE).
• Texte : Utilisation de LLMs (T5, BERT, FLAN-T5) et d'espaces d'encodage conjoints (MuLan, CLAP) pour aligner le texte et l'audio.
• Image et Vidéo : Extraction de caractéristiques spatiales (ViT, CNN) et temporelles (ViViT, I3D, flux optique) pour capturer le mouvement et la dynamique.

B. Taxonomie des Approches de Génération

1. Génération Mono-Modale :
   • Audio vers Audio : Continuation, inpainting, édition (ex: VampNet, AudioLM).
   • Symbolique vers Symbolique : Complétion, arrangement (ex: MusicVAE, Theme Transformer).
2. Génération Cross-Modale (Une modalité externe) :
   • Partition vers Audio (Score-to-Audio) : Synthèse expressive (ex: MIDI-DDSP, PerformanceNet).
   • Texte vers Musique : Génération basée sur des descriptions ou des paroles (ex: MusicLM, MuseCoCo, SongGLM).
   • Visuel vers Musique : Génération à partir d'images ou de vidéos (ex: SDMuse, Foley Music, LORIS).
3. Génération Multi-Modale (Fusion de plusieurs modalités) :
   • Intégration simultanée de texte, audio, symbolique et visuel.
   • Architectures clés : Utilisation de mécanismes d'attention croisée (Cross-Attention), de modèles de diffusion (LDM, DiT), et de modèles de pont (LLaMA, MuMu-LLaMA) pour fusionner les embeddings dans un espace latent commun.
   • Exemples notables : Seed-Music (Texte + Audio + Symbolique), MelFusion (Texte + Image), V-MusProd (Vidéo + Texte).

C. Données et Évaluation

• Jeux de données : L'article recense des bases de données existantes (LMD, MAESTRO, MusicCaps, AIST, HIMV-200K) et identifie leurs limites (taille, granularité, alignement). Il propose des solutions comme l'utilisation de modèles pré-entraînés pour générer des annotations automatiques ou l'agrégation de données web.
• Métriques d'évaluation :
  • Objectives : FID/FAD (qualité audio), KLD (diversité), métriques basées sur la théorie musicale (harmonie, rythme), et métriques de cohérence (CLAP Score, MCC).
  • Subjectives : Scores d'opinion humaine (MOS), tests de Turing, choix forcés pour évaluer la pertinence et la créativité.

3. Contributions Clés

• Taxonomie complète : La première revue qui structure le domaine non pas par type de modèle (GAN, Diffusion), mais par interaction des modalités, offrant une vue claire sur l'évolution du mono-modal vers le multi-modal.
• Analyse des représentations : Une comparaison détaillée des méthodes d'encodage pour chaque modalité, soulignant les défis spécifiques de l'alignement entre audio, symbolique et visuel.
• État des lieux des données et de l'évaluation : Un inventaire critique des jeux de données disponibles et des métriques d'évaluation, mettant en lumière le manque de standards pour l'évaluation de la cohérence multi-modale.
• Identification des défis : Une analyse structurée des obstacles actuels (créativité, efficacité, fusion, alignement, données, évaluation).

4. Résultats et Observations

• Progression technologique : Les modèles récents (2023-2025) comme MusicGen, AudioLDM 2, et Seed-Music démontrent une capacité croissante à intégrer plusieurs conditions d'entrée. L'utilisation de modèles de diffusion et de Transformers à grande échelle a amélioré la fidélité audio et la cohérence sémantique.
• Limites actuelles :
  • Les modèles peinent encore à générer de la musique créative et non imitative.
  • L'efficacité de calcul reste un problème, en particulier pour les modèles autoregressifs à grande échelle.
  • L'alignement fin (ex: synchronisation précise note-à-note avec une vidéo de danse) est souvent imparfait.
  • La qualité sonore des produits grand public reste inférieure à celle de la musique professionnelle enregistrée.
• Données : La majorité des modèles sont limités par la disponibilité de données multi-modales alignées. Les méthodes d'augmentation de données via des modèles pré-entraînés sont prometteuses mais insuffisantes à elles seules.

5. Signification et Perspectives

Cet article est une référence fondamentale pour les chercheurs en IA musicale et en multimodalité. Il établit que l'avenir de la génération musicale réside dans la fusion profonde des modalités plutôt que dans leur simple juxtaposition.

Directions futures identifiées :

• Créativité : Développer des mécanismes pour générer du contenu unique plutôt que de recopier les données d'entraînement.
• Efficacité : Optimiser les architectures pour permettre une génération en temps réel.
• Alignement : Améliorer la fidélité de la génération par rapport aux conditions d'entrée (émotion, style, structure).
• Données : Construire des ensembles de données massifs, diversifiés et finement alignés.
• Évaluation : Créer un système d'évaluation unifié combinant métriques objectives, subjectives et artistiques.
• Application : Rendre les outils plus accessibles, contrôlables et professionnels pour une adoption industrielle.

En conclusion, l'article souligne que la génération musicale multi-modale est passée d'une phase exploratoire à une étape de maturation, mais que des avancées significatives sont encore nécessaires pour atteindre une véritable compréhension et création musicale par l'IA.