A Survey on Music Generation from Single-Modal, Cross-Modal, and Multi-Modal Perspectives

Dit artikel biedt een overzicht van muziekgeneratie door systemen te categoriseren op basis van single-modal, cross-modal en multi-modal perspectieven, waarbij het de representatie, uitlijning en toepassing van diverse modaliteiten bespreekt, huidige datasets en evaluatiemethoden analyseert, en uitdagingen en toekomstige onderzoeksrichtingen schetst.

De kern

🎵 De Grote Muziek-Magie: Hoe Computers Leren Muziek Maken met Hulp van Alles Om Ze Heen

Stel je voor dat je een chef-kok bent in een gigantische keuken. Tot nu toe konden deze koks (de computers) alleen maar koken als je ze precies vertelde welke ingrediënten je wilde: "Geef me een ei, een snufje zout en een beetje peper." Dit noemen we single-modal (één manier van communiceren).

Maar wat als je de chef niet alleen woorden geeft, maar ook een foto van een zonnig strand, een video van een dansend kind, of een stukje tekst over een verdrietige dag? Dan moet de chef niet alleen de ingrediënten begrijpen, maar ook de sfeer van de foto en het gevoel van de video. Dit is wat dit artikel bespreekt: Multi-modale muziekgeneratie. Het gaat over hoe kunstmatige intelligentie (AI) muziek maakt door te kijken naar tekst, beelden, video's en geluid tegelijkertijd.

Het artikel is als een reisgids die ons meeneemt door drie verschillende landschappen:

1. De Eenzame Toerist (Single-Modal)

In het begin was de AI een beetje een eenzame reiziger.

• Hoe het werkte: Als je een stukje muziek gaf, maakte de AI er een vervolg op. Als je een tekst gaf, maakte de AI muziek die daar bij paste.
• Het probleem: Het was als een pianist die alleen maar kan spelen als je op de toetsen drukt. Hij kan niet goed inspelen op wat er buiten de piano gebeurt. Hij mist de context.

2. De Twee-Weg Reis (Cross-Modal)

Dan ontdekten de wetenschappers dat je twee werelden kunt verbinden.

• De brug: Stel je voor dat je een schilderij hebt (een beeld) en je wilt dat de AI muziek maakt die erbij past. Of je hebt een tekst (een verhaal) en wilt dat de AI een liedje schrijft.
• De uitdaging: Beelden en muziek praten niet dezelfde taal. Een foto is een reeks pixels, muziek is een reeks noten. Het is alsof je probeert een gesprek te voeren tussen iemand die alleen Frans spreekt en iemand die alleen Japans spreekt. De AI moet een vertaler zijn die de sfeer van het Frans (het beeld) omzet in de melodie van het Japans (de muziek).

3. Het Grote Feest (Multi-Modal)

Dit is waar het nu naartoe gaat: een groot feest waar alles samenkomen.

• De situatie: De AI krijgt nu alles tegelijk: een video van een dansend kind, een tekst die zegt "blij en snel", en een stukje audio van een gitaar.
• De magie: De AI moet al deze informatie samenvoegen. Het is als een dirigent die een heel orkest leidt, maar ook nog eens naar de danser op het podium kijkt en naar de tekst van het lied luistert. De AI moet beslissen: "Oké, de danser beweegt snel, dus de drums moeten snel. De tekst is verdrietig, dus de viool moet laag en zacht spelen."
• Huidige status: We zijn nog in de "ontdekkingsfase". Sommige AI's kunnen dit al aardig, maar ze maken soms nog rare fouten, zoals een vrolijke dansmuziek maken bij een verdrietige tekst.

🧱 De Bouwstenen: Hoe doen ze dit?

Het artikel legt uit dat computers muziek niet "hooren" zoals wij. Ze moeten het eerst vertalen naar hun eigen taal:

• Geluid: Dit is als een lange, rommelige golf. Computers snappen dat niet goed, dus ze knippen het op in kleine blokjes (zoals Lego-stenen) om het te begrijpen.
• Noten (Symbolische muziek): Dit is als een recept. Het zegt precies welke toetsen je moet indrukken.
• Tekst, Beeld en Video: Dit zijn de aanwijzingen. De AI gebruikt speciale "bruggen" (zoals vertalers) om te begrijpen dat een "donkere foto" betekent dat de muziek ook donker en zwaar moet klinken.

📚 De Bibliotheek en de Proefjes (Data en Evaluatie)

Om deze AI's slim te maken, hebben ze een enorme bibliotheek nodig met voorbeelden.

• Het probleem: Er zijn niet genoeg boeken in deze bibliotheek die alles combineren. We hebben veel muziek, veel teksten en veel video's, maar heel weinig die perfect op elkaar zijn afgestemd (zoals een video van een danser met de exacte muziek die erbij hoort).
• De oplossing: Wetenschappers proberen nu slimme trucs te gebruiken, zoals het laten "dromen" van de AI over bestaande muziek om nieuwe combinaties te maken, of het verzamelen van data van internet (zoals YouTube).

Hoe weten we of het goed is?
Het is lastig om te meten of AI-muziek "goed" klinkt.

• De robot-test: Computers meten statistieken (bijvoorbeeld: "Klinkt dit net als echte muziek?").
• De menselijke test: Uiteindelijk moeten echte mensen luisteren. Vragen als: "Klinkt dit alsof het bij deze video hoort?" of "Is dit een mooi liedje?" zijn cruciaal. Soms wordt er zelfs een "Turing-test" gedaan: kun jij raden of de muziek door een mens of een robot is gemaakt?

🚧 De Struikelblokken en de Toekomst

Het artikel eindigt met een eerlijke blik op wat er nog moet gebeuren:

1. Creativiteit: De AI is nu nog te veel een "plagiaat-kopie". Ze plakt stukjes van bestaande muziek aan elkaar. We willen dat ze echt nieuwe ideeën bedenkt, net als een menselijke componist.
2. Snelheid: Het duurt nu vaak te lang om muziek te maken. We willen dat het in realtime gaat, zodat je tijdens een game of een film direct muziek kunt laten maken.
3. Samenwerking: Soms praten de verschillende input-kanalen (beeld vs. tekst) tegen elkaar. De AI moet leren om deze conflicten op te lossen.
4. Gebruiksgemak: Nu moet je nog heel technisch zijn om de AI te gebruiken. In de toekomst moet iedereen, van de kleuter tot de filmregisseur, makkelijk muziek kunnen maken met een simpele zin of een foto.

Conclusie

Kortom: Dit artikel vertelt ons dat we op een spannende plek staan. Computers leren niet alleen meer muziek te maken, maar ook waarom die muziek moet klinken. Ze leren luisteren naar de wereld om hen heen. Hoewel ze nog niet perfect zijn, gaan ze ons helpen om muziek te maken die perfect past bij onze foto's, video's en gevoelens. De toekomst van muziek is niet langer alleen voor muzikanten, maar voor iedereen die een verhaal wil vertellen.

Technische samenvatting

Probleemstelling

De huidige kunstmatige intelligentie (AI) heeft moeite met het naadloos integreren van multimodale informatie (zoals visuele en auditieve prikkels), terwijl mensen dit natuurlijk doen. Hoewel er veel onderzoek is gedaan naar muziekgeneratie, ontbreekt er een focus op de rol van modaliteiten (zoals tekst, afbeeldingen, video, audio en symbolische muziek) als sturende factoren. Bestaande overzichten richten zich vaak op specifieke modelarchitecturen (zoals foundation models) of beperken zich tot één type muziek (bijv. alleen symbolische muziek of alleen audio). Er is een gebrek aan een systematisch overzicht dat de evolutie van muziekgeneratie bekijkt vanuit het perspectief van modaliteitsinteractie: van enkelvoudige modaliteit naar kruismodaliteit en uiteindelijk naar volledige multimodale fusie. De uitdaging ligt in het effectief combineren van verschillende representaties (bijv. het overbruggen van de kloof tussen audio en symbolische muziek) en het creëren van systemen die creatief, efficiënt en goed gecontroleerd kunnen genereren op basis van diverse inputs.

Methodologie

Het artikel biedt een uitgebreide literatuurreview die muziekgeneratiesystemen categoriseert op basis van de gebruikte input-modaliteiten. De methodologie van het survey omvat:

1. Categorisatie van Modaliteiten:
   • Interne modaliteiten: Audio (golven, spectrogrammen, VQ-VAE encodings) en Symbolische Muziek (MIDI, piano rolls, events, tekstnotatie).
   • Externe modaliteiten: Tekst (beschrijvingen, lyrics), Afbeeldingen en Video (ruimtelijke en temporele features).
2. Technische Evolutie:
   • Single-Modal: Generatie binnen dezelfde modaliteit (bijv. audio-naar-audio of symbool-naar-symbool) via adaptatie, invulling of voortzetting.
   • Cross-Modal: Generatie waarbij één externe modaliteit de muziek stuurt (bijv. tekst-naar-muziek, video-naar-muziek). Hierbij worden technieken zoals cross-attention, concatenatie en mapping gebruikt.
   • Multi-Modal: Fusie van meerdere externe modaliteiten (bijv. tekst + afbeelding + video) om gezamenlijk de muziek te sturen. Dit vereist geavanceerde fusiemethoden en vaak "bruggen" (zoals LLMs) om de modaliteiten te aligneren.
3. Representatie en Fusie:
   • Analyse van hoe data wordt gecodeerd (bijv. EnCodec voor audio, REMI/OctupleMIDI voor symbolische muziek, ViT/ViViT voor video).
   • Bespreking van fusietechnieken zoals cross-attention, gezamenlijke embedding ruimtes (via contrastief leren zoals CLAP/MuLan) en multi-stage conditioning.
4. Datasets en Evaluatie:
   • Inventarisatie van bestaande datasets (Score-Audio, Text-Music, Visual-Music) en het identificeren van tekortkomingen (schaal, granulariteit, uitgelijndheid).
   • Review van objectieve metrics (FID, FAD, structuurmetrieken, consistentie-scores zoals CLAP-score) en subjectieve evaluaties (MOS, Turing-tests, voorkeursstudies).

Belangrijkste Bijdragen

• Systematisch Framework: Het artikel biedt het eerste overzicht dat muziekgeneratie specifiek analyseert vanuit het perspectief van modaliteitsinteractie, in plaats van alleen modelarchitectuur. Het schetst de paden van single-modal naar cross-modal en multi-modal.
• Technische Diepgang: Gedetailleerde bespreking van de representatie van verschillende modaliteiten en de specifieke uitdagingen bij het overbruggen van de kloof tussen bijvoorbeeld audio en symbolische muziek (die fundamenteel verschillend zijn in codering).
• Dataset Inventarisatie: Een uitgebreide tabel en analyse van bestaande datasets, met een duidelijke identificatie van de schaarste aan hoogwaardige, multimodale, uitgelijnde datasets (bijv. video-muziek paren met fijne granulariteit).
• Evaluatie-Overzicht: Een kritische review van de huidige evaluatiemethoden, waarbij wordt benadrukt dat bestaande objectieve metrics vaak tekortschieten in het meten van menselijke perceptie, creativiteit en echte multimodale consistentie.
• Toekomstperspectief: Het definieert concrete uitdagingen (creativiteit, efficiëntie, modaliteitsfusie) en stelt een onderzoeksagenda op voor de volgende generatie modellen.

Resultaten en Observaties

• Status van het Veld: Multi-modale muziekgeneratie bevindt zich nog in een exploratief stadium. Hoewel er succesvolle werken zijn (zoals Jukebox, MusicGen, MelFusion, Seed-Music), zijn deze vaak beperkt tot één of twee externe modaliteiten of missen ze een uniforme integratie van alle modaliteiten.
• Data-tekort: Er is een kritisch gebrek aan grote, hoogwaardige datasets die audio, symbolische muziek, tekst, afbeeldingen en video gelijktijdig en nauwkeurig uitgelijnd bevatten. Bestaande datasets zijn vaak te klein of ontbreken in fijne annotaties.
• Evaluatie-uitdagingen: Er bestaat geen universeel evaluatiesysteem. Objectieve metrics meten vaak alleen statistische gelijkenis en niet de artistieke waarde of de nuance van emotionele consistentie. Subjectieve evaluaties zijn duur en moeilijk te schalen.
• Architecturale Trends: Er is een verschuiving naar het gebruik van Large Language Models (LLMs) en Diffusion Modellen (LDMs) als centrale componenten voor zowel het begrijpen van de input-modaliteiten als het genereren van de muziek. Het gebruik van "bridging" (bijv. een LLM als tussenlaag) is een veelgebruikte strategie.

Betekenis en Impact

Dit survey is van cruciaal belang voor de gemeenschap van AI-onderzoekers en muziektechnologie-experts omdat het:

1. De Luchtlektuur Vult: Het vult een gat in de literatuur door zich te focussen op de modaliteit als de drijvende kracht achter de evolutie van muziekgeneratie, wat essentieel is voor het begrijpen van hoe diverse informatiebronnen kunnen worden samengevoegd.
2. Richtinggeeft: Het biedt een blauwdruk voor toekomstig onderzoek door de belangrijkste obstakels (data, evaluatie, creativiteit) en mogelijke oplossingen (pre-training, hybride architecturen) te identificeren.
3. Toepassingsgericht is: Het benadrukt de potentie voor praktische toepassingen zoals game-soundtracks, live-optredens, muziektherapie en commerciële productie, maar waarschuwt ook voor de huidige beperkingen in kwaliteit en controleerbaarheid die nog overwonnen moeten worden voordat deze technologie breed inzetbaar is in professionele omgevingen.

Kortom, het artikel fungeert als een fundamenteel referentiepunt voor het begrijpen van de huidige staat van de kunst en het plotten van de koers voor de ontwikkeling van geavanceerde, multimodale muziekgeneratiesystemen.