Technische Samenvatting: Generatieve Modellering van Bach-stijl Symbolische Muziek

Probleemstelling

Deze studie onderzoekt de effectiviteit van drie verschillende families van generatieve modellen bij het produceren van symbolische pianomuziek in de stijl van Johann Sebastian Bach. De kernuitdaging bestaat uit het modelleren van polyfone notenreeksen die voldoen aan de complexe contrapunt en de structurele elegantie die kenmerkend zijn voor de barokmuziek. De auteurs beogen te vergelijken hoe goed deze modellen in staat zijn om nuttige latente representaties te leren, stilistisch coherente composities te generen en veelvoorkomende foutmodi zoals mode collapse of posterior collapse te vermijden. De dataset bestaat uit Bachs bekende pianowerken (bijv. Das Wohltemperierte Klavier, Goldbergvariationen) die zijn omgezet naar MIDI-formaat.

Methodologie

Data Pre-processing

De auteurs hebben de MIDI-bestanden verwerkt tot sequenties van multihot-vectoren met een dimensie van 88 (representerend van de pianotoetsen), waarbij een waarde van 1 aangeeft dat een noot op een specif tijdstap wordt gespeeld. Om de modellerings taak te vereenvoudigen, is informatie over de aanslagsterkte (velocity) weggelaten. Tijdstappen werden dynamisch bepaald op basis van de kortste nootduur die in meer dan 20% van een stuk voorkomt (bijv. zestiende of achtste noten), en lange pauzes werden weggefilterd.

Model Families

De studie evalueert drie primaire benaderingen:

1. Autoregressieve Modellen:

   • Baseline LSTM: Een 2-laagse LSTM (hidden size 512) die sequenties van lengte 32 genereert.
   • LSTM met Attention: Een verbeterd autoregressief model dat gebruikmaakt van 2 LSTM-lagen en een attention-mechanisme. Deze architectuur maakt gebruik van meerdere parallelle output-heads om verschillende stemmen van het stuk gelijktijdig te voorspellen. Het attention-mechanisme stelt het model in staat om dynamisch te focussen op relevante delen van de inputsequentie, wat de beperkingen bij het verwerken van lange sequenties aanpakt waarbij specifieke noten invloedrijker zijn.

2. Latent-Variable Modellen (VAE's):

   • Recurrent VAE: Een standaard VAE met een bidirectionele LSTM-encoder en een unidirectionele LSTM-decoder.
   • Hierarchical Recurrent VAE: Geïnspireerd door Roberts et al. [2019], verdeelt deze architectuur de decoder in een "dirigent" (toplaag) en een "decoder" (onderlaag). De dirigent genereert embeddings voor subsequenties, die vervolgens door de decoder op lager niveau worden gebruikt om noten te genereren, wat een sterkere afhankelijkheid van de latente variabele $z$ afdwingt.
   • Vector-Quantized VAE (VQ-VAE): Om posterior collapse te mitigeren, hebben de auteurs een VQ-VAE geïmplementeerd (van den Oord et al. [2017]). Inputsequenties werden gegroepeerd in patronen van 4 noten. Het model leert een discrete codebook van embedding-vectoren. Een autoregressieve LSTM wordt vervolgens getraind bovenop deze gekwantiseerde latente ruimte om de sequentie van embeddings te voorspellen, die vervolgens worden gedecodeerd naar noten.

3. Adversarial Modellen (GAN's):

   • Wasserstein GAN (WGAN): Zowel de generator als de discriminator maken gebruik van LSTM- en Multi-Head Attention-architecturen. De generator neemt een latente vector als input, gesampled uit een normale verdeling. De auteurs hebben de Wasserstein loss met gradient clipping toegepast om de training te stabiliseren, waarmee problemen met vanishing gradients en mode collapse die gebruikelijk zijn bij standaard GAN's, werden aangepakt.

Belangrijkste Resultaten

• Autoregressieve LSTM met Attention: Deze benadering leverde de meest muzikaal coherente samples op. Het model slaagde erin om stilistische nuances te vangen, waardoor composities ontstonden met zinvolle akkoordprogressies en melodische structuren die doen denken aan de barokstijl. Het attention-mechanisme bleek cruciaal voor het prioriteren van saillante kenmerken binnen sequenties.
• Latent-Variable Modellen:
  • Standaard en hiërarchische VAE's leden aan posterior collapse, waarbij het model de latente variabele $z$ negeerde. Hoewel de hiërarchische decoder dit proces enigszins vertraagde, miste de resulterende muziek de specifieke stilistische getrouwheid van Bach en klonk het meer als jazz.
  • VQ-VAE toonde succes in het mitigeren van posterior collapse. Door discrete patronen van 4 noten te leren, produceerde het outputs met duidelijkere structurele patronen (toonladders, arpeggio's) en een zweem van de barokstijl, waarmee het de continue VAE's overtrof.
• Generative Adversarial Networks: De WGAN slaagde erin lokale toonhoogtepatronen te vangen en genereerde twee onderscheidende soundtracks (bas en sopraan). Echter, het model had moeite met de stilistische generalisatie en produceerde muziek die leek op moderne jazzpiano met complexe harmonieën in plaats van Bach's stijl. De auteurs merkten op dat GAN's moeilijk te trainen waren en de trainingsdata niet zo efficiënt reconstrueerden als autoregressieve of VAE-gebaseerde modellen.

Betekenis en Claims

Het artikel concludeert dat voor symbolische muziekgeneratie in deze context autoregressieve formuleringen het meest effectief zijn, terwijl adversariële en latent-variable benaderingen aanzienlijke trainingsuitdagingen met zich meebrengen.

• Relatieve Sterktes: De autoregressieve benadering (specifiek LSTM met attention) wordt geïdentificeerd als de "makkelijkste" formulering, die de beste resultaten oplevert qua stilistische coherentie.
• Foutmodi: De studie belicht specifieke foutmodi: posterior collapse in VAE's en trainingsinstabiliteit/stijl-mismatch in GAN's.
• Architecturale Inzichten: De auteurs beweren dat vector kwantisatie een levensvatbare strategie is om de beperkingen van continue latente ruimtes in VAE's te overwinnen. Ze stellen echter dat aanzienlijke architecturale wijzigingen nodig zijn om latent-variable en adversariële modellen even robuust te maken als autoregressieve modellen voor deze specifieke taak.
• Toekomstig Werk: Het artikel suggereert bescheiden toekomstige richtingen, waaronder de incorporatie van bredere muzikale kenmerken (dynamiek, articulatie) en de ontwikkeling van mensvriendelijke latente structuren (toonladders, emotie), maar claimt niet dat deze in de huidige studie zijn bereikt.

De auteurs benadrukken dat hun werk dient als een vergelijkende studie van deze modelfamilies, waarbij zij onderstrepen dat hoewel alle modellen muziek konden genereren, de autoregressieve benadering momenteel de hoogste graad van stilistische getrouwheid aan het werk van Bach biedt.