Sintesi Tecnica: Modellazione Generativa di Musica Simbolica in Stile Bach

Definizione del Problema

Questo studio investiga l'efficacia di tre distinte famiglie di modelli generativi nel produrre musica per pianoforte simbolica nello stile di Johann Sebastian Bach. La sfida centrale consiste nel modellare sequenze polifoniche di note che aderiscano alla complessa contropposizione e all'eleganza strutturale tipiche della musica barocca. Gli autori mirano a confrontare la capacità di questi modelli di apprendere rappresentazioni latenti utili, generare composizioni stilisticamente coerenti ed evitare comuni modalità di fallimento come il collasso della moda (mode collapse) o il collasso del posterior (posterior collapse). Il dataset è costituito dalle note opere pianistiche conosciute di Bach (ad es., Il Clavicembalo ben temperato, Variazioni Goldberg) convertite in formato MIDI.

Metodologia

Pre-elaborazione dei Dati

Gli autori hanno elaborato i file MIDI in sequenze di vettori multihot di dimensione 88 (rappresentanti i tasti del pianoforte), dove un valore di 1 indica che una nota viene suonata in un determinato istante temporale. Per semplificare il compito di modellazione, l'informazione sulla velocità è stata scartata. I passi temporali sono stati determinati dinamicamente in base alla durata della nota più breve presente in più del 20% di un brano (ad es., sedicesimi o ottavi), e le pause lunghe sono state filtrate.

Famiglie di Modelli

Lo studio valuta tre approcci primari:

1. Modelli Autoregressivi:

   • Baseline LSTM: Una LSTM a 2 strati (dimensione nascosta 512) che genera sequenze di lunghezza 32.
   • LSTM con Attention: Un modello autoregressivo potenziato che utilizza 2 strati LSTM e un meccanismo di attenzione. Questa architettura impiega molteplici teste di output parallele per predire simultaneamente le diverse voci del brano. Il meccanismo di attenzione permette al modello di concentrarsi dinamicamente sulle parti rilevanti della sequenza di input, affrontando i limiti nella gestione di sequenze lunghe dove specifiche note sono più influenti.

2. Modelli a Variabile Latente (VAE):

   • VAE Ricorrente: Un VAE standard che utilizza un encoder LSTM bidirezionale e un decoder LSTM unidirezionale.
   • VAE Ricorrente Gerarchico: Ispirato a Roberts et al. [2019], questa architettura divide il decoder in un "direttore d'orchestra" (strato superiore) e un "decodificatore" (strato inferiore). Il direttore genera embedding per sottosequenze, che vengono poi utilizzati dal decoder di livello inferiore per generare le note, forzando una dipendenza più forte dalla variabile latente $z$.
   • VAE con Quantizzazione Vettoriale (VQ-VAE): Per mitigare il collasso del posterior, gli autori hanno implementato un VQ-VAE (van den Oord et al. [2017]). Le sequenze di input sono state raggruppate in pattern di 4 note. Il modello apprende un codebook discreto di vettori di embedding. Una LSTM autoregressiva viene quindi addestrata sopra questo spazio latente quantizzato per predire la sequenza di embedding, che vengono successivamente decodificati in note.

3. Modelli Avversari (GAN):

   • Wasserstein GAN (WGAN): Sia il generatore che il discriminatore utilizzano architetture LSTM e Multi-Head Attention. Il generatore riceve in input un vettore latente campionato da una distribuzione normale. Gli autori hanno impiegato la perdita di Wasserstein con gradient clipping per stabilizzare l'addestramento, affrontando i problemi di svanimento del gradiente e collasso della moda comuni nelle standard GAN.

Risultati Chiave

• LSTM Autoregressiva con Attention: Questo approccio ha prodotto i campioni musicalmente più coerenti. Il modello ha catturato con successo le sfumature stilistiche, producendo composizioni con progressioni armoniche sensate e strutture melodiche che ricordano lo stile barocco. Il meccanismo di attenzione si è rivelato critico nel dare priorità alle caratteristiche salienti all'interno delle sequenze.
• Modelli a Variabile Latente:
  • I VAE standard e gerarchici hanno sofferto di collasso del posterior, dove il modello ignorava la variabile latente $z$. Sebbene il decoder gerarchico abbia ritardato leggermente questo collasso, la musica risultante mancava della specifica fedeltà stilistica di Bach, suonando più simile al jazz.
  • Il VQ-VAE ha dimostrato successo nel mitigare il collasso del posterior. Apprendendo pattern discreti di 4 note, ha prodotto output con schemi strutturali più chiari (scale, arpeggi) e un accenno di stile barocco, superando i VAE continui.
• Reti Generative Avversarie: La WGAN ha catturato con successo i pattern locali di pitch e ha generato due colonne sonore distinte (basso e soprano). Tuttavia, il modello ha faticato con la generalizzazione dello stile, producendo musica che somigliava al jazz moderno per pianoforte con armonie complesse piuttosto che allo stile di Bach. Gli autori hanno notato che le GAN erano difficili da addestrare e non ricostruivano i dati di addestramento in modo così efficiente come i modelli autoregressivi o basati su VAE.

Significato e Rivendicazioni

L'articolo conclude che, per la generazione di musica simbolica in questo contesto, le formulazioni autoregressive sono le più efficaci, mentre gli approcci avversari e a variabile latente presentano significative sfide di addestramento.

• Punti di Forza Relativi: L'approccio autoregressivo (specificamente la LSTM con attention) è identificato come la formulazione "più facile", offrendo i migliori risultati in termini di coerenza stilistica.
• Modalità di Fallimento: Lo studio evidenzia specifici fallimenti: il collasso del posterior nei VAE e l'instabilità dell'addestramento/discrepanza di stile nelle GAN.
• Approfondimenti Architetturali: Gli autori affermano che la quantizzazione vettoriale è una strategia valida per superare i limiti degli spazi latenti continui nei VAE. Tuttavia, sostengono che siano necessari cambiamenti architettonici significativi per rendere i modelli a variabile latente e avversari robusti quanto quelli autoregressivi per questo specifico compito.
• Lavoro Futuro: L'articolo suggerisce modestamente direzioni future, inclusa l'incorporazione di caratteristiche musicali più ampie (dinamica, articolazione) e lo sviluppo di strutture latenti "human-friendly" (scale, emozione), ma non rivendica che queste siano state raggiunte nello studio attuale.

Gli autori sottolineano che il loro lavoro funge da studio comparativo tra queste famiglie di modelli, evidenziando che, sebbene tutti i modelli possano generare musica, l'approccio autoregressivo offre attualmente il più alto grado di fedeltà stilistica al lavoro di Bach.