Resumen Técnico: Modelado Generativo de Música Simbólica al Estilo de Bach

Declaración del Problema

Este estudio investiga la eficacia de tres familias distintas de modelos generativos para producir música para piano simbólica al estilo de Johann Sebastian Bach. El desafío central consiste en modelar secuencias polifónicas de notas que se adhieran al complejo contrapunto y la elegancia estructural característicos de la música barroca. Los autores pretenden comparar la capacidad de estos modelos para aprender representaciones latentes útiles, generar composiciones estilísticamente coherentes y evitar modos de falla comunes como el colapso de modo o el colapso de la distribución posterior (posterior collapse). El conjunto de datos consiste en las obras de piano conocidas de Bach (por ejemplo, El clave bien temperado, Variaciones Goldberg) convertidas a formato MIDI.

Metodología

Preprocesamiento de Datos

Los autores procesaron los archivos MIDI en secuencias de vectores multihot de dimensión 88 (que representan las teclas del piano), donde un valor de 1 indica que una nota se toca en un instante de tiempo específico. Para simplificar la tarea de modelado, se descartó la información de velocidad. Los intervalos de tiempo se determinaron dinámicamente basándose en la duración de nota más corta que apareciera en más del 20% de una pieza (por ejemplo, semicorcheas o corcheas), y se filtraron las pausas largas.

Familias de Modelos

El estudio evalúa tres enfoques principales:

1. Modelos Autorregresivos:

   • LSTM Base: Una LSTM de 2 capas (tamaño oculto 512) que genera secuencias de longitud 32.
   • LSTM con Atención: Un modelo autorregresivo mejorado que utiliza 2 capas LSTM y un mecanismo de atención. Esta arquitectura emplea múltiples cabezales de salida paralelos para predecir diferentes voces de la pieza simultáneamente. El mecanismo de atención permite al modelo enfocarse dinámicamente en partes relevantes de la secuencia de entrada, abordando las limitaciones en el manejo de secuencias largas donde notas específicas son más influyentes.

2. Modelos de Variable Latente (VAEs):

   • VAE Recurrente: Un VAE estándar utilizando un codificador LSTM bidireccional y un decodificador LSTM unidireccional.
   • VAE Recurrente Jerárquico: Inspirado en Roberts et al. [2019], esta arquitectura divide el decodificador en un "director de orquesta" (capa superior) y un "decodificador" (capa inferior). El director genera embeddings para subsecuencias, que luego son utilizados por el decodificador de nivel inferior para generar notas, forzando una dependencia más fuerte de la variable latente $z$.
   • VAE de Cuantización Vectorial (VQ-VAE): Para mitigar el colapso de la distribución posterior, los autores implementaron un VQ-VAE (van den Oord et al. [2017]). Las secuencias de entrada se agruparon en patrones de 4 notas. El modelo aprende un libro de códigos (codebook) discreto de vectores de embedding. Un LSTM autorregresivo se entrena posteriormente sobre este espacio latente cuantizado para predecir la secuencia de embeddings, que son posteriormente decodificados en notas.

3. Modelos Adversarios (GANs):

   • Wasserstein GAN (WGAN): Tanto el generador como el discriminador utilizan arquitecturas de LSTM y Atención de Multi-Cabezal (Multi-Head Attention). El generador toma como entrada un vector latente muestreado de una distribución normal. Los autores emplearon la pérdida de Wasserstein con recorte de gradiente (gradient clipping) para estabilizar el entrenamiento, abordando problemas de desvanecimiento de gradiente y colapso de modo comunes en las GAN estándar.

Resultados Clave

• LSTM Autorregresiva con Atención: Este enfoque produjo las muestras musicalmente más coherentes. El modelo capturó con éxito los matices estilísticos, produciendo composiciones con progresiones de acordes sensatas y estructuras melódicas que recuerdan al estilo barroco. El mecanismo de atención resultó crítico para priorizar características salientes dentro de las secuencias.
• Modelos de Variable Latente:
  • Los VAE estándar y jerárquicos sufrieron de colapso de la distribución posterior (posterior collapse), donde el modelo ignoró la variable latente $z$. Aunque el decodificador jerárquico retrasó este colapso ligeramente, la música resultante carecía de la fidelidad estilística específica de Bach, sonando más a jazz.
  • El VQ-VAE demostró éxito en la mitigación del colapso de la distribución posterior. Al aprender patrones discretos de 4 notas, produjo salidas con patrones estructurales más claros (escalas, arpegios) y un simulacro de estilo barroco, superando a los VAE continuos.
• Redes Generativas Adversarias: La WGAN capturó con éxito patrones locales de tono y generó dos bandas sonoras distintas (bajo y agudo). Sin embargo, el modelo tuvo dificultades con la generalización de estilo, produciendo música que se asemejaba al piano jazz moderno con armonías complejas en lugar del estilo de Bach. Los autores señalaron que las GAN eran difíciles de entrenar y no reconstruían los datos de entrenamiento de manera tan eficiente como los modelos basados en autorregresión o VAE.

Significancia y Reivindicaciones

El artículo concluye que para la generación de música simbólica en este contexto, las formulaciones autorregresivas son las más efectivas, mientras que los enfoques adversarios y de variable latente presentan desafíos de entrenamiento significativos.

• Fortalezas Relativas: El enfoque autorregresivo (específicamente LSTM con atención) es identificado como la formulación "más fácil", produciendo los mejores resultados en términos de coherencia estilística.
• Modos de Falla: El estudio destaca modos de falla específicos: el colapso de la distribución posterior en los VAE y la inestabilidad de entrenamiento/desajuste de estilo en las GAN.
• Perspectivas Arquitectónicas: Los autores afirman que la cuantización vectorial es una estrategia viable para superar las limitaciones de los espacios latentes continuos en los VAE. Sin embargo, sostienen que es probable que se requieran cambios arquitectónicos significativos para hacer que los modelos de variable latente y adversarios sean tan robustos como los autorregresivos para esta tarea específica.
• Trabajo Futuro: El artículo sugiere modestamente direcciones futuras, incluyendo la incorporación de características musicales más amplias (dinámicas, articulación) y el desarrollo de estructuras latentes más amigables para el humano (escalas, emoción), pero no afirma que esto se haya logrado en el presente estudio.

Los autores enfatizan que su trabajo sirve como un estudio comparativo de estas familias de modelos, resaltando que, si bien todos los modelos pueden generar música, el enfoque autorregresivo ofrece actualmente el mayor grado de fidelidad estilística a la obra de Bach.