A novel LSTM music generator based on the fractional time-frequency feature extraction

Resumen Técnico: Generador de Música LSTM Basado en Extracción de Características Fraccionarias Tiempo-Frecuencia

1. Planteamiento del Problema

La composición musical asistida por Inteligencia Artificial (IA) ha avanzado significativamente, pero los métodos existentes basados en aprendizaje profundo enfrentan limitaciones críticas:

• Falta de creatividad real: Los modelos tienden a imitar el conjunto de datos de entrenamiento sin mostrar verdadera innovación creativa.
• Limitaciones en el manejo de señales no estacionarias: Las técnicas tradicionales de procesamiento de señales (como la Transformada de Fourier estándar) a menudo no capturan adecuadamente la estructura local y las variaciones temporales complejas de las señales musicales.
• Dependencias a largo plazo: Las redes neuronales recurrentes (RNN) convencionales tienen dificultades para retener información a lo largo de secuencias temporales extensas, lo que afecta la coherencia de las composiciones generadas.

El objetivo de este trabajo es superar estas barreras proponiendo un sistema híbrido que combine la capacidad de análisis de señales en dominios fraccionarios con la potencia predictiva de las redes LSTM.

2. Metodología Propuesta

El sistema propuesto integra dos componentes principales: la Transformada Fraccionaria de Fourier (FrFT) para la extracción de características y las Redes de Memoria a Largo y Corto Plazo (LSTM) para la generación y predicción.

• Extracción de Características (FrFT):

  • A diferencia de la Transformada de Fourier tradicional, la FrFT permite rotar los ejes de tiempo y frecuencia en el plano tiempo-frecuencia mediante un parámetro de orden fraccionario ($\alpha$).
  • Esto es crucial para analizar señales no estacionarias como la música, capturando estructuras locales y características que se pierden en el dominio temporal o frecuencial puro.
  • El proceso convierte la señal de audio (MIDI/WAV) en un dominio fraccionario, separando luego las partes real e imaginaria del resultado. Estas partes se normalizan y sirven como entrada para la red neuronal.

• Generación de Música (LSTM):

  • Se utiliza una arquitectura LSTM de múltiples capas (4 capas con 256 unidades ocultas) para modelar las secuencias temporales.
  • La red recibe las partes real e imaginaria de la señal procesada por FrFT.
  • El mecanismo de puertas (entrada, olvido y salida) de la LSTM permite retener dependencias a largo plazo, esenciales para mantener la coherencia estructural y el estilo en composiciones musicales largas.
  • La red se entrena para predecir la siguiente secuencia de notas basándose en las características ocultas y las entradas en tiempo real.

• Proceso de Síntesis:

  • Tras la predicción de la red, se aplica la Transformada Fraccionaria Inversa de Fourier (IFrFT) para reconstruir la señal de audio en el dominio temporal, fusionando las partes real e imaginaria predichas para generar el archivo musical final.

3. Contribuciones Clave

• Nueva Arquitectura Híbrida: Es la primera propuesta que integra específicamente la FrFT para la extracción de características de señales musicales antes de alimentarlas a una LSTM, aprovechando la representación flexible del dominio fraccionario.
• Minería de Características Profundas: El método permite una "minería profunda" de las características de la música, revelando patrones intrincados en el plano tiempo-frecuencia que no son visibles con métodos tradicionales (como STFT).
• Validación de Dominio Fraccionario: Demuestra que procesar las señales en el dominio fraccionario (con $\alpha = 0.05$) mejora la capacidad del modelo para aprender la estructura local de la música en comparación con el procesamiento directo de la señal cruda.
• Generación de Alta Fidelidad: El sistema genera música que es comparable en calidad a la creada por humanos, capaz de adaptarse a diversos estilos (en este caso, piano solista).

4. Resultados Experimentales

• Conjunto de Datos: Se utilizó el dataset GiantMIDI-Piano, una colección de alta calidad de grabaciones de piano solista.
• Configuración:
  • Muestreo a 5000 Hz.
  • Parámetro de orden fraccionario $\alpha = 0.05$.
  • Entrenamiento con 30 épocas, tasa de aprendizaje de 0.0003 y tamaño de lote (batch size) de 32.
• Métricas de Rendimiento:
  • Pérdida (Loss): La función de pérdida utilizada fue el Error Cuadrático Medio (MSE).
  • Comparativa (Experimento de Ablación):
    • Método base (sin FrFT, solo señal de entrada): Valor de pérdida de 0.0351.
    • Método propuesto (con FrFT): Valor de pérdida de 0.0155.
  • Convergencia: Las curvas de pérdida mostraron una convergencia exitosa tanto para las partes real como imaginaria de la señal.
  • Calidad de Salida: Las ondas de sonido generadas (tras la IFrFT) mostraron una alta similitud con las señales originales, confirmando la capacidad del sistema para predecir y sintetizar música con precisión.

5. Significado e Impacto

• Avance en IA Musical: Este trabajo demuestra que la combinación de transformadas fraccionarias con redes neuronales recurrentes profundas puede superar las limitaciones de los modelos actuales, ofreciendo una mayor creatividad y coherencia estructural.
• Aplicaciones Prácticas: El sistema tiene un gran potencial para:
  • Composición Asistida: Proporcionar inspiración y nuevas ideas a compositores y músicos.
  • Educación Musical: Crear ejercicios personalizados y demostraciones que ayuden a los estudiantes a entender la teoría y la práctica musical.
  • Producción en Tiempo Real: Habilitar la creación interactiva de música y acompañamientos en vivo.
• Futuro: Aunque los resultados son prometedores, el estudio señala la necesidad de investigaciones adicionales para refinar el sistema y expandir su aplicabilidad a géneros más complejos y polifónicos.

En conclusión, el artículo presenta un marco robusto donde el análisis de señales en el dominio fraccionario actúa como un preprocesador superior, permitiendo que las redes LSTM aprendan patrones musicales más complejos y generen composiciones de alta calidad.