AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model

Resumen Técnico: AMT-APC: Generación de Covers de Piano Automáticos mediante el Ajuste Fino de un Modelo de Transcripción Musical Automática

Planteamiento del Problema
La generación de Covers de Piano Automáticos (APC, por sus siglas en inglés) tiene como objetivo convertir pistas de audio originales en archivos MIDI jugables para piano. Aunque el aprendizaje profundo ha avanzado en este campo, los modelos existentes (por ejemplo, pop2piano, PiCoGen1/2) presentan dos limitaciones principales: una baja fidelidad respecto al audio original y una expresividad limitada. Los enfoques previos suelen depender de la cuantización de notas en ritmos toscos (por ejemplo, corcheas), lo que impide capturar ritmos complejos como las tresillos, o utilizan representaciones intermedias fijas que no pueden aprender plenamente los elementos dinámicos (dinámicas, timbre, notas de adorno) necesarios para un cover de alta calidad. Además, generar covers con matices estilísticos específicos sigue siendo un desafío sin un condicionamiento de estilo explícito.

Metodología
Los autores proponen AMT-APC, un algoritmo de aprendizaje que redefine el APC como una tarea de ajuste fino (fine-tuning) de un modelo de Transcripción Musical Automática (AMT) preentrenado. La metodología consta de tres componentes principales:

1. Arquitectura del Modelo Base: El estudio utiliza hFT-Transformer, un modelo de AMT de vanguardia, como base. A diferencia de los modelos que utilizan representaciones 1D, hFT-Transformer emplea una representación 2D similar a un piano-roll, que genera matrices de ataques (onsets), marcos (frames) y velocidades. Los autores modificaron la longitud de la secuencia de entrada de 128 cuadros (aprox. 2 segundos) a 512 cuadros para capturar mejor el contexto musical, lo que requiere un ajuste fino adicional en el conjunto de datos MAESTRO para aprender nuevas incrustaciones posicionales (positional embeddings).
2. Condicionamiento por Vector de Estilo: Para abordar la ambigüedad de generar un único cover a partir de una canción (ya que existen múltiples arreglos válidos), los autores introducen un vector de estilo continuo. Este vector se extrae de archivos MIDI mediante el análisis de tres distribuciones de probabilidad: tasa de ataques, velocidad y tono. Estas distribuciones se normalizan, se cuantifican en 8 niveles y se concatenan en un vector de 24 dimensiones. Este vector se inyecta en los estados ocultos del modelo mediante un mecanismo de compuerta (gating mechanism), lo que permite al modelo generar covers con características distintivas de "calma" o "intensidad" basadas en el estilo de entrada.
3. Estrategia de Entrenamiento: El proceso implica el preentrenamiento en la tarea de AMT (predecir notas a partir de audio) seguido del ajuste fino para APC. Durante el ajuste fino, el modelo se entrena con datos emparejados de audio original y el MIDI de piano objetivo. La función de pérdida se centra en las predicciones de ataque, marco y velocidad, con una estrategia de muestreo específica que prioriza las etiquetas de verdad fundamental (ground truth) no nulas y sus vecinos para asegurar un aprendizaje eficiente.

Contribuciones Clave

• Cambio Algorítmico: La propuesta de AMT-APC, que aprovecha las capacidades de "captura de sonido precisa" de los modelos AMT establecidos para impulsar la generación de APC, en lugar de entrenar modelos de APC desde cero o utilizar representaciones intermedias fijas.
• Control de Estilo: La introducción de un vector de estilo continuo derivado de características estadísticas de MIDI, lo que permite la generación de diversos covers a partir de una sola pista de origen sin requerir IDs de estilo discretos.
• Contexto Extendido: La adaptación de hFT-Transformer para procesar longitudes de secuencia más largas (512 cuadros), mejorando la capacidad del modelo para manejar frases musicales más extensas en comparación con la inferencia estándar de AMT.

Resultos Experimentales
El modelo fue evaluado en un conjunto de datos de 332 canciones con 1,267 covers de piano.

• Fidelidad: Utilizando la métrica Qmax (basada en características de croma, donde valores más bajos indican mayor similitud), el modelo AMT-APC logró una puntuación promedio de 0.035. Esto superó a los modelos existentes: pop2piano (0.090) y PiCoGen2 (0.054), y fue casi idéntico a los covers generados por humanos convertidos a MIDI (0.038).
• Métricas de Rendimiento: En los datos de prueba, el modelo alcanzó un F1 promedio de 0.31 para ataque, marco y velocidad.
• Estudio de Ablación: Eliminar el preentrenamiento de AMT aumentó la pérdida a 0.41 y redujo el F1 a 0.27. Eliminar el vector de estilo degradó ligeramente el rendimiento (F1 0.30), confirmando su papel en la reducción de la confusión del modelo. Un modelo AMT puro aplicado directamente a APC sin ajuste fino funcionó deficientemente (F1 0.12), resaltando la necesidad de la etapa de ajuste fino.

Significancia y Reivindicaciones
El artículo afirma que AMT-APC reproduce las pistas originales con mayor precisión que los modelos actuales. Los autores postulan que las tareas de AMT y APC son altamente similares; por lo tanto, desarrollar modelos de AMT robustos es un camino crítico para crear modelos de APC superiores. El estudio demuestra que aprovechar las capacidades de AMT preentrenadas mediante el ajuste fino, combinado con el condicionamiento de estilo, cierra eficazmente la brecha entre la transcripción y el arreglo. Los autores concluyen que este enfoque acerca el campo a la generación de covers de piano avanzados y expresivos, aunque reconocen las limitaciones actuales para mantener la consistencia a largo plazo en patrones de acompañamiento específicos y ornamentaciones.