VioPTT: Violin Technique-Aware Transcription from Synthetic Data Augmentation

Resumen Técnico: VIOPTT – Transcripción de la Técnica del Violín Consciente de la Técnica mediante Aumento de Datos Sintéticos

Declaración del Problema
La Transcripción Automática de Música (AMT, por sus siglas en inglés) ha avanzado significativamente para instrumentos como el piano y la guitarra, pero la mayoría de los modelos existentes siguen limitados a transcribir el tono y el tiempo. Ignoran en gran medida los matices expresivos y específicos del instrumento, particularmente las técnicas de ejecución. Para el violín, técnicas como el pizzicato, spiccato y flageolet son integrales en su paleta tímbrica y expresividad emocional. Sin embargo, anotar estos atributos es costoso, requiere conocimiento experto y ha obstaculizado la creación de conjuntos de datos a gran escala más allá de las notas individuales etiquetadas. En consecuencia, los sistemas actuales de transcripción de violín se centran en la precisión del tono, dejando la articulación y la técnica de ejecución en gran medida inexploradas.

Metodología
Los autores proponen VioPTT (Violin Playing Technique-aware Transcription), un modelo en cascada ligero diseñado para predecir conjuntamente el tono, el onset (inicio), el offset (final) y la técnica de ejecución. La arquitectura consta de dos componentes primarios:

1. Módulo de Transcripción: Adaptado del modelo de piano de alta resolución de Kong et al., este módulo opera a nivel de cuadro (frame). Utiliza una Red Neuronal Convolucional Recurrente (CRNN) que comprende cuatro bloques convolucionales y dos capas GRU bidireccionales. Predice el onset, el offset y la velocidad como objetivos de regresión, y la activación de la nota como un objetivo binario.
2. Módulo de Articulación: Este módulo unifica las características acústicas y de transcripción para la clasificación de la técnica a nivel de nota. Procesa el espectrograma log-mel de entrada a través de bloques convolucionales para generar un embedding acústico de 128 dimensiones. En paralelo, las características del módulo de transcripción (onset, offset, cuadro, velocidad) se proyectan en un segundo embedding de 128 dimensiones. Estos se concatenan y se pasan a través de una capa de fusión para producir logits sobre cinco clases (cuatro técnicas específicas más una clase de "sin técnica").

Estrategia de Datos y Aumento
Para sortear la escasez de datos de técnica etiquetados manualmente, los autores introducen MOSA-VPT, un nuevo conjunto de datos sintéticos de alta calidad.

• Pipeline de Síntesis: Utilizando el marco de trabajo DAWDreamer y el instrumento VST Synchron Solo Violin I, los autores sintetizan 76 horas de pares audio-MIDI. El pipeline controla automáticamente los cambios de clave (key switches) y los controladores continuos (CC) para renderizar interpretaciones en détaché, flageolet, spiccato y pizzicato.
• Aumento: Para mejorar la robustez, los datos de entrenamiento se someten a cambios de tono (±0.1 semitonos), aumento de ganancia, filtrado de paso de banda aleatorio y reverberación.
• Datos de Entrenamiento: El modelo se entrena con el conjunto de datos MOSA (interpretaciones en solitario del mundo real) para tono/tiempo y MOS way MOSA-VPT (sintético) para la clasificación de la técnica.

Contribuciones Clave

1. Marco Unificado: VioPTT es el primer modelo que combina conjuntamente la transcripción de violín y la predicción de la técnica de ejecución dentro de un solo marco.
2. Conjunto de Datos Sintético (MOSA-VPT): El lanzamiento de un conjunto de datos sintéticos a gran escala y sin anotaciones que permite el entrenamiento en datos alineados con la técnica sin necesidad de anotaciones manuales expertas.
3. Generalización: La demostración de que un modelo entrenado principalmente con datos sintéticos puede generalizarse con éxito a grabaciones de violín del mundo real para la clasificación de la técnica.

Resultados Experimentales
El modelo fue evaluado en la transcripción de tono/tiempo (conjuntos de datos URMP y Bach10) y en la clasificación de la técnica (conjunto de datos RWC).

• Tono y Tiempo: En el conjunto de datos URMP, VioPTT alcanzó el estado del arte (SOTA) en Recall (83.6) y F1-sin-offset (93.1), igualando el rendimiento del modelo de violín SOTA existente, MUSC, en Precisión y F1 a nivel de nota. En el conjunto de datos Bach10, el modelo entrenado con preentrenamiento de piano y ajuste fino (fine-tuning) logró el mejor rendimiento en todas las métricas. Los autores señalan que la transferencia de aprendizaje desde el piano proporcionó beneficios limitados cuando se disponía de suficientes datos específicos del dominio, probablemente debido a las diferencias tímbricas.
• Clasificación de la Técnica: En el conjunto de datos RWC, el modelo completo logró una precisión macro de 77.22%.
  • Estudios de Ablación: Eliminar características específicas degradó el rendimiento. Excluir la información de offset causó la mayor caída (a 59.71%). Se encontró que la velocidad es una característica definitoria para el pizzicato (la precisión cayó casi a cero sin ella), mientras que las pistas de tiempo fueron críticas para el spiccato.
  • Comparación: VioPTT superó a MERTech (un modelo de técnica multietiqueta de última generación) en precisión macro, aunque MERTech logró una mayor precisión específicamente para flageolet.
  • Dependencias de Características: El estudio reveló que las técnicas tienen dependencias distintas de las características de transcripción; el détaché y el spiccato dependen fuertemente de las pistas de cuadro (frame) y onset, mientras que la clasificación de flageolet está dominada por las características armónicas.

Significancia y Reivindicaciones
El artículo afirma que VioPTT proporciona una representación más rica y expresiva de la interpretación del violín, expandiendo la AMT más allá de la simple transcripción de notas para capturar toda la profundidad de la expresión musical. Un hallazgo central es la viabilidad de utilizar datos sintéticos como un sustituto (proxy) para las anotaciones de técnica para entrenar modelos que se generalicen al audio del mundo real. Los autores sostienen que este enfoque elimina el cuello de botella de las costosas anotaciones expertas, permitiendo el desarrollo de conjuntos de datos a gran escala para los matices específicos de cada instrumento. Se propone como trabajo futuro extender este marco de síntesis a una gama más amplia de técnicas y otros instrumentos de cuerda frotada.