A Spectrogram-Based Deep Learning Framework for Automatic Swara and Gamaka Recognition in Carnatic Veena Performances

Resumen Técnico: Un Marco de Aprendizaje Profundo Basado en Espectrogramas para el Reconocimiento Automático de Swara y Gamaka en Interpretaciones de Veena Carnática

Planteamiento del Problema
El reconocimiento automático de notas musicales y ornamentaciones sigue siendo un desafío significativo en la Recuperación de Información Musical (MIR, por sus siglas en inglés), particularmente para las tradiciones clásicas no occidentales como la música carnática. A diferencia de la música occidental, que se basa en valores de tono discretos, la música carnática se caracteriza por variaciones de tono continuas, intervalos microtonales y ornamentaciones expresivas conocidas como gamakas. La Saraswati Veena, un instrumento primario en esta tradición, presenta dificultades computacionales únicas debido a su resonancia sostenida, rico contenido armónico y la compleja modulación de tono lograda mediante el estiramiento de las cuerdas y el pulsado controlado.

La investigación existente se ha centrado principalmente en la identificación de ragas, la estimación del tono o el análisis de la música vocal, dejando el reconocimiento automático detallado de los swaras (notas) y gamakas (ornamentaciones) específicos de la Veena en gran medida inexplorado. Las técnicas convencionales de procesamiento de señales, que a menudo dependen de características diseñadas manualmente como la detección de tono, tienen dificultades para modelar con precisión las características acústicas dinámicas y las transiciones continuas inherentes a las interpretaciones de la Veena.

Metodología
El artículo propone un marco de aprendizaje profundo basado en espectrogramas diseñado para clasificar swaras y gamakas directamente a partir de grabaciones de audio sin depender de una estimación de tono explícita. La metodología sigue un flujo de trabajo de cinco etapas:

1. Adquisición de Datos: El marco utiliza un conjunto de datos de interpretaciones de Veena Carnática grabadas digitalmente (44.1 kHz, resolución de 16 bits) que contienen siete swaras fundamentales (Sa, Ri, Ga, Ma, Pa, Dha, Ni) y cinco clases representativas de gamaka (Kampita, Nokku, Jaru, Spurita, Pratyāhata). Todas las grabaciones han sido anotadas manualmente por expertos en la materia.
2. Preprocesamiento de Audio: Las señales de audio sin procesar se someten a reducción de ruido mediante filtrado espectral, normalización de amplitud y eliminación de silencio. El audio se segmenta en muestras individuales de swara y gamaka. Para mejorar la robustez del modelo y mitigar el sobreajuste, se aplican técnicas de aumento de datos —incluyendo el desplazamiento de tono (pitch shifting), la dilatación temporal (time stretching) y el ruido aditivo— durante el entrenamiento.
3. Generación de Espectrogramas: Los segmentos de audio preprocesados se convierten en representaciones de tiempo-frecuencia mediante la Transformada de Fourier de Tiempo Corto (STFT) y espectrogramas de Mel. Estas representaciones preservan tanto la evolución temporal como el contenido de frecuencia, mapeando las frecuencias a la escala Mel, que es perceptualmente relevante. Estos espectrograms sirven como imágenes bidimensionales de entrada para la red neuronal.
4. Modelo de Aprendizaje Profundo: Se emplea una Red Neuronal Convolucional (CNN) para aprender características acústicas discriminativas directamente de las imágenes de los espectrogramas. La arquitectura incluye múltiples capas convolucionales con activación ReLU, normalización por lotes (batch normalization), max-pooling, regularización de dropout y capas totalmente conectadas. Un clasificador Softmax realiza la clasificación multiclase final. El modelo se entrena utilizando el optimizador Adam con pérdida de entropía cruzada categórica.
5. Evaluación: El conjunto de datos se divide en subconjuntos de entrenamiento (70%), validación (15%) y prueba (15%). El rendimiento se evalúa mediante precisión, exactitud (accuracy), recall, puntuación F1 y análisis de la matriz de confusión.

Contribuciones Clave
El artículo describe cinco contribuciones primarias:

1. Marco Integrado: El desarrollo de un flujo de trabajo unificado para el reconocimiento simultáneo de swaras y gamakas en interpretaciones de Veena Carnática.
2. Representación de Características: La utilización de representaciones de STFT y espectrogramas de Mel para facilitar el aprendizaje de características profundas, alejándose de los descriptores diseñados manualmente.
3. Flujo de Trabajo Reproducible: El diseño de un flujo de preprocesamiento completo que incorpora segmentación, normalización y generación de espectrogramas.
4. Especificación del Conjunto de Datos: La presentación de una especificación ilustrativa del conjunto de datos que detalla las condiciones de grabación y la organización de las clases para apoyar la validación experimental futura.
5. Arquitectura Modular: La provisión de una arquitectura escalable capaz de extenderse mediante técnicas avanzadas como modelos CNN–LSTM, mecanismos de atención, Vision Transformers y aprendizaje por transferencia.

Resultados
El artículo presenta valores de rendimiento ilustrativos basados en el marco propuesto para demostrar la metodología de evaluación. El modelo base de CNN logró una exactitud del 94.2%, una precisión del 93.8%, un recall del 94.1% y una puntuación F1 del 93.9%. Una validación cruzada de cinco pliegues arrojó un promedio de exactitud del 93.8% ± 1.2%.

El análisis comparativo incluyó tres arquitecturas: CNN, CNN-LSTM y Vision Transformer (ViT). Los resultados ilustrativos indicaron:

• CNN: 94.2% de exactitud.
• CNN-LSTM: 95.6% de exactitud.
• Vision Transformer: 96.8% de exactitud.

El análisis estadístico (prueba t pareada y ANOVA) sugirió que la CNN-LSTM superó significativamente a la CNN base, y que el Vision Transformer logró una exactitud significativamente mayor que la CNN. Sin embargo, el artículo señala explícitamente que estos valores son ilustrativos y están destinados a demostrar el procedimiento de evaluación; no son resultados experimentales finales de un conjunto de datos anotado a gran escala. El análisis de la matriz de confusión indicó que, si bien la mayoría de las clases de swara fueron identificadas correctamente, ocurrieron clasificaciones erróneas ocasionales entre gamakas acústicamente similares (por ejemplo, Kampita y Nokku) debido a sus características de modulación de tono comparables.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como una base metodológica más que como una solución definitiva, enfatizando la necesidad de una validación futura con conjuntos de datos más grandes y expertamente anotados. Su importancia radica en:

• Abordar un Vacío de Investigación: Se dirige específicamente al reconocimiento detallado de swaras y gamakas en la música instrumental carnatica, un área que anteriormente ha sido eclipsada por la identificación de ragas y el análisis vocal.
• Cambio Metodológico: Al aprovechar el aprendizaje profundo basado en espectrogramas, el marco reduce la dependencia de los descriptores acústicos diseñados a mano, permitiendo que el modelo aprenda las características acústicas no lineales y las variaciones continuas de tono inherentes a la Veena.
• Aplicaciones Prácticas: El marco se propone como base para la transcripción musical automática, el archivo digital de la música carnatica, sistemas de tutoría musical inteligente, herramientas de asistencia para intérpretes y la recuperación de información musical (MIR) avanzada.
• Escalabilidad Futura: El diseño modular permite la integración de avances futuros, incluyendo arquitecturas híbridas, aprendizaje autosupervisado y análisis multimodal (por ejemplo, combinando audio con video o posiciones de los dedos).

Los autores concluyen que, si bien el marco proporciona un enfoque sistemático para analizar las interpretaciones de la Veena, su efectividad última depende de una implementación experimental rigurosa y de la disponibilidad de conjuntos de datos exhaustivos y diversos que representen múltiples intérpretes y estilos de ejecución.