A Spectrogram-Based Deep Learning Framework for Automatic Swara and Gamaka Recognition in Carnatic Veena Performances

Résumé Technique : Un cadre d'apprentissage profond basé sur les spectrogrammes pour la reconnaissance automatique des Swaras et des Gamakas dans les performances de Veena Carnatique

Énoncé du problème
La reconnaissance automatique des notes musicales et des ornementations demeure un défi important pour l'informatique musicale (MIR), particulièrement pour les traditions non occidentales comme la musique carnatique. Contrairement à la musique occidentale, qui repose sur des valeurs de hauteur discrètes, la musique carnatique se caractérise par des variations de hauteur continues, des intervalles microtonaux et des ornamentations expressives appelées gamakas. La Saraswati Veena, un instrument primaire de cette tradition, présente des difficultés computationnelles uniques dues à sa résonance soutenue, sa richesse harmonique et ses modulations de hauteur complexes réalisées par des tirés de cordes et un pincement contrôlé.

Les recherches existantes se sont largement concentrées sur l'identification des ragas, l'estimation de la hauteur ou l'analyse de la musique vocale, laissant la reconnaissance automatique détaillée des swaras (notes) et des gamakas (ornementations) spécifiques à la Veena largement inexplorée. Les techniques de traitement du signal conventionnelles, qui reposent souvent sur des caractéristiques extraites manuellement comme la détection de la hauteur, peinent à modéliser avec précision les caractéristiques acoustiques dynamiques et les transitions continues inhérentes aux performances de la Veena.

Méthodologie
L'article propose un cadre d'apprentissage profond basé sur les spectrogrammes, conçu pour classifier les swaras et les gamakas directement à partir d'enregistrements audio sans dépendre d'une estimation explicite de la hauteur. La méthodologie suit un pipeline en cinq étapes :

1. Acquisition des données : Le cadre utilise un ensemble de données de performances de Veena Carnatique enregistrées numériquement (44,1 kHz, résolution 16 bits) contenant sept swaras fondamentaux (Sa, Ri, Ga, Ma, Pa, Dha, Ni) et cinq classes de gamakas représentatives (Kampita, Nokku, Jaru, Spurita, Pratyāhata). Tous les enregistrements ont été annotés manuellement par des experts du domaine.
2. Prétraitement audio : Les signaux audio bruts subissent une réduction du bruit via un filtrage spectral, une normalisation de l'amplitude et une suppression du silence. L'audio est segmenté en échantillons individuels de swara et de gamaka. Pour améliorer la robustesse du modèle et atténuer le surapprentissage, des techniques d'augmentation de données — incluant le décalage de hauteur (pitch shifting), l'étirement temporel et le bruit additif — sont appliquées pendant l'entraînement.
3. Génération de spectrogrammes : Les segments audio prétraités sont convertis en représentations temps-fréquence à l'aide de la transformée de Fourier à court terme (STFT) et de spectrogrammes de Mel. Ces représentations préservent à la fois l'évolution temporelle et le contenu fréquentiel, en mappant les fréquences sur l'échelle de Mel perceptuellement pertinente. Ces spectrogrammes servent d'images bidimensionnelles en entrée pour le réseau neuronal.
4. Modèle d'apprentissage profond : Un réseau de neurones convolutifs (CNN) est employé pour apprendre des caractéristiques acoustiques discriminantes directement à partir des images de spectrogrammes. L'architecture comprend plusieurs couches convolutives avec activation ReLU, normalisation par lots (batch normalization), max-pooling, régularisation par dropout et couches entièrement connectées. Un classificateur Softmax effectue la classification multi-classe finale. Le modèle est entraîné à l'aide de l'optimiseur Adam avec une perte d'entropie croisée catégorielle.
5. Évaluation : L'ensemble de données est partitionné en sous-ensembles d'entraînement (70 %), de validation (15 %) et de test (15 %). La performance est évaluée via la précision (accuracy), la précision (precision), le rappel (recall), le score F1 et l'analyse de la matrice de confusion.

Principales contributions
L'article expose cinq contributions primaires :

1. Cadre intégré : Le développement d'un pipeline unifié pour la reconnaissance simultanée des swaras et des gamakas dans les performances de Veena Carnatique.
2. Représentation des caractéristiques : L'utilisation de représentations STFT et de spectrogrammes de Mel pour faciliter l'apprentissage de caractéristiques profondes, s'éloignant des descripteurs extraits manuellement.
3. Pipeline reproductible : La conception d'un flux de travail de prétraitement complet intégrant la segmentation, la normalisation et la génération de spectrogrammes.
4. Spécification de l'ensemble de données : La présentation d'une spécification illustrative de l'ensemble de données détaillant les conditions d'enregistrement et l'organisation des classes pour soutenir de futures validations expérimentales.
5. Architecture modulaire : La fourniture d'une architecture évolutive capable d'extension via des techniques avancées telles que les modèles CNN–LSTM, les mécanismes d'attention, les Vision Transformers et l'apprentissage par transfert.

Résultats
L'article présente des valeurs de performance illustratives basées sur le cadre proposé pour démontrer la méthodologie d'évaluation. Le modèle CNN de base a atteint une précision (accuracy) de 94,2 %, une précision (precision) de 93,8 %, un rappel de 94,1 % et un score F1 de 93,9 %. Une validation croisée à cinq plis a produit une précision moyenne de 93,8 % ± 1,2 %.

Une analyse comparative a inclus trois architectures : CNN, CNN-LSTM et Vision Transformer (ViT). Les résultats illustratifs ont indiqué :

• CNN : 94,2 % de précision.
• CNN-LSTM : 95,6 % de précision.
• Vision Transformer : 96,8 % de précision.

L'analyse statistique (test t apparié et ANOVA) suggère que le CNN-LSTM surpasse significativement le CNN de base, et que le Vision Transformer atteint une précision significativement plus élevée que le CNN. Cependant, l'article note explicitement que ces valeurs sont illustratives et destinées à démontrer la procédure d'évaluation ; elles ne sont pas les résultats expérimentaux finaux issus d'un ensemble de données annotées à grande échelle. L'analyse de la matrice de confusion a indiqué que si la plupart des classes de swaras ont été correctement identifiées, des erreurs de classification occasionnelles se sont produites entre des gamakas acoustiquement similaires (par exemple, Kampita et Nokku) en raison de leurs caractéristiques de modulation de hauteur comparables.

Signification et revendications
L'article positionne ce travail comme un fondement méthodologique plutôt que comme une solution définitive, soulignant la nécessité d'une validation future avec des ensembles de données plus vastes et expertement annotés. Sa signification réside dans :

• Combler un vide de recherche : Il cible spécifiquement la reconnaissance fine des swaras et des gamakas dans la musique instrumentale carnatique, un domaine précédemment éclipsé par l'identification des ragas et l'analyse vocale.
• Changement méthodologique : En exploitant l'apprentissage profond basé sur les spectrogrammes, le cadre réduit la dépendance vis-à-vis des descripteurs acoustiques extraits manuellement, permettant au modèle d'apprendre les caractéristiques acoustiques non linéaires et les variations de hauteur continues inhérentes à la Veena.
• Applications pratiques : Le cadre est proposé comme base pour la transcription musicale automatique, l'archivage numérique de la musique carnatique, les systèmes de tutorat musical intelligent, les outils d'assistance aux interprètes et l'extraction d'informations musicales (MIR) avancée.
• Évolutivité future : La conception modulaire permet l'intégration d'avancées futures, notamment les architectures hybrides, l'apprentissage auto-supervisé et l'analyse multimodale (par exemple, combiner l'audio avec la vidéo ou les positions de doigté).

Les auteurs concluent que bien que le cadre fournisse une approche systématique pour analyser les performances de Veena, son efficacité ultime dépend d'une mise en œuvre expérimentale rigoureuse et de la disponibilité d'ensembles de données complets et diversifiés représentant plusieurs interprètes et styles de jeu.