A Spectrogram-Based Deep Learning Framework for Automatic Swara and Gamaka Recognition in Carnatic Veena Performances

Technische Samenvatting: Een Spectrogram-gebaseerd Deep Learning Framework voor Automatische Herkenning van Swara en Gamaka in Carnatic Veena-uitvoeringen

Probleemstelling
Automatische herkenning van muzikale noten en versieringen blijft een aanzienlijke uitdaging binnen de Music Information Retrieval (MIR), met name voor niet-Westerse klassieke tradities zoals de Carnatic muziek. In tegenstelling tot Westerse muziek, die steunt op discrete toonhoogtewaarden, wordt Carnatic muziek gekenmerkt door continue toonhoogtevariaties, microtonale intervallen en expressieve versieringen bekend als gamakas. De Saraswati Veena, een primair instrument in deze traditie, presenteert unieke computationele moeilijkheden vanwege de aanhoudende resonantie, de rijke harmonische inhoud en de complexe toonhoogtemodulatie die wordt bereikt door middel van snaarbuiging en gecontroleerd tokkelen.

Bestaand onderzoek heeft zich grotendeels gericht op raga-identificatie, toonhoogte-inschatting of vocale muziek-analyse, waardoor de gedetailleerde automatische herkenning van Veena-specifieke swaras (noten) en gamakas (versieringen) grotendeels onontgonnen is gebleven. Conventionele signaalverwerkingstechnieken, die vaak vertrouwen op handmatig ontworkte kenmerken zoals toonhoogtedetectie, worstelen met het accuraat modelleren van de dynamische akoestische kenmerken en de continue overgangen die inherent zijn aan Veena-uitvoeringen.

Methodologie
Het artikel stelt een spectrogram-gebaseerd deep learning framework voor dat is ontworpen om swaras en gamakas direct te classificeren uit audio-opnames zonder afhankelijk te zijn van expliciete toonhoogte-inschatting. De methodologie volgt een vijffasen-pipeline:

1. Data-acquisitie: Het framework maakt gebruik van een dataset van digitaal opgenomen Carnatic Veena-uitvoeringen (44,1 kHz, 16-bit resolutie) die zeven fundamentele swaras (Sa, Ri, Ga, Ma, Pa, Dha, Ni) en vijf representatieve gamaka-klassen (Kampita, Nokku, Jaru, Spurita, Pratyāhata) bevatten. Alle opnames zijn handmatig geannoteerd door domeinexperts.
2. Audio-preprocessing: Ruwe audiosignalen ondergaan ruisonderdrukking via spectrale filtering, amplitude-normalisatie en stilteverwijdering. De audio wordt gesegmenteerd in individuele swara en gamaka samples. Om de robuustheid van het model te vergroten en overfitting te beperken, worden data-augmentatietechnieken — inclusief pitch shifting, time stretching en additieve ruis — toegepast tijdens de training.
3. Spectrogram Generatie: Pre-geprocessseerde audiofragmenten worden omgezet in tijd-frequentie-representaties met behulp van de Short-Time Fourier Transform (STFT) en Mel-spectrogrammen. Deze representaties behouden zowel de temporele evolutie als de frequentie-inhoud, waarbij frequenties worden toegewezen aan de perceptueel relevante Mel-schaal. Deze spectrogrammen dienen als tweedimensionale input-afbeeldingen voor het neurale netwerk.
4. Deep Learning Model: Een Convolutional Neural Network (CNN) wordt ingezet om direct onderscheidende akoestische kenmerken te leren van de spectrogram-afbeeldingen. De architectuur omvat meerdere convolutionele lagen met ReLU-activatie, batch-normalisatie, max-pooling, dropout-regularisatie en volledig verbonden (fully connected) lagen. Een Softmax-classifier voert de uiteindelijke multi-class classificatie uit. Het model wordt getraind met de Adam-optimizer en categorical cross-entropy loss.
5. Evaluatie: De dataset wordt verdeeld in trainings (70%), validatie (15%) en test-subsets (15%). Prestaties worden beoordeeld aan de hand van nauwkeurigheid (accuracy), precisie (precision), recall, F1-score en een verwarringsmatrix-analyse (confusion matrix).

Belangrijkste Bijdragen
Het artikel schetst vijf primaire bijdragen:

1. Geïntegreerd Framework: De ontwikkeling van een uniforme pipeline voor de gelijktijdige herkenning van swaras en gamakas in Carnatic Veena-uitvoeringen.
2. Kenmerk-representatie: Het gebruik van STFT en Mel-spectrogram-representaties om diepe kenmerk-extractie te faciliteren, waarbij wordt afgestapt van handmatig ontworkte beschrijvers.
3. Reproduceerbare Pipeline: Het ontwerp van een volledige preprocessing-workflow die segmentatie, normalisatie en spectrogram-generatie omvat.
4. Dataset Specificatie: De presentatie van een illustratieve dataset-specificatie die opnamecondities en klasse-organisatie detailsert om toekomstige experimentele validatie te ondersteen.
5. Modulaire Architectuur: De voorziening van een schaalbare architectuur die uitgebreid kan worden via geavanceerde technieken zoals CNN–LSTM-modellen, aandachtmechanismen (attention mechanisms), Vision Transformers en transfer learning.

Resultaten
Het artikel presenteert illustratieve prestatiewaarden gebaseerd op het voorgestelde framework om de evaluatiemethodologie te demonstreren. Het baseline CNN-model behaalde een nauwkeurigheid van 94,2%, een precisie van 93,8%, een recall van 94,1% en een F1-score van 93,9%. Vijf-voudige kruisvalidatie leverde een gemiddelde nauwkeurigheid op van 93,8% ± 1,2%.

De vergelijkende analyse omvatte drie architecturen: CNN, CNN-LSTM en Vision Transformer (ViT). De illustratieve resultaten gaven aan:

• CNN: 94,2% nauwkeurigheid.
• CNN-LSTM: 95,6% nauwkeurigheid.
• Vision Transformer: 96,8% nauwkeurigheid.

Statistische analyse (gepaarde t-toets en ANOVA) suggereerde dat de CNN-LSTM significant beter presteerde dan de baseline CNN, en dat de Vision Transformer een significant hogere nauwkeurigheid behaalde dan de CNN. Het artikel merkt echter expliciet op dat deze waarden illustratief zijn en bedoeld zijn om de evaluatieprocedure te demonstreren; het zijn geen definitieve experimentele resultaten uit een grootschalige geannoteerde dataset. De verwarringsmatrix-analyse gaf aan dat hoewel de meeste swara-klassen correct werden geïdentificeerd, er incidentele misclassificaties optraden tussen akoestisch gelijkaardige gamakas (bijv. Kampita en Nokku) vanwege hun vergelijkbare toonhoogtemodulatie-kenmerken.

Betekenis en Claims
Het artikel positioneert dit werk als een methodologisch fundament in plaats van een definitieve oplossing, waarbij de nadruk ligt op de noodzaak van toekomstige validatie met grotere, deskundig geannoteerde datasets. De betekenis ligt in:

• Adresseren van een Onderzoeksgat: Het richt zich specifiek op de fijnmazige herkenning van swaras en gamakas in instrumentale Carnatic muziek, een gebied dat voorheen werd overschaduwd door raga-identificatie en vocale analyse.
• Methodologische Verschuiving: Door gebruik te maken van spectrogram-gebaseerde deep learning, vermindert het framework de afhankelijkheid van handmatig ontworkte akoestische beschrijvers, waardoor het model niet-lineaire akoestische kenmerken en de inherente continue toonhoogtevariaties van de Veena kan leren.
• Praktische Toepassingen: Het framework wordt voorgesteld als basis voor automatische muziektranscriptie, digitale archivering van Carnatic muziek, intelligente muziekbegeleidingssystemen, hulpmiddelen voor artiestenondersteuning en geavanceerde Music Information Retrieval (MIR).
• Toekomstige Schaalbaarheid: Het modulaire ontwerp maakt de integratie van toekomstige ontwikkelingen mogelijk, waaronder hybride architecturen, self-supervised learning en multimodale analyse (bijv. het combineren van audio met video of vingerposities).

De auteurs concluderen dat hoewel het framework een systematische aanpak biedt voor het analyseren van Veena-uitvoeringen, de uiteindelijke effectiviteit ervan afhangt van een rigoureuze experimentele implementatie en de beschikbaarheid van uitgebreide, diverse datasets die verschillende uitvoerders en speelstijlen vertegenwoordigen.