VioPTT: Violin Technique-Aware Transcription from Synthetic Data Augmentation

Technische Samenvatting: VIOPTT – Violin Technique-Aware Transcription from Synthetic Data Augmentation

Probleemstelling
Automatische muziektranscriptie (AMT) heeft aanzienlijke vooruitgang geboekt voor instrumenten zoals piano en gitaar, maar de meeste bestaande modellen blijven beperkt tot het transcriberen van toonhoogte en timing. Ze negeren grotendeels expressieve, instrumentspecifieke nuances, met name speeltechnieken. Voor de viool zijn technieken zoals pizzicato, spiccato en flageolet integraal aan het timbrale palet en de emotionele expressiviteit. Het annoteren van deze attributen is echter kostbaar, vereist deskundige kennis en heeft de creatie van grootschalige datasets buiten gelabelde enkelvoudige noten gehinderd. Gevolgelijk richten huidige viooltranscriptiesystemen zich op toonhoogtenauwkeurigheid, waardoor articulatie en speeltechniek grotendeels onverkend blijven.

Methodologie
De auteurs stellen VioPTT (Violin Playing Technique-aware Transcription) voor, een lichtgewicht cascade-model dat is ontworpen om gezamenlijk toonhoogte, onset, offset en speeltechniek te voorspellen. De architectuur bestaat uit twee primaire componenten:

1. Transcriptiemodule: Aangepast van het hoogresolutie piano-model van Kong et al., werkt deze module op frame-niveau. Het maakt gebruik van een Convolutional Recurrent Neural Network (CRNN) bestaande uit vier convolutionele blokken en twee bidirectionele GRU-lagen. Het voorspelt onset, offset en velocity als regressiedoelen, en nootactivatie als een binaire doelstelling.
2. Articulatiemodule: Deze module verenigt akoestische en transcriptiekenmerken voor techniekclassificatie op notenniveau. Het verwerkt het invoer log-mel-spectrogram via convolutionele blokken om een 128-dimensionale akoestische embedding te genereren. Parallel hieraan worden kenmerken uit de transcriptiemodule (onset, offset, frame, velocity) geprojecteerd in een tweede 128-dimensionale embedding. Deze worden geconcateneerd en door een fusielaag gestuurd om logits te produceren over vijf klassen (vier specifieke technieken plus een "geen-techniek"-klasse).

Datastrategie en Augmentatie
Om het tekort aan handmatig gelabelde techniekdata te omzeilen, introduceren de auteurs MOSA-VPT, een nieuwe, hoogwaardige synthetische dataset.

• Synthese-pipeline: Met behulp van het DAWDreamer-framework en het Synchron Solo Violin I VST-instrument synthetiseren de auteurs 76 uur aan audio-MIDI-paren. De pipeline controleert automatisch key switches en continuous controllers (CC's) om prestaties in détaché, flageolet, spiccato en pizzicato te renderen.
• Augmentatie: Om de robuustheid te verbeteren, ondergaat de trainingsdata pitch shifting (±0,1 semitonen), gain boosting, gerandomiseerde banddoorlaatfiltering en reverberatie.
• Trainingsdata: Het model wordt getraind op de MOSA-dataset (real-world solo-performances) voor toonhoogte/timing en MOSA-VPT (synthetisch) voor techniekclassificatie.

Belangrijkste Bijdragen

1. Verenigd Framework: VioPTT is het eerste model dat viooltranscriptie en speeltechniekvoorspelling gezamenlijk binnen één framework combineert.
2. Synthetische Dataset (MOSA-VPT): De release van een grootschalige, annotatievrije synthetische dataset die het mogelijk maakt om te trainen op techniek-gealigneerde data zonder deskundige handmatige annotatie.
3. Generalisatie: De demonstratie dat een model dat primair op synthetische data is getraind, succesvol kan generaliseren naar real-world vioolopnames voor techniekclassificatie.

Experimentele Resultaten
Het model werd geëvalueerd op toonhoogte/timing transcriptie (URMP en Bach10 datasets) en techniekclassificatie (RWC dataset).

• Toonhoogte en Timing: Op de URMP-dataset behaalde VioPTT state-of-the-art (SOTA) Recall (83,6) en F1-no-offset (93,1), wat de prestaties van het bestaande SOTA vioolmodel MUSC evenaart in Precision en noot-niveau F1. Op de Bach10-dataset behaalde het model dat getraind is met piano-pretraining en fine-tuning de beste prestaties over alle metrieken. De auteurs merken op dat transfer learning van piano beperkte winst opleverde wanneer er voldoende domeinspecifieke data beschikbaar was, waarschijnlijk door de timbreverschillen.
• Techniekclassificatie: Op de RWC-dataset behaalde het volledige model een macro accuracy van 77,22%.
  • Ablatieonderzoeken: Het verwijderen van specifieke kenmerken leidde tot verminderde prestaties. Het uitsluiten van offset-informatie veroorzaakte de grootste daling (naar 59,71%). Velocity werd gevonden als een bepalend kenmerk voor pizzicato (de nauwkeurigheid daalde naar bijna nul zonder het), terwijl timing-kenmerken cruciaal waren voor spiccato.
  • Vergelijking: VioPTT presteerde beter dan MERTech (een state-of-the-art multi-label techniekmodel) in macro accuracy, hoewel MERTech een hogere nauwkeurigheid behaalde specifal voor flageolet.
  • Kenmerkafhankelijkheden: De studie onthulde dat technieken verschillende afhankelijkheden hebben van transcriptiekenmerken; détaché en spiccato leunen zwaar op frame- en onset-kenmerken, terwijl flageolet-classificatie wordt gedomineerd door harmonische kenmerken.

Betekenis en Claims
Het artikel claimt dat VioPTT een rijkere, meer expressieve representatie van vioolprestaties biedt, waardoor AMT wordt uitgebreid van eenvoudige noottranscriptie naar het vastleggen van de volledige diepte van muzikale expressie. Een centrale bevinding is de haalbaarheid van het gebruik van synthetische data als een proxy voor techniekannotaties om modellen te trainen die generaliseren naar real-world audio. De auteurs stellen dat deze aanpak de bottleneck van kostbare deskundige annotaties elimineert, wat de ontwikkeling van grootschalige datasets voor instrumentspecifieke nuances mogelijk maakt. Toekomstig werk wordt voorgesteld om dit syntheseframework uit te breiden naar een breder scala aan technieken en andere strijkinstrumenten.