Technische Samenvatting: MuScriptor – Een Open Model voor Multi-Instrument Muziektranscriptie

1. Probleemstelling

Automatische Muziektranscriptie (AMT) streeft ernaar om audio-opnames om te zetten in symbolische representaties (meestal MIDI). Hoewel er aanzienlijke vooruitgang is geboekt voor scenario's met één instrument (bijv. piano, gitaar, drums), blijft algemene transcriptie voor multi-instrumentale, real-world muziekmixen een kritieke flessenhals. Bestaande state-of-the-art modellen, zoals MT3 en zijn afgeleiden, vertrouwen vaak zwaar op synthetische trainingsdata. Hoewel deze modellen goed presteren op synthetische testsets, lijden ze onder een significante domeinverschuiving wanneer ze worden toegepast op complexe, real-world producties met diverse timbres, overlappende frequenties en audio-effecten (bijv. vervorming/distortie). Gevolgd daaruit zijn huidige multi-instrumentale AMT-systemen vaak te foutgevoelig voor downstream-toepassingen in musicologie, generatieve modellering of music information retrieval (MIR).

2. Methodologie

2.1 Modelarchitectuur

MuScriptor maakt gebruik van een decoder-only Transformer architectuur, waarbij complexe encoder-decoder of hiërarchische aandachtstructuren worden vermeden ten gunste van een eenvoudig maar effectief ontwerp.

• Inputs: Het model accepteert een 5-seconden mel-spectrogram (afgeleid van 16kHz mono audio via STFT met 2048 nFFT, 160 hop size, en 512 mel bins) en een optionele lijst met instrumenten.
• Conditioning: De aanwezigheid van instrumenten wordt verstrekt als een globaal conditioning-signaal (de volledige track-instrumentenlijst) in plaats van lokale segmentdata. Deze instrument-embeddings worden geconcateneerd met de spectrogram-projectie om te dienen als prefix conditioning voor de Transformer.
• Tokenisatie: Note-annotaties worden getokeniseerd op een vergelijkbare wijze als MT3, waarbij 128 MIDI-instrumenten worden toegewezen aan 36 subgroepen volgens de MT3_FULL_PLUS taxonomie.
• Inference: Transcripties worden gegenereerd via autoregressieve decodering. Het systeem ondersteunt Classifier-Free Guidance (CFG) met een sterkte van $\alpha_{CFG} = 2$ om de kwaliteit van de generatie te verbeteren.

2.2 Datastrategie

De trainingspipeline maakt gebruik van een driestapsbenadering die synthetische en real-world data combineert:

1. Synthetische Pre-training ($D_{Synth}$): Een dataset van 1,45 miljoen MIDI-bestanden wordt on-the-fly omgezet naar audio. De pipeline past willekeurige augmentaties toe (pitch shifting, tempo-wijzigingen, velocity-aanpassingen, instrument-randomisatie) en synthetiseert audio met een pool van 250+ soundfonts met willekeurige detuning. Dit creëert een oneindige variëteit aan audio-realisaties van de symbolische data.
2. Real Data Fine-tuning ($D_{Real}$): Het model wordt gefinetuned op een gecureerde dataset van 170.000 real-world muziekopnames (ongeveer 11.000 uur) die uiteenlopende genres beslaan van klassiek tot heavy metal. Deze tracks bevatten uitgelijnde note-annotaties verkregen via audio-symbolische synchronisatie (gebruikmakend van lineaire interpolatie en dynamic time warping).
3. Reinforcement Learning Post-training ($D_{RL}$): Een kleine subset van 300 hoogwaardige, handmatig geverifieerde tracks wordt gebruikt voor post-training. Het model maakt gebruik van een Group Relative Policy Optimization (GRPO) algoritme.
   • Voor elke batch genereert het model $G=8$ onafhankelijke transcripties.
   • Beloningen worden berekend als de som van de Onset, Frame, en Offset F1-scores tegenover de grondwaarheid (ground truth).
   • Advantages worden berekend door beloningen binnen de groep te normaliseren, en het model wordt bijgewerkt via een REINFORCE-objectief gewogen door deze advantages.

2.3 Evaluatiemetrieken

Prestaties worden gemeten met standaard MIR-metrieken uit de mir_eval bibliotheek:

• Onset F1: Pitch-match met een $\pm 50$ ms onset tolerantie.
• Offset F1: Inclusief onset-criteria plus een offset tolerantie van $\max(50\text{ms}, 0.2 \times d_{ref})$.
• Frame F1: Frame-wise overlap bij een resolutie van 62,5 ms.
• Multi F1: De meest strikte metriek, die correcte pitch, timing en instrumentclassificatie vereist.
• Noot: Overlappende noten van hetzelfde instrument en dezelfde pitch worden vóór evaluatie uit de testset verwijderd vanwege beperkingen in de tokenisatie.

3. Belangrijkste Bijdragen

1. MuScriptor Model: De release van een open-weight, algemeen bruikbaar multi-instrumentaal transcriptiemodel (beschikbaar in groottes van 60M tot 1,3B parameters) dat in staat is diverse muzikale genres aan te kunnen.
2. Grootschalige Dataset: De curatie van een uitgebreide dataset bestaande uit 170k real-world opnames met uitgelijnde annotaties en 1,45M synthetische MIDI-bestanden, wat het tekort aan geannoteerde multi-instrumentale data aanpakt.
3. Analyse van Synthetische Pre-training: Een vergelijkende studie die aantoont dat hoewel synthetische data onvoldoende is voor een op zichzelf staande algemene transcriptie, het zeer effectief is voor pre-training, vooral wanneer real-world data schaars is.
4. Reinforcement Learning Alignment: De toepassing van een GRPO-achtig algoritme om het model af te stemmen op hoogwaardige transcripties, een techniek die voorheen onontdekt was in de AMT-literatuur.
5. Instrument-geconditioneerde Transcriptie: De introductie van optionele instrument-conditioning, waardoor gebruikers de output kunnen aanpassen (bijv. het transcriberen van specifieke instrumenten) en voorspellingen over segmentgrenzen heen te stabiliseren.

4. Experimentele Resultaten

4.1 Trainingsfasen en Prestaties

Experimenten op het 1,3B parameter model (geëvalueerd op een onafhankelijke testset $D_{Test}$) tonen een duidelijke progressie in prestaties:

• Alleen Synthetisch: Behaalt een competitieve Frame F1 (51,3) maar een slechte Multi F1 (15,2) en Onset F1 (26,1), wat het domeinverschil bevestigt.
• Synthetisch + Real ($D_{Synth} + D_{Real}$): Fine-tuning op real-world data levert een enorme verbetering op, waarbij de Multi F1 stijgt naar 41,7 en de Onset F1 naar 54,4.
• Volledige Pipeline ($D_{Synth} + D_{Real} + D_{RL}$): De toevoeging van RL post-training verhoogt de prestaties verder, met een Multi F1 van 47,8 en een Onset F1 van 60,4 (met $\alpha_{CFG}=2$).

4.2 Vergelijkende Analyse

• vs. State-of-the-Art: MuScriptor presteert significant beter dan de YourMT3+ baseline (een sterk SOTA-model) over meerdere externe benchmark-datasets (bijv. Bach10, Dagstuhl ChoirSet, RWC). Zo verbetert de Frame F1 op de Dagstuhl ChoirSet van 51,0 (YourMT3+) naar 80,7 (MuScriptor).
• Impact van Synthetische Pre-training: Analyse toont aan dat pre-training het meest voordelig is wanneer real-world data beperkt is (bijv. bij gebruik van slechts 1% van $D_{Real}$, verbetert pre-training de Offset F1 van 9,9 naar 33,4). Echter, naarmate het volume aan real-world data toeneemt, neemt de relatieve winst van pre-training af, hoewel het nog steeds een lichte voorsprong biedt bij 100% data-gebruik.
• Model Scaling: Prestaties schalen met de modelgrootte; het 60M parameter model behaalt een Frame F1 van 65,7, terwijl het 1,3B model 68,7 bereikt, wat wijst op toepasbaarheid onder verschillende computationele beperkingen.
• Input Representaties: Mel-spectrogrammen presteerden beter dan alternatieve inputs zoals Magnitude CQT, Encodec codecs en MERT embeddings, wat suggereert dat representaties die dichter bij de ruwe signaal-eigenschappen liggen, optimaal zijn voor deze taak.

5. Betekenis en Claims

Het artikel claimt dat MuScriptor het eerste effectieve open-weight model is voor multi-instrumentale muziektranscriptie over een breed scala aan genres.

De auteurs benadrukken dat waar eerdere benaderingen vertrouwden op architecturale verfijningen (bijv. hiërarchische aandacht, MoE), hun succes primair voortkomt uit de schaal en het type data—specifiek de strategische combinatie van grootschalige synthetische pre-training, uitgebreide real-world fine-tuning en RL-gebaseerde alignment. Het model wordt gepresenteerd als een fundamenteel hulpmiddel voor muzikanten, musicologen en onderzoekers in MIR en generatieve modellering, wat taken mogelijk maakt die voorheen werden gehinderd door het gebrek aan nauwkeurige transcriptietools voor complexe mixen. De auteurs merken bescheiden op dat er beperkingen blijven bestaan met betrekking tot de tokenisatie van overlappende noten van hetzelfde instrument en suggereren dat toekomstig werk de instrument-vocabulaire en segmentgroottes zou kunnen uitbreiden.