⚡ electrical engineering

Velocity Prediction in Automatic Guitar Transcription

Dit artikel presenteert een methodologie voor automatische gitaartranscriptie die succesvol de aanslaggevoeligheid van noten voorspelt door een model voor te trainen op synthetische data gegenereerd met virtuele instrumenten en vervolgens die gewichten over te dragen naar een model dat getraind is op echte gitaaraudio, waarmee een state-of-the-art transcriptieprestatie wordt bereikt samen met de mogelijkheid tot het voorspellen van de aanslaggevoeligheid.

Oorspronkelijke auteurs: Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jackson Loth, Xavier Riley, Simon Dixon, Emmanouil Benetos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die naar een gitaarliedje kan luisteren en de bladmuziek voor je kan uitschrijven. Dit wordt "Automatic Guitar Transcription" genoemd. Lange tijd waren deze robots erg goed in het uitzoeken welke noten er werden gespeeld (zoals een "C" of een "E"), maar ze waren verschrikkelijk in het uitzoeken hoe hard de gitarist de snaren aansloeg.

In de wereld van digitale muziek wordt "hoe hard je slaat" velocity genoemd. Op een piano is dit makkelijk te meten, omdat de computer precies weet hoe snel een toets wordt ingedrukt. Maar op een gitaar is het alsof je probeert te raden hoe hard iemand tegen een voetbal heeft getrapt door alleen naar de dreun te luisteren — het is vaag, en er is geen standaard manier om het te meten. Daarom negeert de meeste robots die gitaartranscripties gewoon.

Dit artikel introduceert een slimme truc om een robot te leren de "velocity" (of intensiteit) van een gitaar te begrijpen, zonder dat daar een speciale, dure gitaar voor nodig is die de kracht meet.

Het Probleem: Geen Gebruikershandleiding

Om een robot iets te leren, heb je meestal een enorme berg voorbeelden nodig waarbij het antwoord al bekend is (zoals een antwoordmodel van een leraar). Voor een piano hebben we die antwoordmodellen. Voor de gitaar hebben we die niet. We hebben opnames van echte gitaristen, maar we weten niet de exacte "velocity"-cijfers van elke noot die ze speelden.

De Oplossing: De "Virtuele Gitaar" Simulator

De onderzoekers besloten eerst een trainingssimulator te boulen in plaats van echte opnames te gebruiken.

De Simulator: Ze gebruikten computersoftware (virtuele instrumenten) die fungeert als een gitaar. Ze zeiden tegen de computer: "Speel deze noot met velocity 50," en de computer genereerde een geluidsbestand. Omdat de computer het geluid genereerde, kende hij het exacte "velocity"-getal voor elke enkele noot.
De Eerste Les: Ze leerden hun robotmodel met deze nep, synthetische data. De robot leerde naar de geluidsgolven te kijken en te raden: "Ah, dit klinkt als een velocity van 50."
De Overdracht: Zodra de robot het concept van intensiteit begreep van de nepdata, namen ze dat specifieke deel van zijn brein (de "velocity weights") en verplaatsten dit naar een nieuw model.
De Echte Les: Daarna leerden ze dit nieuwe model met echte opnames van echte gitaristen (uit datasets zoals GAPS en GOAT). Ze zeiden tegen de robot: "Vergeet de nepgetallen nu; leer gewoon de echte noten en snaren te herkennen." Maar ze hielden het "velocity-brein" dat ze in stap 2 hadden geleerd, bevroren op zijn plaats.

Denk aan het leren van een student hoe hij moet rijden. Eerst laat je hem oefenen op een rij-simulator waar je precies weet hoe hard hij gaat. Zodra hij het concept van snelheid en remmen begrijpt, zet je hem in een echte auto. Je hoeft hem dan niet meer te vertellen hoe snel hij gaat; hij heeft al het "gevoel" voor het en hij hoeft nu alleen nog maar te leren hoe hij de echte weg moet aanpakken.

Wat Hebben Ze Gevonden?

De onderzoekers testten hun robot op twee manieren:

1. Kan het de intensiteit raden op de nepdata?
Ja, en het was erg goed in. Wanneer getest op de synthetische data (waar het "juiste" antwoord bekend was), maakte de robot zeer kleine fouten vergeleken met een robot die die speciale training niet had gekregen. Het slaagde erin de "persoonlijkheid" van de virtuele gitaar te leren kennen.

2. Helpt dit om echte gitaarliedjes te transcriberen?
Dit is het lastige deel. Omdat we geen "juist antwoordmodel" hebben voor de echte gitaar-intensiteit, konden ze niet bewijzen dat de robot het exacte juiste getal raadt voor echte liedjes. Ze ontdekten echter een klein bijvoordeel:

De robot die de "velocity-training" had gehad, was iets beter in het uitzoeken wanneer de noten begonnen en stopten (de timing) vergeleken met de robot die die training niet had.
De verbetering was minimaal (ongeveer 0,1%), maar hij was er wel. Het is alsof je zegt: "Weten hoe hard de bal werd getrapt, hielp de robot om het pad van de bal een klein beetje beter in te schatten."

De Kern van het Verhaal

Het artikel beweert dat ze succesvol het eerste gitaartranscriptiemodel hebben gebouwd dat "velocity" (intensiteit) kan voorspellen. Dit deden ze door:

Een nepdataset te maken waar de intensiteitsgetallen bekend waren.
Het model op deze nepdata te trainen.
Die kennis over te dragen naar een model dat getraind is op echte gitaar-audio.

De Beperkingen:
De auteurs zijn eerlijk over de gebreken. Omdat "velocity" op een gitaar geen hard getal is zoals bij een piano, kunnen ze niet bewijzen dat hun robot 100% juist is over de intensiteit van echte liedjes. Ze zijn in feite aan het raden op basis van hoe hard en helder de noot klinkt, wat een goede benadering is, maar geen perfecte meting.

Kortom, ze hebben een robot geleerd om het "gevoel" van de gitaar-intensiteit te ervaren via een videogame-simulator, en dat "gevoel" hielp de robot om het echte spel net een klein beetje beter te spelen.

Technische Samenvatting: Velocity-voorspelling in Automatische Gitaartranscriptie

Probleemstelling
Automatische Muziektranscriptie (AMT) heeft aanzienlijk succes behaald in polyfone toonhoogtetranscriptie voor diverse instrumenten, waaronder de gitaar. Echter, de voorspelling van de velocity (intensiteit/dynamiek) van een noot blijft onderbelicht in Automatische Gitaartranscriptie (AGT). In tegenstelling tot de piano, waar velocity een nauwkeurig meetbare fysieke waarde is (bijv. via een Disklavier), is de velocity van een gitaar een abstract concept dat gerelateerd is aan zowel luidheid als timbre, en dat geen gestandaardiseerde definitie of grondwaarheid-labels (ground-truth labels) heeft in bestaande datasets. Bijgevolg negeren de meeste AGT-modellen velocity om zich uitsluitend te concentreren op toonhoogte, onset en offset. De primaire uitdaging is het ontbreken van real-world gitaardatasets die nauwkeurige velocity-annotaties bevatten, wat de training en evaluatie van deep learning-modellen voor deze taak belemmert.

Methodologie
De auteurs stellen een tweestaps trainingsmethodologie voor die gebruikmaakt van synthetische data om het gebrek aan echte velocity-labels te overbruggen:

Generatie van Synthetische Data:
- De auteurs maakten gebruik van de FrançoisLeduc-dataset, die gealigneerde echte gitaaraudio en MIDI-annotaties bevat.
- Zij schatten de velocity-waarden voor elke noot door audiofragmenten te isoleren, banddoorlaatfilters toe te passen gecentreerd op fundamentele frequenties en harmonieken, en de totale energie te berekenen met exponentieel afnemende gewichten.
- Deze geschatte waarden werden genormaliseerd naar het MIDI-bereik (0–127) en toegepast op de MIDI-annotaties.
- Synthetische audio werd gerenderd met vijf verschillende timbres van drie gitaar virtuele instrumenten (Native Instruments Session Guitarist en Straight Ahead Samples), wat resulteerde in ongeveer 20 uur aan trainingsdata waarbij de "ware" velocity wordt gedefinieerd door de interne velocity-naar-timbre mapping van het virtuele instrument.
Modelarchitectuur en Trainingsstrategie:
- Het basismodel is een Convolutional Recurrent Neural Network (CRNN), aangepast van het High Resolution Piano Transcription model (Kong et al.), ontworpen om onset, offset, frame-activatie en velocity te voorspellen over 10-seconden log mel-spectrogrammen.
- Fase 1 (Pretraining): Het model wordt getraind op de synthetische dataset met behulp van een loss-functie ( $L_A$ ) die termen bevat voor onset, offset, frame en velocity. Het doel is om de specifieke velocity-curve te leren die door de virtuele instrumenten wordt gedefinieerd.
- Fase 2 (Fine-tuning): De gewichten van de velocity-submodule van het Fase 1-model worden overgedragen, geladen en bevroren (frozen). Het model wordt vervolgens gefinetuned op echte gitaardatasets (GAPS en GOAT) met behulp van een aangepaste loss-functie ( $L_B$ ) die de velocity-term uitsluit. Dit voorkomt dat het model onjuiste velocity-patronen leert van echte audio (die doorgaans constante velocity-labels hebben), terwijl de geleerde capaciteit voor velocity-voorspelling behouden blijft.
- Data-augmentatie (peak filtering, reverb, impulse responses) werd toegepast tijdens de training.

Belangrijkste Bijdragen

Eerste AGT Velocity-model: Naar weten van de auteurs is dit het eerste werk dat gitaartranscriptie uitbreidt naar de inclusie van velocity-voorspelling.
Synthetic-to-Real Transfer: Een nieuwe methodologie voor het trainen van velocity-voorspelling op gitaar door te pretrainen op synthetische data met gedefinieerde velocity-curves en die gewichten te transfereren naar een model dat getraind is op echte audio.
Evaluatiekader: De vestiging van evaluatieprotocollen voor gitaar-velocity met behulp van synthetische testsplits (song-based en timbre-based) om generalisatie te beoordelen, gezien het gebrek aan grondwaarheid in echte data.

Resultaten

Velocity-voorspelling: Op de synthetische FrançoisLeduc-dataset presteerde het voorgestelde model aanzienlijk beter dan een baseline (zonder gepretrainde velocity-gewichten).
- Song Split: De Mean Absolute Error (MAE) verminderde van 32,39 (baseline) naar 7,04.
- Timbre Split: De MAE verminderde van 33,59 naar 11,53.
- Het model toonde het vermogen om te generaliseren naar onbekende liedjes en, in mindere mate, onbekende timbres, hoewel de prestaties licht afnamen wanneer de definitie van velocity tussen de trainings- en test-virtuele instrumenten verschilde.
Noot-transcriptie (Onset/Offset): De integratie van gepretrainde velocity-gewichten leverde een marginale verbetering op voor de noot-transcriptie metrieken (Precision, Recall, F1) op echte datasets (GuitarSet en EGDB).
- De verbeteringen waren ongeveer 0,1% over de metrieken heen.
- Er werd statistische significantie gevonden (gepaarde t-toets) voor GuitarSet-metrieken, maar dit was inconsistent voor EGDB (significant voor precision, maar niet voor recall of F1).
- De auteurs merken op dat de omvang van de verbetering klein is en niet altijd significant is, afhankelijk van de testdata.

Betekenis en Claims
Het artikel beweert dat het voorgestelde model resultaten bereikt die vergelijkbaar zijn met de state-of-the-art in gitaartranscriptie, terwijl het succesvol de mogelijkheid tot velocity-voorspelling heeft toegevoegd. De auteurs benadrukken dat de primaire waarde van dit werk de succesvolle demonstratie is van een methodologie om velocity te voorspellen bij afwezigheid van grondwaarheid-labels.

De auteurs blijven bescheiden over de impact op noot-transcriptie en erkennen dat de prestatiewinst minimaal is en dat toekomstige verbeteringen wellicht beter bereikt kunnen worden door architecturale wijzigingen of data-augmentatie in plaats van enkel door velocity-voorspelling. Zij concluderen dat hoewel de huidige aanpak afhankelijk is van synthetische definities van velocity, het nieuwe mogelijkheden opent voor expressieve analyse en educatieve tools in Music Information Retrieval (MIR), mits toekomstig werk de fundamentele beperking aanpakt van het definiëren en meten van velocity in echte gitaarprestaties.

Het Probleem: Geen Gebruikershandleiding

De Oplossing: De "Virtuele Gitaar" Simulator

Wat Hebben Ze Gevonden?

De Kern van het Verhaal

Meer zoals dit