🤖 machine learning

PianoCoRe: Combined and Refined Piano MIDI Dataset

Dit artikel introduceert PianoCoRe, een groot, verenigd en verfijnd piano-MIDI-dataset met meer dan 250.000 uitvoeringen met noten-niveau-uitlijningen, vergezeld van nieuwe tools voor kwaliteitsclassificatie en uitlijnverfijning om expressieve uitvoeringsmodellering en onderzoek naar muziek-informatieretrieval te bevorderen.

Oorspronkelijke auteurs: Ilya Borovik

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ilya Borovik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren piano spelen met menselijke emotie. Hiervoor heb je twee dingen nodig: de partituur (de instructies) en een opname van een echt persoon die het speelt (de expressie).

Lange tijd hadden onderzoekers een probleem: ze hadden óf een berg partituren zonder opnames, óf duizenden opnames zonder partituren, óf de twee kwamen niet correct overeen. Het was alsof je een bibliotheek met recepten had maar geen foto's van de afgemaakte gerechten, of een miljoen foto's van gerechten maar geen idee welke ingrediënten er waren gebruikt.

Dit artikel introduceert PianoCoRe, een enorme nieuwe "bibliotheek" die deze rommel oplost. Hieronder wordt uitgelegd hoe het werkt, simpelweg opgesplitst:

1. De Grote Opruiming (Het "Bibliothecaris"-werk)

De auteur, Ilya Borovik, nam verschillende bestaande stapels pianogegevens van over het internet en smeerde ze samen. Maar in plaats van ze gewoon in een hoop te dumpen, trad hij op als een super-georganiseerde bibliothecaris:

Afstemmen: Hij gebruikte een slim computerprogramma om de partituren te koppelen aan de juiste opnames, zelfs als de bestandsnamen rommelig of verschillend waren.
Schoonmaken: Hij vond en verwijderde "dubbelingen" (zoals het vinden van twee kopieën van hetzelfde nummer gespeeld door dezelfde persoon en er slechts één van houden).
Kwaliteitscontrole: Hij bouwde een "robotinspecteur" (een classifier) die naar de opnames kijkt en zegt: "Deze is onbruikbaar", "Deze is slechts een computer die de partituur robotachtig afspeelt" of "Deze is een uitstekende menselijke uitvoering". Hij gooide de slechte eruit.

2. De "RAScoP"-pijplijn (De "Redacteur")

Soms is de afstemming tussen de partituur en de opname niet perfect. Misschien is in de opname een herhalingsbordje overgeslagen, of is de computer in de war geraakt en een noot toegevoegd die er niet hoorde te staan.
De auteur creëerde een tool genaamd RAScoP (Refined Alignment for Scores and Performances). Denk hierbij aan een slimme redacteur:

Het vindt de "glitches" waar het timing vreemd is.
Het vult de gaten op waar de opname een noot mist (door te raden wat de noot had moeten zijn op basis van de omringende muziek).
Het zorgt ervoor dat de partituur en de opname perfect gesynchroniseerd zijn, noot voor noot.

3. Het Resultaat: Een Gelaagde Bibliotheek

Het eindresultaat is een enorm dataset genaamd PianoCoRe, dat meer dan 250.000 uitvoeringen bevat van 5.600 stukken van 483 componisten. Dat zijn meer dan 21.000 uur muziek!

Om het bruikbaar te maken voor verschillende mensen, heeft de auteur het georganiseerd in "lagen" (zoals verschillende afdelingen in een bibliotheek):

PianoCoRe-C (De Hele Collectie): De enorme, ruwe mix van alles. Goed voor big data-projecten.
PianoCoRe-B (De Schone Versie): De dubbelingen en onbruikbare bestanden zijn weg. Dit is de "veilige" versie voor het trainen van AI-modellen.
PianoCoRe-A (De Perfect Afgestemde Versie): De opnames die perfect overeenkomen met de partituur, waarbij de "redacteur" (RAScoP) eventuele timingfouten heeft gecorrigeerd. Dit is de gouden standaard voor het leren van robots om expressief te spelen.

4. Heeft Het Gewerkt? (Het Bewijs)

De auteur testte deze nieuwe bibliotheek door een robot piano te laten spelen.

De Test: Hij leerde robots met kleine, rommelige datasets en vergeleek ze met een robot die getraind was op zijn nieuwe, schone, enorme dataset.
Het Resultaat: De robot die getraind was op PianoCoRe was veel beter in het spelen met menselijke timing en emotie. Het raakte minder snel in de war bij het spelen van nieuwe nummers die het nog nooit eerder had gezien.

Waarom Dit Belangrijk Is

Voorheen moesten onderzoekers maandenlang hun eigen data opschonen, vaak eindigend met kleine, rommelige datasets. PianoCoRe geeft hen een klaar-voor-gebruik, hoogwaardige basis. Het is alsof je een chef-kok een voorverpakt, vooraf gesneden en gewassen doos met ingrediënten geeft, met perfecte maten, in plaats van een zak rauwe, modderige groenten.

Belangrijke Opmerking: De auteur was zeer voorzichtig om alleen muziek op te nemen die in het "publieke domein" valt (oud genoeg dat het auteursrecht is verlopen), zodat deze bibliotheek legaal en veilig is voor iedereen om voor altijd te gebruiken.

Kortom: PianoCoRe is de ultieme, opgeschoonde, perfect afgestemde bibliotheek van pianomuziek die computers helpt om als mensen te leren spelen.

Technische Samenvatting: PianoCoRe: Een Gecombineerd en Ge verfijnd Piano MIDI Dataset

1. Probleemstelling

Symbolische muziekdatasets met gekoppelde partituren en uitvoeringen zijn cruciaal voor taken op het gebied van Music Information Retrieval (MIR), met name voor het modelleren van expressieve uitvoeringsweergave. Bestaande bronnen lijden echter onder aanzienlijke beperkingen:

Fragmentatie: Hoogwaardige opgenomen datasets (bijv. MAESTRO, ASAP) bieden precisie maar missen schaal en stijldiversiteit. Omgekeerd bieden grote, getranscribeerde datasets (bijv. GiantMIDI-Piano, Aria-MIDI) schaal, maar bevatten vaak transcriptiefouten, missen nauwkeurige noten-niveau-uitlijningen en lijden onder inconsistente metadata.
Incompatibiliteit: Incompatibele naamgevingsschema's en metadatastandaarden maken het combineren van datasets moeilijk zonder risico op informatielekken.
Kwaliteitsproblemen: Getranscribeerde MIDI-bestanden bevatten vaak corrupte data, "partituur-achtige" expressieloze transcripties, duplicaten en temporele ruis (bijv. jitter bij de aanvang van noten, oneindige pitch-artefacten).
Juridische Beperkingen: Veel bestaande datasets bevatten auteursrechtelijk beschermd materiaal, wat hun langetermijn academische bruikbaarheid beperkt.

Er is een kritieke lacune voor een geünificeerde, grootschalige bron die de schaal van getranscribeerde data combineert met de precisie van opgenomen uitvoeringen, alles juridisch duurzaam en afgestemd op partituren.

2. Methodologie

Het artikel presenteert PianoCoRe, een dataset die is opgebouwd via een meerstaps curatie- en verfijningspijplijn.

2.1 Datacollectie en Koppeling

De dataset integreert vijf primaire open-source bronnen: ASAP, ATEPP, GiantMIDI-Piano, PERiScoPe en Aria-MIDI.

Juridische Filtering: Inhoud is beperkt tot werken in het publieke domein binnen de Europese Unie om juridische duurzaamheid te waarborgen.
Verwerking van Partituren: MusicXML-bestanden worden omgezet naar MIDI met de partitura bibliotheek. Dit omvat het ontvouwen van versieringen (trillers, mordenten), het uitbreiden van grace notes en het afhandelen van herhalingen (het creëren van zowel maximale als minimale versies).
Koppelstrategie: Een drie-traps pijplijn koppelt uitvoeringen aan partituren:
1. Selectie van Kandidaten: Filtering op basis van componistennaam, verhouding aantal noten ( $0.75 \le R_n \le 1.33$ ) en catalogus trefwoorden.
2. Noten Uitlijning: Gebruik van DualDTWNoteMatcher (van Parangonar) met Numba-geoptimaliseerde Dynamic Time Warping (DTW) om noten-niveau-uitlijningen te berekenen.
3. Verificatie: Een paar wordt geaccepteerd als de uitlijningrecall ( $R_a$ ) hoger is dan 0.7.

2.2 Kwaliteitsbeoordeling en Duplicaatverwijdering

Om de PianoCoRe-B subset te produceren, adresseren de auteurs duplicaten en kwaliteitsproblemen:

Duplicaatverwijdering: Een inhoudsgebaseerde heuristiek clusterd uitvoeringen met $\ge 50\%$ vergelijkbare notenaanvangs (binnen 50ms). Eén "leidende" file wordt behouden op basis van bronprioriteit.
MIDI Kwaliteitsclassificatie: Een 12-laags transformer-encoder (voorgetraind op Aria-MIDI) wordt getraind om MIDI-bestanden in vier categorieën te classificeren: Partituur (dood), Hoge Kwaliteit (HQ), Lage Kwaliteit (LQ) en Corrupt.
- Trainingsdata: Labels worden gegenereerd via een zachte heuristiek gebaseerd op uitlijningsverhoudingen ( $R'_a$ ). Synthetische corrupties (verwijdering van noten, jitter) worden gebruikt om de dataset in evenwicht te brengen.
- Prestatie: De classificator bereikt een macro F1-score van 89,1%, en onderscheidt effectief partituur-achtige transcripties van expressieve uitvoeringen.

2.3 Uitlijnverfijning (RAScoP)

Om de PianoCoRe-A/A* subsets te creëren, introduceren de auteurs RAScoP (Refined Alignment for Scores and Performances), een pijplijn om ruwe uitlijningen te reinigen:

Verwerking van Uitlijningsgaten: Verwijdert grote gebieden van schaarse of onzinnige uitlijningen (bijv. niet-uitgevoerde herhalingen) met een schuifvensterbenadering.
Aanvangsreiniging: Filtert intra-aanvangsafwijkingen (akkoordtiming) en corrigeert inter-aanvangsintervallen die onrealistische tempi impliceren (15–480 BPM). Het past de globale timing aan om te matchen met lokale temposchattingen.
Note Interpolatie: Lineair interpoleren van ontbrekende noten (verwijderingen) op basis van aangrenzende uitgevoerde noten, waarbij duur en velocity worden gemiddeld. Geïnterpoleerde noten worden gemarkeerd met MIDI-tekstmarkeringen.
Synchronisatie: Lijnt de beatstructuur van de uitvoering uit met de partituur (optioneel in de definitieve release om de originele timing te behouden).

3. Belangrijkste Bijdragen

PianoCoRe Dataset: Een geünificeerde collectie van 250.046 uitvoeringen van 5.625 stukken door 483 componisten, in totaal 21.763 uur. Het wordt uitgeleverd in gestaffelde subsets:
- PianoCoRe-C: De complete, gemengde-bron collectie.
- PianoCoRe-B: Een gedupliceerde, kwaliteitsbeoordeelde subset (214.092 uitvoeringen) voor grootschalige pre-training.
- PianoCoRe-A: Een subset met noten-uitlijning (157.207 uitvoeringen) met gereinigde uitlijningen.
- PianoCoRe-A:* Een subset met hoge zekerheid (130.275 uitvoeringen) met $\ge 85\%$ uitlijningrecall.
MIDI Kwaliteitsclassificatie: Een getraind model om corrupte en partituur-achtige transcripties te detecteren zonder grondwaarheid-audio of partituren te vereisen.
RAScoP Pijplijn: Een open-source algoritme voor het verfijnen van noten-uitlijningen, het reinigen van temporele uitschieters en het interpoleren van ontbrekende noten.
Juridische Duurzaamheid: De dataset is gecureerd om te voldoen aan EU-regelgeving voor het publieke domein, waardoor langetermijn toegankelijkheid wordt gewaarborgd.

4. Resultaten en Evaluatie

Het artikel valideert de dataset via een expressieve uitvoeringsweergavetaak met het PianoFlow model (conditional flow matching).

Trainingsconvergentie: Modellen getraind op grotere, verfijnde datasets (PianoCoRe-A) vertoonden vertraagde overfitting en lagere validatieverliezen vergeleken met modellen getraind op kleinere subsets (bijv. alleen ASAP) of onbewerkte data.
Unconditional Generatie: Modellen getraind op PianoCoRe-A toonden verbeterde robuustheid en hogere Pearson-correlaties met grondwaarheid-kenmerken (velocity, inter-aanvangsintervallen, articulatie) op ongezette testsets vergeleken met baselines.
Uitvoeringsvoortzetting: In een voortzettingstaak over vier verschillende bron-domeinen (ASAP, ATEPP, PERiScoPe, Aria-MIDI) bereikte het model getraind op de volledige PianoCoRe-A dataset de beste of tweede beste prestatie over alle domeinen, wat robuustheid aantoont tegen variërende data-distributies.
Invloed van Verfijning: Het gebruik van RAScoP (verwijdering van temporele ruis) bleek cruciaal; modellen getraind op ruwe uitlijningen zonder reiniging presteerden slechter op timing-kenmerken (IOI en OD).

5. Betekenis en Claims

Het artikel claimt dat PianoCoRe een "klaar-voor-gebruik fundament biedt voor de volgende generatie onderzoek naar expressieve piano-uitvoeringen". De betekenis ligt in:

Schaal en Diversiteit: Het biedt de grootste open-source collectie van noten-uitgelijnde partituur-uitvoeringsparen tot nu toe (157.207 uitvoeringen in PianoCoRe-A).
Kwaliteitscontrole: Door het integreren van een kwaliteitsclassificator en de RAScoP-pijplijn, adresseert het het "ruis"-probleem inherent aan grootschalige getranscribeerde datasets, waardoor het trainen van nauwkeurigere en robuustere modellen mogelijk wordt.
Reproduceerbaarheid: De gestaffelde structuur en geünificeerde metadata stellen onderzoekers in staat om niet-overlappende data-splitsen te creëren over eerder geïsoleerde datasets, wat reproduceerbaar onderzoek faciliteert.
Toegankelijkheid: De dataset is openbaar beschikbaar op Zenodo en Hugging Face onder een CC-BY-NC-SA 4.0 licentie, met code voor de pijplijn en classificator.

De auteurs merken beperkingen op, waaronder een scheefheid naar westerse klassieke repertoire, potentiële resterende fouten in bron-MusicXML-partituren, en het feit dat interpolatie momenteel geen sustainpedaal-effecten modelleert. Zij suggereren dat toekomstig werk deze methodologieën kan uitbreiden naar multi-instrument repertoire en gedetailleerdere annotaties.