🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

Dit artikel introduceert MulTTiPop, een dataset bestaande uit 572 diverse popmuzieksegmenten uitgelijnd met multitrack MIDI-opnames, die wordt gebruikt om de aanzienlijke prestatiekloven in state-of-the-art automatische muziektranscriptiemodellen te evalueren en aan te tonen.

Oorspronkelijke auteurs: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren muziek te lezen met het gehoor. Je wilt dat hij naar een volledige popsong luistert — drums, bas, gitaren, zang, allemaal gemengd door elkaar — en precies opschrijft wat elk afzonderlijk instrument speelt. Cool, toch? Maar hier is het probleem: tot nu toe hadden we geen goede "antwoordsleutel" om te controleren of de robot het wel goed deed. De meeste bestaande antwoordsleutels waren ofwel voor solo-piano (te makkelijk), werden door computers bedacht (te perfect), of bevatten alleen de hoofdmelodie en akkoorden (te simpel).

Maak kennis met MulTTiPop, een nieuwe dataset gemaakt door onderzoekers van Carnegie Mellon University om dit op te lossen. Denk aan MulTTiPop als een enorme playlist van 3,5 uur aan echte pophits van de jaren 1930 tot de jaren 2000, vergezeld door een "magische partituur" die je precies vertelt wat elk instrument doet, tot op de milliseconde nauwkeurig.

Het Grote Matchingsspel

Hoe hebben ze dit gebouwd? Het was als een spannend spelletief "Vind de Match".

De Aanwijzingen: Ze begonnen met een gigantische lijst YouTube-video's van popsongs (uit een database genaamd TheoryTab) en een enorme bibliotheek van digitale bladmuziek (uit de Lakh MIDI Dataset).
De Eerste Filter: Ze gebruikten computermagie om songtitels en artiestennamen te matchen. Als de namen bijna identiek waren, hielden ze de combinatie over. Dit beperkte het tot ongeveer 1.164 potentiële matches.
De Tempo-Twist: Hier wordt het lastig. Zelfs als het dezelfde song is, kan het "ritme" in de digitale bladmuziek iets sneller of langzamer zijn dan de echte YouTube-video. Het is also't twee mensen die proberen te dansen op hetzelfde nummer, maar de één loopt net iets achter de beat aan.
De Menselijke Touch: Om de timing op te lossen, gebruikten de onderzoekers een slimme truc. Ze vonden een specifieke "ankerbeat" (een moment waarop de muziek definitief synchroon loopt) en rekten of krompen vervolgens de digitale bladmuziek om de ritmiek van de echte video perfect te laten aansluiten. Maar computers zijn niet perfect in het kiezen van zo'n ankerbeat. Daarom vroegen ze menselijke annotatoren (studenten die van muziek en technologie houden) om de video te beluisteren en de digitale bladmuziek er direct naast te bekijken om de juiste uitlijning te kiezen.

Uiteindelijk hebben ze 572 segmenten muziek succesvol uitgelijnd. Dat is ongeveer 3,5 uur aan audio, die 374 unieke nummers van 263 verschillende artiesten beslaat.

De Realiteitstoets: Robots Moeten Nog Een Lange Weg Af te Legen

De onderzoekers hebben de dataset niet alleen gebouwd; ze hebben direct de beste robotmuzikanten op de proef gesteld. Ze vroegen twee top-AI-modellen (genaamd MT3 en YourMT3+) om naar deze MulTTiPop-fragmenten te luisteren en de noten op te schrijven.

De resultaten? De robots hadden moeite.

Het beste model kreeg slechts ongeveer 38% van de nootaanzetten correct (een metriek genaamd "Onset F1").
De robots raakten vaak in de war wanneer de muziek dichtbevolkt werd. Ze hoorden misschien de melodie, maar misten de bas, of ze bleven hangen bij één instrument en negeerden de rest.
Eén model probeerde de zang te raden, maar labelde deze als een saxofoon (wat grappig is, maar fout).

Het paper suggereert dat de reden dat deze robots falen, is dat ze voornamelijk getraind zijn op nep, door computers gegenereerde muziek (zoals de Slakh2100-dataset) in plaats van op echte, rommelige, commerciële popopnames. Het is alsof je een chef leert koken door hem alleen perfecte, plastic voedselmodellen te laten zien, om hem vervolgens een echte, sissende biefstuk te geven en te verwachten dat hij weet wat hij moet doen.

Wat Deze Dataset Is (en Niet Is)

De auteurs zijn heel duidelijk over de regels van het spel:

Het IS bedoeld voor testen: MulTTiPop is een "eindexamen" voor muziektranscriptie-AI. Het is ontworpen om ons te laten zien waar de robots falen, zodat we ze kunnen verbeteren.
Het is NIET bedoeld voor trainen: De onderzoekers sluiten expliciet uit dat deze dataset gebruikt wordt om de robots te onderwijzen. Omdat de nummers auteursrechtelijk beschermde commerciële hits zijn en de dataset relatief klein is, zou het gebruik ervan om een model te trainen oneerlijk en juridisch wankel zijn.
Het heeft een bias: Het paper geeft toe dat de gekozen nummers voornamelijk uit Westerse popmuziek bestaan (Amerikaanse artiesten, Westerse harmonie). Het suggereert dat als een robot goed presteert op MulTTiPop, hij goed is in Westerse pop, maar we kunnen niet zeker weten of hij ook goed zou presteren op muziek uit andere delen van de wereld of andere tradities.

De Kernboodschap

MulTTiPop is een vitale nieuwe tool die eindelijk een realistische "antwoordsleutel" geeft voor complexe popmuziek. Het bewijst dat hoewel onze AI-muziektranscribenten beter worden in eenvoudige taken, ze nog steeds een aanzienlijke ruimte voor verbetering hebben voordat ze de rommelige, prachtige chaos van een echte popband echt kunnen begrijpen. De robots halen momenteel een "C-" voor deze test, en de onderzoekers zijn hoopvol dat ze met deze nieuwe dataset kunnen helpen om hen harder te laten studeren en de volgende keer een "A" te laten halen.

Technische Samenvatting: MulTTiPop

Probleemstelling

Automatische muziektranscriptie (AMT) is geëvolueerd van solo piano-transcriptie naar een bredere dekking van instrumenten en stijlen. Er blijft echter een aanzienlijke kloof bestaan in multitrack-transcriptie voor commerciële popmuziek in de echte wereld. Bestaande modellen falen vaak bij commercieel geproduceerde nummers omdat ze zijn getraind op synthetische data (bijv. Slakh2100) of beperkte domeinen (bijv. solo piano in MAESTRO). Bovendien wordt systematische evaluatie belemmerd door een gebrek aan datasets die commerciële popaudio koppelen aan ground truth, tijd-uitgelijnde multitrack-transcripties. Hoewel datasets zoals TheoryTab commerciële audio bieden, bevatten ze slechts zwak uitgelijnde melodie- en akkoordannotaties, geen volledige multitrack MIDI. Daarentegen bieden datasets zoals RWC-Pop wel multitrack MIDI, maar missen ze genre-diversiteit en maken ze gebruik van nummers die specifiek voor onderzoek zijn gecomponeerd in plaats van echte popmuziek.

Methodologie

De auteurs introduceren MulTTiPop, een dataset die is gecreëerd door segmenten van commerciële popaudio uit te lijnen met multitrack MIDI-bestanden. Het constructieproces bestaat uit vier belangrijke fasen:

Metadata-gebaseerde Matching:
- Audiobron: Segmenten zijn afkomstig van de TheoryTab dataset (25.947 initiële doelwitten), die gebruikersgegenereerde melodie/akkoord-annotaties en YouTube-videotimestamps bevat.
- MIDI-bron: Multitrack MIDI-bestanden zijn afkomstig van de Lakh MIDI Dataset (LMD), specifiek de subset die gekoppeld is aan de Million Song Dataset (31.305 nummers).
- Matching: De auteurs berekenen de Levenshtein-afstand tussen de artiest- en songtitel-metadata van TheoryTab en LMD met behulp van RapidFuzz. Deze filtering levert 1.164 potentiële matches op.
Beat-gebaseerde Tijduitlijning:
- Omdat MIDI-tempo's vaak licht verschillen van commerciële audio, is een fijne uitlijning noodzakelijk.
- Beat Tracking: De auteurs gebruiken RNN-gebaseerde beat tracking (via madmom) op het audiofragment (met 0,5s padding) om een audio beat grid ( $b_a$ ) te extraheren. Het MIDI beat grid ( $b_m$ ) wordt afgeleid van de interne structuur van het bestand.
- Warping: Om tempoverschillen op te vangen, voert het systeem lineaire interpolatie uit op de MIDI-noot-timings. Er wordt een ankerbeat $k$ gedefinieerd die de eerste audiobeat koppelt aan de $k$ -de MIDI-beat, waarbij de MIDI wordt vervormd (warped) om overeen te komen met de timing van de audio.
Selectie van Kandidaat-ankerbeats:
- Automatische selectie van ankerbeats bleek onbetrouwbaar. De auteurs genereren tot vier kandidaat-uitlijningen met behulp van verschillende metrieken:
  - Base: Chroma cosine similarity en onset correlatie (Pearson) tussen de gewarpte MIDI en de audio.
  - Melodie: Chroma cosine tussen de TheoryTab melodie-annotaties en individuele MIDI-instrumentpartijen (gewogen met 75%).
  - YouTube Timing (yt): Het filteren van beats op basis van de absolute starttijd van de YouTube-video relatief aan de volledige MIDI-duur.
  - Gecombineerd (yt_melody): Het toepassen van de melodie-metriek op beats die gefilterd zijn door de YouTube-timing.
Menselijke Annotatie:
- Menselijke annotatoren (studenten in Computer Science en Music Technology) beoordelen de kandidaten. Zij krijgen de originele audio, een piano roll-visualisatie, een gesynthetiseerde MIDI-versie en een audio/MIDI-overlay te zien.
- Annotatoren selecteren de uitlijning die het beste bij de audio past. Als geen enkele kandidaat perfect is, wordt het monster afgekeurd. Annotatoren maken ook onderscheid tussen fouten veroorzaakt door onjuiste metadata-matching (verkeerd nummer) versus uitlijningsproblemen (verkeerde beat/tempo).

Belangrijkste Bijdragen

MulTTiPop Dataset: Een collectie van 572 segmenten (3,5 uur) van commerciële popmuziek gekoppeld aan tijd-uitgelijnde, multitrack MIDI-transcripties.
Diversiteit: De dataset beslaat 374 unieke nummers en 263 artiesten van de jaren 1930 tot de 2000, verspreid over 101 genres (bijv. Rock, New Wave, Motown). Dit overtreft de genre-diversiteit van RWC-Pop aanzienlijk.
Commerciële Audio Ground Truth: In tegenstelling tot synthetische datasets biedt MulTTiPop ground truth voor volledig geproduceerde commerciële opnames, wat de "synthetic-to-real" kloof in AMT adresseert.
Evaluatieprotocol: De dataset is gesplitst in een ontwikkelingsset (169 segmenten) en een testset (403 segmenten), gestratificeerd per artiest om datalekken te voorkomen. De auteurs adviseren expliciet om MulTTiPop alleen voor evaluatie te gebruiken, en niet voor training, vanwege de omvang en auteursrechtelijke beperkingen.

Resultaten

De auteurs evalueerden twee state-of-the-art AMT-modellen, MT3 en YourMT3+, op de MulTTiPop testset:

Prestaties: Beide modellen presteerden slecht vergeleken met hun resultaten op andere benchmarks (bijv. MusicNet, GuitarSet).
- YourMT3+ behaalde de beste Onset F1 van 37,87% (Harmonic-Percussive) en 25,29% (Exact).
- MT3 behaalde een Onset F1 van 36,83% (Harmonic-Percussive) en 28,42% (Exact).
Kwalitatieve Analyse:
- Modellen hadden moeite met tekstueel dichte muziek en faalden vaak in het produceren van coherente multitrack-transcripties.
- MT3 had de neiging om zich op één of twee delen van een nummer te concentreren, wat resulteerde in onsamenhangende transcripties en inconsistente instrumentlabeling.
- YourMT3+ vertoonde meer consistentie, maar miste instrumentpartijen en miste ritmische nuance. Het identificeerde ook vocale lijnen verkeerd (vaak gelabeld als saxofoon), wat niet goed reflecteerde in de "Exact" metrieken.
Conclusie: De lage scores wijzen op "aanzienlijke ruimte voor verbetering" in huidige AMT-systemen wanneer ze worden toegepast op real-world multitrack popmuziek.

Betekenis en Claims

Het artikel positioneert MulTTiPop als een noodzakelijke benchmark om de stagnatie van AMT op commerciële popmuziek aan te pakken. De primaire betekenis ligt in:

Het overbruggen van de kloof: Het bieden van de eerste dataset van dit type die commerciële audio koppelt aan volledige multitrack MIDI, wat rigoureuze evaluatie van modellen bedoeld voor echt gebruik mogelijk maakt.
Het blootleggen van beperkingen: Het aantonen dat huidige modellen, zelfs als ze zijn getraind op synthetische multitrack data (Slakh2100), er niet in slagen te generaliseren naar commerciële opnames, wat wijst op de noodzaak voor betere trainingsdata of architecturen.
Representatieve bemonstering: Het aanbieden van een diverse steekproef van westerse populaire muziekgebruikssituaties voor multitrack AMT.

Beperkingen en Kanttekeningen:
De auteurs merken expliciet een Westerse bias op in de dataset, aangezien het bronmateriaal (TheoryTab/HookTheory) primair Amerikaans en westers georiënteerd is. Daarom claimen zij dat MulTTiPop de prestaties op de "Westerse populaire muziekcanon" weerspiegelt in plaats van wereldwijde muziek. Daarnaast adviseren de auteurs, vanwege de kleine omvang van de dataset en de aard van de labels (auteursrechtelijk beschermde commerciële audio), strikt om MulTTiPop niet te gebruiken voor het trainen van generatieve modellen.