🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

Dieses Paper führt MulTTiPop ein, einen Datensatz bestehend aus 572 vielfältigen Popmusiksegmenten, die mit Multitrack-MIDI-Aufnahmen abgeglichen sind, welcher dazu verwendet wird, signifikante Leistungsunterschiede bei aktuellen automatischen Musiktranskriptionsmodellen zu evaluieren und aufzuzeigen.

Ursprüngliche Autoren: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Musik durch Hören zu lesen. Sie möchten, dass er einen kompletten Pop-Song hört – Schlagzeug, Bass, Gitarren, Gesang, alles zusammen gemischt – und jedes einzelne Instrument aufschreibt, das er spielt. Klingt cool, oder? Aber hier liegt das Problem: Bis jetzt hatten wir keinen guten „Lösungsschlüssel“, um zu überprüfen, ob der Roboter seine Arbeit richtig macht. Die meisten existierenden Lösungsschlüssel waren entweder für Solo-Klavier (zu einfach), von Computern erstellt (zu perfekt) oder listeten nur die Hauptmelodie und die Akkorde auf (zu simpel).

Hier kommt MulTTiPop ins Spiel, ein neuer Datensatz, der von Forschern der Carnegie Mellon University entwickelt wurde, um genau das zu beheben. Stellen Sie sich MulTTiPop wie eine riesige, 3,5-stündige Playlist aus echten Pop-Hits von den 1930er bis zu den 2000er Jahren vor, gepaart mit einer „magischen Partitur“, die Ihnen exakt sagt, was jedes einzelne Instrument bis auf die Millisekunde genau macht.

Das große Matching-Spiel

Wie haben sie das aufgebaut? Es war wie ein hochgestecktes Spiel aus „Finde die Übereinstimmung“.

Die Hinweise: Sie begannen mit einer riesigen Liste von YouTube-Videos von Pop-Songs (aus einer Datenbank namens TheoryTab) und einer riesigen Bibliothek digitaler Noten (aus dem Lakh MIDI Dataset).
Der erste Filter: Sie nutzten Computermagie, um Songtitel und Künstlernamen abzugleichen. Wenn die Namen fast identisch waren, behielten sie das Paar. Dies schränkte die Auswahl auf etwa 1.164 potenzielle Übereinstimmungen ein.
Der Tempo-Twist: Hier wird es knifflig. Selbst wenn es derselbe Song ist, kann der „Takt“ in der digitalen Partitur etwas schneller oder langsamer sein als im echten YouTube-Video. Es ist, als würden zwei Personen versuchen, zum selben Lied zu tanzen, aber einer von ihnen zieht etwas hinterher.
Die menschliche Note: Um das Timing zu korrigieren, nutzten die Forscher einen cleveren Trick. Sie fanden einen spezifischen „Anker-Beat“ (einen Moment, in dem die Musik definitiv übereinstimmt) und dehnten oder stauchten die digitale Partitur dann so, dass sie den Rhythmus des echten Videos perfekt traf. Aber Computer sind nicht perfekt darin, diesen Anker-Beat zu finden. Deshalb baten sie menschliche Annotatoren (Studenten, die Musik und Technik lieben), das Video anzuhören und die digitale Partitur nebeneinander zu betrachten, um die korrekte Ausrichtung zu wählen.

Am Ende gelang es ihnen, 572 Segmente der Musik erfolgreich abzugleichen. Das sind etwa 3,5 Stunden Audio, die 374 einzigartige Songs von 263 verschiedenen Künstlern abdecken.

Der Realitätscheck: Roboter haben noch einen weiten Weg vor sich

Die Forscher haben den Datensatz nicht nur gebaut; sie haben die besten Roboter-Musiker sofort auf die Probe gestellt. Sie ließen zwei erstklassige KI-Modelle (genannt MT3 und YourMT3+) diese MulTTiPop-Clips hören und die Noten aufschreiben.

Das Ergebnis? Die Roboter hatten Schwierigkeiten.

Das beste Modell erreichte nur etwa 38 % der korrekten Notenstarts (eine Metrik namens „Onset F1“).
Die Roboter wurden oft verwirrt, wenn die Musik dicht wurde. Sie hörten vielleicht die Melodie, übersehen aber den Bass, oder sie blieben bei einem Instrument hängen und ignorierten den Rest.
Ein Modell versuchte, den Gesang zu erraten, bezeichnete ihn aber als Saxophon (was lustig, aber falsch ist).

Das Paper legt nahe, dass der Grund, warum diese Roboter scheitern, darin liegt, dass sie hauptsächlich auf künstlich erzeugter Musik (wie dem Slakh2100-Datensatz) trainiert wurden, statt auf echten, unordentlichen, kommerziellen Pop-Aufnahmen. Es ist, als würde man einem Koch beibringen zu kochen, indem man ihm nur perfekte, künstliche Lebensmittelmodelle zeigt, und ihm dann ein echtes, brutzelndes Steak vorsetzt und erwartet, dass er weiß, was zu tun ist.

Was dieser Datensatz ist (und was nicht)

Die Autoren sind sich der Regeln des Spiels sehr bewusst:

Er IST zum Testen gedacht: MulTTiPop ist eine „Abschlussprüfung“ für Musiktranskriptions-KI. Er ist darauf ausgelegt, uns zu zeigen, wo die Roboter scheitern, damit wir sie verbessern können.
Er ist NICHT zum Trainieren gedacht: Die Forscher schließen die Verwendung dieses Datensatzes zum Trainieren der Roboter explizit aus. Da es sich bei den Songs um urheberrechtlich geschützte kommerzielle Hits handelt und der Datensatz relativ klein ist, wäre die Verwendung zum Training eines Modells unfair und rechtlich fragwürdig.
Er hat einen Bias: Das Paper gibt zu, dass die ausgewählten Songs überwiegend westliche Popmusik sind (amerikanische Künstler, westliche Harmonik). Es legt nahe, dass ein Roboter, der auf MulTTiPop gut abschneidet, gut in westlichem Pop ist, aber wir können nicht sicher sein, ob er auch bei Musik aus anderen Teilen der Welt oder anderen Traditionen gut abschneiden würde.

Das Fazit

MulTTiPop ist ein wichtiges neues Werkzeug, das uns endlich einen realistischen „Lösungsschlüssel“ für komplexe Popmusik liefert. Es beweist, dass unsere KI-Musiktranskripte zwar bei einfachen Aufgaben besser werden, aber immer noch erheblichen Verbesserungsbedarf haben, bevor sie das chaotische, wunderbare Durcheinander einer echten Popband wirklich verstehen können. Die Roboter erhalten derzeit eine „3-“ in diesem Test, und die Forscher sind hoffnungsvoll, dass sie mit diesem neuen Datensatz helfen können, damit sie beim nächsten Mal fleißiger lernen und eine „1“ erreichen.

Technisches Resümee: MulTTiPop

Problemstellung

Die automatische Musiktranskription (Automatic Music Transcription, AMT) hat sich von der Solo-Klavier-Transkription hin zu einer breiteren Abdeckung von Instrumenten und Stilen weiterentwickelt. Es besteht jedoch eine signifikante Lücke bei der Multitrack-Transkription für kommerzielle Popmusik der realen Welt. Bestehende Modelle scheitern oft an kommerziell produzierten Songs, da sie auf synthetischen Daten (z. B. Slakh2100) oder begrenzten Domänen (z. B. Solo-Klavier in MAESTRO) trainiert wurden. Darüber hinaus wird eine systematische Evaluierung durch einen Mangel an Datensätzen erschwert, die kommerzielle Pop-Audioaufnahmen mit Ground-Truth-, zeitlich ausgerichteten Multitrack-Transkriptionen paaren. Während Datensätze wie TheoryTab zwar kommerzielle Audioaufnahmen bieten, liefern sie lediglich schwach ausgerichtete Melodie- und Akkord-Annotationen, aber keine vollständigen Multitrack-MIDI-Dateien. Umgekehrt bieten Datensätze wie RWC-Pop zwar Multitrack-MIDI, lassen jedoch die Genre-Diversität vermissen und verwenden Songs, die speziell für die Forschung komponiert wurden, statt realer Popmusik.

Methodik

Die Autoren führen MulTTiPop ein, einen Datensatz, der durch die Abstimmung von Segmenten kommerzieller Pop-Audioaufnahmen mit Multitrack-MIDI-Dateien erstellt wurde. Der Konstruktionsprozess umfasst vier Schlüsselphasen:

Metadaten-basiertes Matching:
- Audio-Quelle: Die Segmente stammen aus dem TheoryTab-Datensatz (ursprünglich 25.947 Zielobjekte), der benutzergenerierte Melodie-/Akkord-Annotationen und YouTube-Video-Zeitstempel enthält.
- MIDI-Quelle: Die Multitrack-MIDI-Dateien stammen aus dem Lakh MIDI Dataset (LMD), speziell aus dem Teilbereich, der mit dem Million Song Dataset abgeglichen wurde (31.305 Songs).
- Matching: Die Autoren berechnen die Levenshtein-Distanz zwischen den Künstler- und Songtitel-Metadaten von TheoryTab und LMD mittels RapidFuzz. Dieser Filterprozess liefert 1.164 potenzielle Übereinstimmungen.
Beat-basierte Zeitausrichtung (Time Alignment):
- Da MIDI-Tempi oft leicht von kommerziellen Audioaufnahmen abweichen, ist eine feingliedrige Ausrichtung notwendig.
- Beat-Tracking: Die Autoren verwenden ein RNN-basiertes Beat-Tracking (via madmom) auf dem Audio-Segment (mit 0,5s Padding), um ein Audio-Beat-Gitter ( $b_a$ ) zu extrahieren. Das MIDI-Beat-Gitter ( $b_m$ ) wird aus der internen Struktur der Datei abgeleitet.
- Warping: Um Tempo-Diskrepanzen zu handhaben, führt das System eine lineare Interpolation der MIDI-Noten-Timings durch. Es wird ein Anker-Beat $k$ definiert, der den ersten Audio-Beat mit dem $k$ -ten MIDI-Beat verknüpft und das MIDI so verzerrt (warping), dass es dem Timing des Audios entspricht.
Auswahl potenzieller Anker-Beats:
- Die automatische Auswahl von Anker-Beats erwies sich als unzuverlässig. Die Autoren generieren bis zu vier potenzielle Alignments unter Verwendung verschiedener Metriken:
  - Base: Chroma-Kosinus-Ähnlichkeit und Onset-Korrelation (Pearson) zwischen dem verzerrten MIDI und dem Audio.
  - Melody: Chroma-Kosinus zwischen den TheoryTab-Melodie-Annotationen und den einzelnen MIDI-Instrumenten-Parts (gewichtete 75 %).
  - YouTube-Timing (yt): Filterung der Beats basierend auf der absoluten Startzeit des YouTube-Videos relativ zur gesamten MIDI-Dauer.
  - Kombiniert (yt_melody): Anwendung der Melodie-Metrik auf Beats, die durch das YouTube-Timing gefiltert wurden.
Menschliche Annotation:
- Menschliche Annotatoren (Studierende der Fachrichtungen Informatik und Musiktechnologie) überprüfen die Kandidaten. Ihnen werden das Original-Audio, eine Piano-Roll-Visualisierung, eine synthetisierte MIDI-Version sowie ein Audio/MIDI-Overlay präsentiert.
- Die Annotatoren wählen das Alignment aus, das am besten zum Audio passt. Wenn kein Kandidat perfekt ist, wird das Sample abgelehnt. Die Annotatoren unterscheiden zudem zwischen Fehlern, die durch falsches Metadaten-Matching (falscher Song) oder durch Ausrichtungsfehler (falscher Beat/Tempo) verursacht wurden.

Kernbeiträge

MulTTiPop-Datensatz: Eine Sammlung von 572 Segmenten (3,5 Stunden) kommerzieller Popmusik, gepaart mit zeitlich ausgerichteten, Multitrack-MIDI-Transkriptionen.
Diversität: Der Datensatz deckt 374 einzigartige Songs und 263 Künstler aus den 1930er bis 2000er Jahren ab und umfasst 101 Genres (z. B. Rock, New Wave, Motown). Dies übertrifft die Genre-Diversität von RWC-Pop erheblich.
Kommerzielle Audio-Ground-Truth: Im Gegensatz zu synthetischen Datensätzen bietet MulTTiPop Ground-Truth für voll produzierte kommerzielle Aufnahmen und adressiert damit die „Synthetic-to-Real“-Lücke in der AMT.
Evaluationsprotokoll: Der Datensatz ist in Entwicklungs- (169 Segmente) und Testsets (403 Segmente) unterteilt, wobei nach Künstlern stratifiziert wurde, um Data Leakage zu verhindern. Die Autoren empfehlen ausdrücklich, MulTTiPop nur zur Evaluierung und nicht zum Training zu verwenden, aufgrund der Größe und der Urheberrechtsbeschränkungen.

Ergebnisse

Die Autoren evaluierten zwei State-of-the-Art AMT-Modelle, MT3 und YourMT3+, auf dem MulTTiPop-Testset:

Leistung: Beide Modelle schnitten im Vergleich zu ihren Ergebnissen auf anderen Benchmarks (z. B. MusicNet, GuitarSet) schlecht ab.
- YourMT3+ erreichte den besten Onset F1 von 37,87 % (Harmonic-Percussive) und 25,29 % (Exact).
- MT3 erreichte einen Onset F1 von 36,83 % (Harmonic-Percussive) und 28,42 % (Exact).
Qualitative Analyse:
- Modelle hatten Schwierigkeiten mit texturreichen Musikpassagen und scheiterten oft daran, kohärente Multitrack-Transkriptionen zu erzeugen.
- MT3 neigte dazu, sich auf ein oder zwei Teile eines Songs zu konzentrieren, was zu fragmentierten Transkriptionen und inkonsistenten Instrumenten-Labelings führte.
- YourMT3+ zeigte eine bessere Konsistenz, übersah jedoch Instrumententeile und ließ rhythmische Nuancen vermissen. Es identifizierte zudem Gesangslinien fälschlicherweise (oft als Saxophon gelabelt), was sich negativ auf die „Exact“-Metriken auswirkte.
Fazit: Die niedrigen Werte deuten darauf hin, dass aktuelle AMT-Systeme bei der Anwendung auf reale Multitrack-Popmusik noch „erheblichen Verbesserungsbedarf“ haben.

Bedeutung und Ansprüche

Das Paper positioniert MulTTiPop als notwendigen Benchmark, um die Stagnation der AMT bei kommerziellem Pop anzugehen. Die primäre Bedeutung liegt in:

Überbrückung der Lücke: Bereitstellung des ersten Datensatzes dieser Art, der kommerzielle Audioaufnahmen mit vollständigen Multitrack-MIDI-Dateien paart und somit eine rigorose Evaluierung von Modellen ermöglicht, die für den realen Einsatz bestimmt sind.
Aufzeigen von Limitationen: Demonstration, dass aktuelle Modelle (selbst wenn sie auf synthetischen Multitrack-Daten wie Slakh2100 trainiert wurden) bei der Generalisierung auf kommerzielle Aufnahmen versagen, was die Notwendigkeit besserer Trainingsdaten oder Architekturen unterstreicht.
Repräsentative Stichproben: Angebot eines diversen Samples westlicher populärer Musik-Anwendungsfälle für die Multitrack-AMT.

Einschränkungen und Vorbehalte:
Die Autoren weisen explizit auf einen Western Bias im Datensatz hin, da das Quellmaterial (TheoryTab/HookTheory) primär amerikanisch und westlich zentriert ist. Folglich behaupten sie, dass MulTTiPop die Leistung auf dem „westlichen Popmusik-Kanon“ widerspiegelt und nicht auf globaler Musik. Zudem raten sie aufgrund der geringen Größe des Datensatzes und der Natur der Labels (urheberrechtlich geschützte kommerzielle Audioaufnahmen) strikt davon ab, MulTTiPop für das Training generativer Modelle zu verwenden.