🤖 machine learning

MuScriptor: An Open Model for Multi-Instrument Music Transcription

MuScriptor ist ein Open-Weight-Modell, das durch die Kombination von synthetischem Pre-Training, Real-Data-Fine-Tuning, Reinforcement Learning und Instrumenten-Konditionierung eine effektive Multi-Instrument-Musiktranskription auf realen Aufnahmen erreicht, um die Generalisierungsbeschränkungen bestehender Methoden zu überwinden.

Ursprüngliche Autoren: Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

Veröffentlicht 2026-07-10✓ Author reviewed ⓘ

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einem chaotischen Rockkonzert zuzuhören und genau aufzuschreiben, welcher Musiker welchen Ton, auf welchem Instrument und wie lange gespielt hat. Das ist die Aufgabe der automatischen Musiktranskription (Automatic Music Transcription, AMT). Jahrelang haben Wissenschaftler Roboter gebaut, die hervorragend darin sind, ein Solo-Klavier oder ein einzelnes Schlagzeug-Set zu transkribieren, aber sobald man eine volle Band mit E-Gitarren, verzerrten Bässen und einem schreienden Sänger hinzufügt, versagen die Roboter meist kläglich. Sie werden durch den Lärm, die überlappenden Klänge und die chaotische Realität echter Musik verwirrt.

Hier kommt MuScriptor ins Spiel, ein neues Open-Source-Modell, das behauptet, das erste zu sein, das dieses „Full-Band“-Chaos über fast alle Genres hinweg – von klassischen Orchestern bis hin zu Heavy Metal – erfolgreich bewältigt.

Das Geheimrezept: Übung im Labor vs. echte Auftritte

Die wichtigste Erkenntnis des Papers ist ein spezifisches Rezept für das Training dieser musiklesenden Roboter. Die Autoren fanden heraus, dass man einem Roboter nicht einfach echte Musik vorspielen kann und erwarten darf, dass er schnell lernt, aber man kann ihm auch nicht einfach nur perfekt generierte Computermusik vorspielen und erwarten, dass er in der realen Welt funktioniert.

Denken Sie an das Training eines Kochs.

Synthetische Daten (Die Simulation): Das Team begann damit, dem Modell 1,45 Millionen computergenerierte MIDI-Dateien zuzuführen. Das ist wie ein Koch, der in einer perfekten, sterilen Küche übt, in der jede Zutat exakt abgemessen ist und nichts jemals anbrennt. Das Paper legt nahe, dass dies hervorragend für das „Pre-Training“ ist – um dem Roboter einen riesigen Vorsprung bei den Grundlagen der Musiktheorie zu verschaffen.
**Reale Daten (Das Restaurant):of
Das Paper argumentiert jedoch ausdrücklich, dass es ein Fehlschlag ist, bei der Simulation stehen zu bleiben. Wenn man nur mit künstlichen Daten trainiert, scheitert der Roboter kläglich, wenn er eine echte Gitarre mit Verzerrung oder einen Sänger mit Reverb hört. Um dies zu beheben, mischte das Team 170.000 reale Musikaufnahmen (insgesamt über 11.000 Stunden) unter. Dies ist das „reale Restaurant“, in dem der Koch lernt, mit unvorhersehbaren, chaotischen Zutaten umzugehen.
Das Ergebnis: Das Paper zeigt, dass die Kombination aus beidem die Magie ist. Das Modell, das nur mit künstlichen Daten trainiert wurde, war zwar ganz okay darin, Noten zu erkennen, aber schlecht in den Details. Doch sobald es auf den realen Aufnahmen feinjustiert wurde, sprang die Leistung über das gesamte Spektrum um etwa 20 Prozentpunkte nach oben.

Der Feinschliff durch „Reinforcement Learning“

Nachdem der Roboter von den künstlichen und realen Daten gelernt hatte, gaben die Autoren ihm einen letzten, sehr strengen Feinschliff. Sie nahmen einen winzigen, extrem hochwertigen Satz von 300 Songs, bei denen die Noten perfekt von Menschen annotiert wurden. Sie nutzten eine Technik namens Reinforcement Learning (speziell eine Methode namens GRCT), um dem Modell zu ermöglichen, an diesen 300 Tracks zu üben und „aus seinen Fehlern zu lernen“, indem es seine Ausgabe mit der perfekten menschlichen Version verglich.

Stellen Sie sich das wie einen Koch vor, der seine eigene Speise probiert und feststellt: „Oh, ich habe zu viel Salz hinzugefügt“, und dann nachjustiert. Das Paper deutet an, dass dieser Schritt nicht nur die Zahlen angepasst, sondern gezielt die Anzahl der Noten reduziert hat, die das Modell übersehen hat (False Negatives), und das Timing der Noten präziser gemacht hat.

Was der Robot kann (und was nicht)

Das Paper ist sehr deutlich darüber, was MuScriptor leisten kann. Es kann einen 5-sekündigen Audioclip anhören und eine Liste von Noten ausgeben. Man kann ihm sogar sagen: „Hey, ich weiß, dass in diesem Song eine Gitarre und ein Schlagzeug spielen, aber ignoriere alles andere.“ Diese „Instrumenten-Konditionierung“ hilft dem Roboter, fokussiert zu bleiben und nicht verwirrt zu werden, welches Instrument welche Note spielt.

Das Paper schließt jedoch auch einige Dinge aus:

Es ist kein Zaubermittel für überlappende Noten: Wenn zwei Personen exakt dieselbe Note auf demselben Instrument zur exakt gleichen Zeit spielen (wie zwei Violinen im Unisono), muss das aktuelle System die kürzere Note verwerfen, um sie korrekt zählen zu können. Das Paper gibt zu, dass eine andere „Tokenisierung“ (eine andere Art, die Noten aufzuschreiben) nötig wäre, um dies perfekt zu handhaben.
Es ist noch kein „Einheitsmodell“ für jeden Datensatz: Obwohl es viele Tests gegen die bisher besten Modelle (wie YourMT3+) gewinnt, merkt das Paper an, dass es bei bestimmten Datensätzen (wie Chormusik) immer noch schwierig ist, den genauen Beginn und das Ende einer Note zu bestimmen. Das Paper legt nahe, dass die Annotation präziser Start- und Endzeiten für bestimmte Musikstile inhärent schwierig ist, selbst für Menschen.

Das Zahlenspiel

Das Paper sagt nicht nur „es ist besser“, sondern misst es auch.

Auf einem Testdatensatz mit vielfältigen Songs erreichte das finale Modell (trainiert auf synthetischen Daten, realen Daten und dem 300-Song-Feinschliff) einen Multi-F1-Score von 47,8 (mit einer spezifischen Einstellung namens αCFG = 2).
Vergleicht man das mit dem bisherigen Spitzenmodell, YourMT3+, das im selben Metrik-Bereich einen Wert von 21,9 erreichte, ist das ein gewaltiger Sprung.
Selbst die kleinste Version ihres Modells (mit 60 Millionen Parametern) erreichte einen Frame-F1-Score von 65, was darauf hindeutet, dass man keinen Supercomputer benötigt, um gute Ergebnisse zu erzielen.

Das Fazzeit

Das Paper kommt zu dem Schluss, dass MuScriptor ein bedeutender Fortschritt ist, da es sich um ein Open-Weight-Modell handelt (was bedeutet, dass jeder es herunterladen und nutzen kann), das tatsächlich mit realer, chaotischer Multi-Instrumenten-Musik funktioniert. Es legt nahe, dass synthetische Daten zwar ein mächtiges Werkzeug für die frühen Lernphasen sind, aber nicht ausreichend sind, um allein zu funktionieren. Man braucht die chaotischen, realen Daten, um dem Roboter beizubringen, wie man mit dem Chaos eines echten Konzerts umgeht.

Die Autoren sind aufgrund ihrer Ergebnisse zuversichtlich, da sie diese auf einem vielfältigen Set von Genres getestet und direkt mit dem aktuellen Stand der Technik verglichen haben. Sie behaupten nicht, jedes Problem der Musiktranskription gelöst zu haben (wie das perfekte Handhaben von überlappenden Noten auf demselben Instrument), aber sie haben ein Werkzeug geschaffen, das weitaus nützlicher für Musiker und Forscher ist als alles, was zuvor existierte.

Technisches Resümee: MuScriptor – Ein offenes Modell für die Multi-Instrument-Musiktranskription

1. Problemstellung

Die automatische Musiktranskription (Automatic Music Transcription, AMT) zielt darauf ab, Audioaufnahmen in symbolische Repräsentationen (typischerweise MIDI) umzuwandeln. Während signifikante Fortschritte für Ein-Instrument-Szenarien (z. B. Klavier, Gitarre, Schlagzeug) erzielt wurden, bleibt die allgemeine Transkription für Multi-Instrument-Kontexte in realen Musikmixen ein kritischer Engpass. Bestehende State-of-the-Art-Modelle, wie MT3 und dessen Derivate, verlassen sich oft stark auf synthetische Trainingsdaten. Obwohl diese Modelle auf synthetischen Testsets gut abschneiden, leiden sie unter einem erheblichen Domänenwechsel (Domain Shift), wenn sie auf komplexe, reale Produktionen mit vielfältigen Timbre, überlappenden Frequenzen und Audioeffekten (z. B. Verzerrung) angewendet werden. Infolgedessen sind aktuelle Multi-Instrument-AMT-Systeme oft zu fehleranfällig für Downstream-Anwendungen in der Musikwissenschaft, der generativen Modellierung oder der Musikinformationsverarbeitung (MIR).

2. Methodik

2.1 Modellarchitektur

MuScriptor verwendet eine Decoder-only-Transformer-Architektur und verzichtet auf komplexe Encoder-Decoder- oder hierarchische Attention-Strukturen zugunsten eines einfachen, aber effektiven Designs.

Eingaben: Das Modell akzeptiert ein 5-sekündiges Mel-Spektrogramm (abgeleitet aus 16-kHz-Mono-Audio via STFT mit 2048 nFFT, 160 Hop-Größe und 512 Mel-Bins) sowie eine optionale Liste der Zielinstrumente.
Konditionierung: Die Präsenz von Instrumenten wird als globales Konditionierungssignal (die vollständige Instrumentenliste des Tracks) bereitgestellt, anstatt als lokale Segmentdaten. Diese Instrumenten-Embeddings werden mit der Spektrogramm-Projektion konkateniert, um als Präfix-Konditionierung für den Transformer zu dienen.
Tokenisierung: Noten-Annotationen werden ähnlich wie bei MT3 tokenisiert, wobei 128 MIDI-Instrumente auf 36 Untergruppen basierend auf der MT3_FULL_PLUS-Taxonomie abgebildet werden.
Inferenz: Transkriptionen werden mittels autoregressiver Dekodierung generiert. Das System unterstützt Classifier-Free Guidance (CFG) mit einer Stärke von $\alpha_{CFG} = 2$ , um die Generationsqualität zu verbessern.

2.2 Datenstrategie

Die Trainings-Pipeline nutzt einen dreistufigen Ansatz, der synthetische und reale Daten kombiniert:

Synthetisches Pre-training ( $D_{Synth}$ ): Ein Datensatz von 1,45 Millionen MIDI-Dateien wird On-the-fly in Audio umgewandelt. Die Pipeline wendet zufällige Augmentationen an (Pitch Shifting, Tempoänderungen, Velocity-Anpassungen, Instrumenten-Randomisierung) und synthetisiert Audio mithilfe eines Pools von über 250 Soundfonts mit zufälliger Detuning-Varianz. Dies erzeugt eine unendliche Vielfalt an Audio-Realisierungen aus den symbolischen Daten.
Reales Data Fine-tuning ( $D_{Real}$ ): Das Modell wird auf einem kuratierten Datensatz von 170.000 realen Musikaufnahmen (ca. 11.000 Stunden) feinjustiert, die verschiedene Genres von Klassik bis Heavy Metal abdecken. Diese Tracks enthalten abgestimmte Noten-Annotationen, die durch audio-symbolische Synchronisation (unter Verwendung von linearer Interpolation und Dynamic Time Warping) gewonnen wurden.
Reinforcement Learning Post-training ( $D_{RL}$ ): Eine kleine Teilmenge von 300 hochwertigen, manuell verifizierten Tracks wird für das Post-training verwendet. Das Modell nutzt einen Group Relative Policy Optimization (GRPO) Algorithmus.
- Für jeden Batch generiert das Modell $G=8$ unabhängige Transkriptionen.
- Belohnungen (Rewards) werden als Summe der Onset-, Frame- und Offset-F1-Scores gegenüber der Ground Truth berechnet.
- Advantages werden durch Normalisierung der Rewards innerhalb der Gruppe berechnet, und das Modell wird über ein REINFORCE-Ziel optimiert, das durch diese Advantages gewichtet ist.

2.3 Evaluierungsmetriken

Die Leistung wird mit Standard-MIR-Metriken aus der mir_eval-Bibliothek gemessen:

Onset F1: Pitch-Übereinstimmung mit einer Onset-Toleranz von $\pm 50$ ms.
Offset F1: Beinhaltet Onset-Kriterien plus einer Offset-Toleranz von $\max(50\text{ms}, 0,2 \times d_{ref})$ .
Frame F1: Frame-weise Überlappung bei einer Auflösung von 62,5 ms.
Multi F1: Die strengste Metrik, die korrekten Pitch, Timing und Instrumenten-Klassifizierung erfordert.
Hinweis: Überlappende Noten desselben Instruments und derselben Tonhöhe werden vor der Evaluierung aufgrund von Tokenisierungsbeschränkungen aus dem Testset entfernt.

3. Kernbeiträge

MuScriptor-Modell: Die Veröffentlichung eines Open-Weight, allgemeingültigen Multi-Instrument-Transkriptionsmodells (verfügbar in Größen von 60M bis 1,3B Parametern), das in der Lage ist, diverse Musikgenres zu handhaben.
Großskaliger Datensatz: Die Kuratierung eines umfassenden Datensatzes bestehend aus 170k realen Aufnahmen mit abgestimmten Annotationen und 1,45M synthetischen MIDI-Dateien, was den Mangel an annotierten Multi-Instrument-Daten adressiert.
Analyse des synthetischen Pre-trainings: Eine vergleichende Studie, die zeigt, dass synthetische Daten zwar unzureichend für eine eigenständige allgemeine Transkription sind, aber äußerst effektiv für das Pre-training sind, insbesondere wenn reale Daten knapp sind.
Reinforcement Learning Alignment: Die Anwendung eines GRPO-ähnlichen Algorithmus zur Ausrichtung des Modells auf hochwertige Transkriptionen – eine Technik, die in der AMT-Literatur bisher unentdeckt blieb.
Instrumenten-konditionierte Transkription: Die Einführung optionaler Instrumenten-Konditionierung, die es Nutzern ermöglicht, die Ausgabe anzupassen (z. B. das Transkribieren spezifischer Instrumente) und die Vorhersagen über Segmentgrenzen hinweg zu stabilisieren.

4. Experimentelle Ergebnisse

4.1 Trainingsstadien und Performance

Experimente mit dem 1,3B Parameter Modell (evaluiert auf einem gehaltenen Testset $D_{Test}$ ) zeigen eine klare Leistungssteigerung:

Nur Synthetisch: Erreicht ein kompetitives Frame F1 (51,3), aber ein schwaches Multi F1 (15,2) und Onset F1 (26,1), was den Domänenunterschied bestätigt.
Synthetisch + Real ( $D_{Synth} + D_{Real}$ ): Das Fine-tuning auf realen Daten führt zu einer massiven Verbesserung, wodurch das Multi F1 auf 41,7 und das Onset F1 auf 54,4 steigt.
Vollständige Pipeline ( $D_{Synth} + D_{Real} + D_{RL}$ ): Die Hinzunahme von RL-Post-training steigert die Leistung weiter und erreicht ein Multi F1 von 47,8 und ein Onset F1 von 60,4 (mit $\alpha_{CFG}=2$ ).

4.2 Vergleichende Analyse

vs. State-of-the-Art: MuScriptor übertrifft die YourMT3+-Baseline (ein starkes SOTA-Modell) signifikant über mehrere externe Benchmark-Datensätze hinweg (z. B. Bach10, Dagstuhl ChoirSet, RWC). Beispielsweise verbessert sich das Frame F1 auf dem Dagstuhl ChoirSet von 51,0 (YourMT3+) auf 80,7 (MuScriptor).
Impact des synthetischen Pre-trainings: Die Analyse zeigt, dass Pre-training am vorteilhaftesten ist, wenn reale Daten begrenzt sind (z. B. verbessert das Pre-training bei Verwendung von nur 1% von $D_{Real}$ das Offset F1 von 9,9 auf 33,4). Mit zunehmendem Volumen an realen Daten nimmt der relative Gewinn durch das Pre-training jedoch ab, obwohl es bei 100% Datennutzung immer noch einen leichten Vorteil bietet.
Modell-Skalierung: Die Leistung skaliert mit der Modellgröße; das 60M Parameter Modell erreicht ein Frame F1 von 65,7, während das 1,3B Modell 68,7 erreicht, was die Anwendbarkeit über verschiedene Ressourcenbeschränkungen hinweg nahelegt.
Input-Repräsentationen: Mel-Spektrogramme übertrafen alternative Eingaben wie Magnitude CQT, Encodec-Codecs und MERT-Embeddings, was darauf hindeutet, dass Repräsentationen, die näher an den Rohsignaleigenschaften liegen, für diese Aufgabe optimal sind.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass MuScriptor das erste effektive Open-Weight-Modell für die Multi-Instrument-Musiktranskription über eine Vielzahl von Genres hinweg ist.

Die Autoren betonen, dass ihr Erfolg – im Gegensatz zu früheren Ansätzen, die auf architektonischen Verfeinerungen (z. B. hierarchische Attention, MoE) basierten – primlich auf der Skalierung und Art der Daten beruht – insbesondere auf der strategischen Kombination aus großskaligem synthetischem Pre-training, umfangreichem realem Fine-tuning und RL-basiertem Alignment. Das Modell wird als grundlegendes Werkzeug für Musiker, Musikwissenschaftler und Forscher in den Bereichen MIR und generative Modellierung präsentiert, das Aufgaben ermöglicht, die zuvor durch den Mangel an genauen Transkriptionswerkzeugen für komplexe Mixe behindert wurden. Die Autoren merken bescheiden an, dass Einschränkungen hinsichtlich der Tokenisierung überlappender Noten desselben Instruments bestehen bleiben, und schlagen vor, dass zukünftige Arbeiten das Instrumenten-Vokabular und die Segmentgrößen erweitern könnten.