A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

Stellen Sie sich vor, Sie sind eine Bibliothekarin, die versucht, die schönsten handgeschriebenen Rezepte der Welt zu retten. Aber anstatt Tinte und Papier werden diese Rezepte in Form von Musiknoten auf Notenblättern geschrieben. Jahrzehntelang sind Computer ziemlich gut darin geworden, einfache, einzeilige Melodien zu lesen – wie das Partiturstück einer Soloflöte. Sie können ein Bild der Musik betrachten und daraus eine digitale Datei erstellen, die ein Computer abspielen kann. Dieses Feld wird als Optische Musikerkennung (Optical Music Recognition, OMR) bezeichnet. Es ist so, als würde man einem Roboter beibringen, ein Notenbuch zu lesen, damit er die Melodie nachpfeifen oder einem Musiker beim Üben helfen kann.

Doch die Sache wird kompliziert, wenn man versucht, die Musik einer ganzen Band auf einmal zu lesen. Stellen Sie sich ein Streichquartett vor: vier verschiedene Instrumente (zwei Violinen, eine Bratsche und ein Cello), die vier verschiedene Notenzeilen gleichzeitig spielen, alle auf derslich Seite gepackt. Es ist ein visuelles Rätsel mit sich kreuzenden Noten, unterschiedlichen Symbolen für verschiedene Instrumente und unordentlicher Handschrift aus vergangenen Jahrhunderten. Bis jetzt hatten Computer Schwierigkeiten mit dieser „mehrteiligen“ Musik, weil sie keinen guten Übungssatz zum Lernen hatten. Es ist, als würde man versuchen, einem Schüler beizubringen, einen komplexen Roman zu lesen, wenn er bisher nur mit einfachen Einzelsatz-Karteikarten geübt hat.

Hier kommt ein neues Team von Forschern mit einem gewaltigen neuen Werkzeug namens OSSQ-OMR ins Spiel. Sie haben den ersten jemals speziell entwickelten Trainingsdatensatz für diese komplexen Streichquartett-Partituren erstellt. Denken Sie an eine riesige, perfekt organisierte Bibliothek, in der jedes einzelne gescannte Blatt einer alten Partitur mit seinem perfekten digitalen Zwilling gepaart ist. Sie haben nicht einfach nur wahllos Bilder gesammelt; sie haben hunderte von Stunden damit verbracht, die digitalen Versionen manuell so zu korrigieren, dass sie den alten Scans exakt entsprechen – bis hin zu jedem winzigen Punkt und jeder Linie.

Mit dieser neuen Bibliothek in der Hand testeten die Forscher zwei verschiedene „Roboter-Leser“ (Computermodelle), um zu sehen, wie gut sie lernen konnten. Sie fanden heraus, dass die Roboter am besten lernten, wenn man ihnen beibrachte, die Zeile eines Instruments nach dem anderen zu lesen, anstatt die ganze Seite auf einmal zu verschlingen. Sie entdeckten auch, dass die Art und Weise, wie die Musik digital aufgeschrieben wird, wichtiger ist als das Gehirndesign des Roboters. Die besten Ergebnisse wurden mit einem spezifischen Format namens LMXE erzielt, das eine sehr niedrige Fehlerrate von nur 3,6 % bei sauberen, computergenerierten Bildern und 5,9 % bei echten, gescannten Seiten erreichte. Während dies beweist, dass es definitiv möglich ist, Computern das Lesen komplexer Quartettmusik beizubringen, zeigt das Ergebnis auch, dass es noch viel Raum für Verbesserungen gibt, insbesondere im Umgang mit der unordentlichen, unvollkommenen Realität alter Papierpartituren.

Das große Ganze: Was sie taten und fanden

Die Forscher erstellten OSSQ-OMR, den ersten Datensatz, der speziell entwickelt wurde, um Computern beim Erkennen von Musik für Streichquartette zu helfen. Vor diesem Datensatz waren die meisten Computer-Vision-Tools für Musik primär auf einfache, einzeilige Lieder oder Klavierstücke trainiert worden. Streichquartette sind viel schwieriger, da sie vier unabhängige Stimmen beinhalten, die gleichzeitig spielen, oft mit komplexen Layouts, verschiedenen Schlüsseln und einer Handschrift, die sich von Verleger zu Verleger drastisch unterscheidet.

Um diesen Datensatz aufzubauen, begannen die Teammitglieder mit 116 bestehenden digitalen Partituren von Streichquartetten. Dann suchten sie die ursprünglichen gescannten Versionen dieser Partituren aus der IMSLP-Bibliothek heraus. Hier liegt der knifflige Teil: Die ursprünglichen digitalen Dateien stimmten nicht immer perfekt mit den Scans überein. Manchmal fehlte ein Takt oder ein Symbol war an der falschen Stelle. Die Autoren verbrachten über 100 Stunden damit, die digitalen Dateien manuell zu bearbeiten, um sie visuell identisch mit den gescannten Bildern zu machen. Sie organisierten die Daten auch auf zwei Ebenen: Systemebene (die gesamte Musikzeile mit allen vier Instrumenten) und Staffelebene (nur die Zeile eines einzelnen Instruments). Schließlich konvertierten sie die Musik in drei verschiedene digitale Textformate: LMXE, kern und ABC.

Der Datensatz ist riesig. Er enthält 24.544 Systembilder und 98.172 Staffelebenen-Bilder, die aus diesen 116 Partituren abgeleitet wurden. Etwa die Hälfte dieser Bilder ist synthetisch (saubere, computergenerierte Versionen), und die andere Hälfte wurde von echten, alten Büchern gescannt.

Um zu testen, ob dieser Datensatz tatsächlich hilft, richteten die Forscher einen „Benchmark“ ein, was vergleichbar mit einer standardisierten Prüfung für Computermodelle ist. Sie testeten zwei populäre Arten von KI-Modellen:

1. Zeus: Ein Modell, das auf älterer, sequenzieller Verarbeitung (LSTM) basiert.
2. SMT: Ein neueres Modell, das eine Transformer-Architektur nutzt (ähnlich der Technologie hinter modernen Chatbots).

Sie ließen diese Modelle auf dem Datensatz mit verschiedenen Einstellungen laufen, um zu sehen, welche Kombination am besten funktionierte. Hier ist, was sie fanden:

• Eine Zeile nach der anderen zu lesen ist besser: Die Modelle schnitten deutlich besser ab, wenn sie gebeten wurden, nur die Staffelebene eines Instruments zu lesen (Staff-Level), anstatt die ganze Seite auf einmal (System-Level). Obwohl das Lesen der ganzen Seite dem Computer mehr Kontext bietet (wie zum Beispiel zu sehen, was die anderen Instrumente machen), schienen die Modelle diesen zusätzlichen Kontext nicht zu nutzen, um weniger Fehler zu machen. Tatsächlich waren die Fehlerraten niedriger, wenn sich die Modelle auf eine einzelne Zeile konzentrierten.
• Das Format ist wichtiger als das Gehirn: Die Forscher testeten neun verschiedene Möglichkeiten, die Musik in Text-Token (die „Wörter“, die der Computer liest) umzuwandeln. Sie fanden heraus, dass das LMXE-Format konsistent die besten Ergebnisse lieferte, unabhängig davon, welches Modell verwendet wurde. Überraschenderweise schnitt das neuere Transformer-Modell (SMT) beim kern-Format schlechter ab als bei LMXE, obwohl SMT ursprünglich für kern entwickelt wurde.
• Kompression half nicht: Sie probierten die „Byte-Pair-Encoding“ (BPE) für das ABC-Format aus, eine Methode, um den Text zu kürzen, indem man häufig vorkommende Zeichengruppen zusammenfasst. Sie erwarteten, dass dies helfen würde, aber es verschlechterte die Ergebnisse sogar. Mit zunehmender Größe des Vokabulars für die Kompression stieg die Fehlerrate an.
• Reale Welt vs. saubere Daten: Die Modelle schnitten bei den sauberen, synthetischen Bildern (Fehlerraten von nur 3,6 %) wesentlich besser ab als bei den unordentlichen, gescannten Bildern (Fehlerraten um die 5,9 %). Dies ist zu erwarten, da gescannte Bilder Rauschen, Schatten und ungleichmäßige Tinte aufweisen. Dennoch war das ältere LSTM-Modell (Zeus) robuster gegenüber diesem Chaos als das neuere Transformer-Modell (SMT). Beim Wechsel von sauberen zu gescannten Daten sank die Leistung von Zeus um etwa 39 %, während die Leistung von SMT massiv um 100 % einbrach.

Die Arbeit testete auch ein externes Modell namens Legato, das auf einem anderen Datensatz trainiert wurde. Als sie versuchten, Legato auf diesen neuen Streichquartett-Daten zu verwenden, ohne es neu zu trainieren, waren die Ergebnisse katastrophal (Fehlerraten von über 36 % bei synthetischen Daten und 66 % bei gescannten Daten). Dies deutet darauf hin, dass es nicht ausreicht, ein Modell lediglich auf allgemeinen Musikdaten vorzutrainieren; man muss es spezifisch auf die Art der Musik trainieren, die man lesen möchte.

Zusammenfassend zeigen die Autoren, dass das Beibringen des Lesens komplexer Streichquartett-Partituren an Computer machbar ist, aber es erfordert die richtigen Daten und die richtige Art und Weise, diese Daten zu formatieren. Das beste Setup, das sie fanden, erreichte eine Fehlerrate von 3,6 % bei synthetischen Daten und 5,9 % bei gescannten Daten. Obwohl dies ein großartiger Anfang ist, legt die Arbeit nahe, dass noch viel Arbeit geleistet werden muss, um diese Systeme so gut zu machen wie Menschen beim Lesen des unordentlichen, schönen Chaos echter, realer Notenblätter. Sie deuten zudem an, dass die zukünftige Forschung auch noch größere Ensembles, wie etwa ganze Orchester, untersuchen sollte und versuchen sollte, Modelle zu entwickeln, die ganze Seiten lesen können, ohne sie vorher in Einzelteile zerlegen zu müssen.