Towards a foundational model for recognising diastematic Gregorian notation

Technische Zusammenfassung: Auf dem Weg zu einem Fundamentalkmodell für die Erkennung diastematischer Gregorianischer Notation

Problemstellung
Die optische Musikerkennung (Optical Music Recognition, OMR) für den Gregorianischen Choral hat durch End-to-End-Methoden jüngste Fortschritte erzielt, doch das Feld wird durch die Fragmentierung der Daten behindert. Während vier verschiedene Datensätze (GregoSynth, Salzinnes, Einsiedeln und Solesmes) für die diastematische (gestaffelte) Notation existieren, verwenden diese inkompatible Kodierungen (GABC, Pseudo-GABC und S-GABC). Diese Heterogenität verhindert die Zusammenführung von Ressourcen, um größere, robustere Modelle zu trainieren. Darüber hinaus enthalten bestehende Datensätze „nahezu identische“ Stichproben, bei denen die Ground-Truth-Strings identisch oder extrem ähnlich sind, die Bilder jedoch leicht variieren (oder umgekehrt), was die Aufteilung in Trainings- und Validierungssets erschwert und die Leistungsmetriken potenziell künstlich aufbläht.

Methodik
Die Autoren schlagen eine Pipeline vor, um diese disparaten Ressourcen in ein einziges Trainings-Ökosystem zu vereinigen:

1. Datenharmonisierung und Bereinigung:

   • Entfernung von Duplikaten: Die Autoren implementierten eine Bereinigungs-Pipeline, um nahezu identische Stichproben zu identifizieren und zu entfernen. Eine Stichprobe gilt als Duplikat, wenn die Levenshtein-Distanz zwischen den Ground-Truth-Strings $\le 3$ und der Structural Similarity Index (SSIM) zwischen den Bildern $\ge 0,97$ ist. Dieser Prozess reduzierte die Gesamtgröße des Datensatzes geringfügig, stellte jedoch sicher, dass es sich um distinkte Trainingsbeispiele handelt.
   • Vereinheitlichte Kodierung: Der zentrale technische Beitrag ist die Definition einer gemeinsamen Kodierung, die auf dem Vorschlag der Systematic GABC (S-GABC) basiert. Die Autoren haben das undokumentierte „Pseudo-GABC“ verwendet, das in den Salzinnes- und Einsiedeln-Datensätzen zum Einsatz kommt, rückentwickelt und alle drei Eingabeformate (GABC, S-GABC, Pseudo-GABC) in dieses gemeinsame Format abgebildet.
   • Konvertierung: Unter Verwendung von Lark-Grammatiken parsten die Autoren die ursprünglichen Transkriptionen in Parse-Bäume und transformierten sie in die gemeinsame Kodierung. Dieser Prozess behielt essenzielle Informationen bezüglich Melodie, Text, Ausrichtung und Neumen-Gruppierung bei, während irrelevante Formatierungssymbole entfernt und Mehrdeutigkeiten (z. B. die Standardisierung der Positionen horizontaler Episema auf 0 und 1) aufgelöst wurden.

2. Modellarchitektur und Training:

   • Basismodell: Die Autoren wählten die DAN (Deep Attention Network) Architektur, die in früheren Arbeiten eine starke Leistung gezeigt hatte, gegenüber dem Sheet Music Transformer aufgrund der höheren Trainingsgeschwindigkeit.
   • Trainingsstrategie:
     • Gemeinsames Pretraining: Ein gemeinsames Modell wurde auf den kombinierten, harmonisierten Datensätzen trainiert. Um zu verhindern, dass der massive synthetische GregoSynth-Datensatz den Lernprozess dominiert, wurde er in jeder Epoche zufällig heruntergesampelt, um der Größe des zweitgrößten Datensatzes (Salzinnes) zu entsprechen.
     • Gradientenakkumulation: Um die Einschränkung der Batch-Größe 1 (die in früheren Arbeiten aufgrund ungleichmäßiger Bildskalierungen verwendet wurde) zu adressieren, setzten die Autoren eine 8-fache Gradientenakkumulation ein.
     • Feinabstimmung (Fine-tuning): Die Gewichte des gemeinsamen Modells wurden verwendet, um Modelle zu initialisieren, die auf einzelnen realen Datensätzen (Salzinnes, Einsiedeln, Solesmes) mit einer reduzierten Lernrate ($10^{-5}$) feinabgestimmt wurden.

Zentrale Beiträge

• Vereinheitlichter Datensatz: Die Erstellung eines harmonisierten Datensatzes, in dem vier zuvor inkompatible Quellen in ein einziges Kodierungsschema zusammengeführt wurden, was ein gemeinsames Training ermöglicht.
• Fundamentalkmodell: Das Training eines gemeinsamen End-to-End-Modells, das einen neuen Stand der Technik (State-of-the-Art, SOTA) über alle vier Datensätze hinweg etabliert und zeigt, dass die Zusammenführung von Daten die Generalisierung verbessert.
• Verbessertes Trainingsprotokoll: Der Nachweis, dass eine 8-fache Gradientenakkumulation die Standard-Batch-Größe-1-Trainings in diesem Bereich signifikant übertrifft.
• Reproduzierbarkeit: Die Veröffentlichung der Konvertierungswerkzeuge (Lark-Grammatiken) und der bereinigten Datensätze.

Ergebnisse
Die Autoren evaluierten die Leistung anhand von fünf Metriken: Melody Error Rate (MER), Character Error Rate (CER), Syllable Error Rate (SylER), Alignment Error Rate (ALER) und die kombinierte All-Metric Error Rate (AMLER).

• Leistung des gemeinsamen Modells: Das „DAN-shared“-Modell (trainiert auf kombinierten Daten ohne Feinabstimmung) übertraf im Allgemeinen das Baseline-DAN-Modell auf GregoSynth und Salzinnes, hatte jedoch im Vergleich zu seinem spezifischen Baseline-Modell Schwierigkeiten mit dem kleineren, diverseren Solesmes-Datensatz.
• Auswirkung der Feinabstimmung: Die Feinabstimmung des gemeinsamen Modells auf einzelnen Datensätzen (DAN-FT) ermöglichte es den Modellen, die bisher besten Ergebnisse (SOTA) auf Salzinnes und Einsiedeln zu erreichen oder zu übertreffen.
• Gradientenakkumulation: Das Modell, welches eine 8-fache Gradientenakkumulation nutzt (DAN(8)-shared), übertraf alle anderen Konfigurationen, einschließlich des vorherigen SOTA, über die meisten Metriken und Datensätze hinweg.
• Finaler SOTA: Das feinabgestimmte Modell mit Gradientenakkumulation (DAN(8)-FT) erreichte die niedrigsten Fehlerraten auf allen Datensätzen. Beispielsweise reduzierte es auf dem anspruchsvollen Solesmes-Datensatz die AMLER von 23,17 % (Baseline) auf 10,81 % und auf Einsiedeln die AMLER von 5,14 % auf 2,73 %.

Bedeutung und Ansprüche
Die Autoren behaupten, dass der primäre Wert dieser Arbeit in der Ermöglichung der gemeinsamen Pretraining- und Fine-tuning-Pipeline liegt. Durch die Harmonisierung der Kodierungen zeigen die Autoren, dass die Zusammenführung von Datensätzen mit kompatiblen Notationsprinzipien ein „Fundamentalkmodell“ hervorbringt, das in der Lage ist, die vielfältigen visuellen Domänen der Gregorianischen Notation zu handhaben.

Die Autoren merken bescheiden an, dass ihre gemeinsame Kodierung zwar auf S-GABC basiert, aber spezifische Modifikationen enthält (z. B. die Wiedereinführung von hohlen Noten, das Entfernen von Unsicherheitsmarkern), um OMR-Aufgaben zu unterstützen. Sie benennen ihre Kodierung nicht explizit, was darauf hindeutet, dass sie als ein Schritt zur vollständigen Implementierung von S-GABC und nicht als dessen Ersatz zu betrachten ist. Die Arbeit bestätigt, dass ein groß angelegtes, automatisiertes Verständnis von Gregorianischen Choral-Manuskripten durch OMR machbar ist, sofern die Heterogenität der Daten durch systematische Kodierungsharmonisierung aufgelöst wird.