💻 computer science

Towards a foundational model for recognising diastematic Gregorian notation

Dit artikel stelt een fundamenteel model voor het herkennen van diastematische Gregoriaanse notatie voor door vier voorheen uiteenlopende datasets te verenigen in een gemeenschappelijke S-GABC-codering, waarmee een nieuwe state of the art wordt gevestigd voor alle daarvan.

Oorspronkelijke auteurs: Daniel Kurek, Jan Hajič jr

Gepubliceerd 2026-07-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daniel Kurek, Jan Hajič jr

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met oude muzikale manuscripten. Dit zijn niet zomaar liedjes; het zijn Gregoriaanse gezangen, de heilige muziek van de Katholieke Kerk, opgeschreven meer dan 1.000 jaar geleden. Deze manuscripten zijn prachtig maar lastig te lezen, zelfs voor experts.

Al een lange tijd proberen computers te leren hoe ze deze handgeschreven pagina's automatisch kunnen lezen (een proces dat Optical Music Recognition of OMR wordt genoemd). Maar er was een groot probleem: de computers spraken verschillende talen.

Het Probleem: Vier Dialecten van Dezelfde Taal

Denk aan de vier datasets die de onderzoekers gebruikten als vier verschillende groepen mensen die proberen hetzelfde plaatje te beschrijven.

Groep A beschrijft het plaatje met behulp van een specifieke code genaamd GABC.
Groep B gebruikt een iets andere code genaamd Pseudo-GABC.
Groep C gebruikt S-GABC.
Groep D gebruikt nog een andere variatie.

Hoewel ze allemaal precies hetzelfde type muziek beschrijven (de noten en de tekst), was de "spelling" van hun beschrijvingen verschillend. Het was alsof je een robot probeert te leren een hond te herkennen, maar de ene persoon noemt het een "canine", een ander een "pooch" en iemand anders gebruikt een geheime code. Omdat de beschrijvingen niet overeenkwamen, konden de onderzoekers al hun gegevens niet combineren om de robot een betere les te leren. Ze zaten vast aan het trainen van vier afzonderlijke, kleinere breinen in plaats van één gigantisch, slim brein.

De Oplossing: Een Universele Vertaler

De auteurs, Daniel Kurek en Jan Hajič jr., besloten een Universele Vertaler te bouwen.

De rommel opruimen: Eerst realiseerden ze zich dat sommige van de gegevens "ruis" bevatten. Stel je voor dat je twee foto's hebt van hetzelfde liedje die identiek zijn tot op de pixel. Als de computer dezelfde foto twee keer ziet, raakt hij in de war. Ze gebruikten een digitale "gum" om deze duplicaten te verwijderen en ervoor te zorgen dat elk stuk gegevens uniek was.
De Gemeenschappelijke Taal: Ze ontwierpen een nieuwe, gedeelde code gebaseerd op een voorstel genaamd S-GABC. Ze namen alle vier de verschillende datasets en vertaalden deze naar deze enkele, verenigde taal. Nu sprak iedereen niet langer vier verschillende dialecten, maar één gemeenschappelijke taal.
Het "Fundamentele Model": Met alle gegevens die dezelfde taal spraken, trainden ze een enkel, krachtig AI-model (genaamd DAN) op de gehele collectie tegelijkertijd. Denk aan een meesterkok die recepten uit vier verschillende regio's heeft geproefd en geleerd om ze allemaal perfect te koken, in plaats van slechts één.

De Resultaten: Een Nieuwe State of the Art

Toen ze dit nieuwe "meesterkok"-model testten:

Leerde het sneller en beter dan de vorige pogingen.
Toen ze dit meestermodel namen en het een beetje extra oefening gaven specifiek op één van de moeilijke datasets (een proces dat fine-tuning wordt genoemd), werd het zelfs nog scherper.
In bijna elke test versloeg deze nieuwe aanpak de vorige beste resultaten. Het maakte minder fouten bij het lezen van de noten, de tekst en het koppelen van de woorden aan de juiste noten.

Waarom Dit Belangrijk Is (Volgens het Papier)

Het artikel beweert dat door deze verschillende datasets te verenigen, zij een fundamenteel model hebben gecreëerd. Dit betekent dat ze een sterk, algemeen bruikbaar AI-model hebben gebouwd dat de notatie van Gregoriaanse gezangen beter begrijpt dan ooit tevoren.

In plaats van voor elke verschillende stijl van manuscript een ander computerprogramma nodig te hebben, hebben ze nu één robuust hulpmiddel dat de diverse visuele stijlen van deze oude liederen kan aan. Dit maakt het veel gemakkelijker om de duizenden manuscripten die nog steeds bestaan te digitaliseren en te bestuderen, waardoor onleesbare oude inkt verandert in doorzoekbare, digitale muziek.

Kortom: Ze namen vier groepen mensen die verschillende dialecten spraken, leerden hen allemaal dezelfde taal spreken, en trainden toen een super-slimme student op de gecombineerde groep. Het resultaat? Een student die oude muziek beter kan lezen dan wie dan ook voorheen kon.

Technische Samenvatting: Naar een fundamenteel model voor de herkenning van diastematische Gregoriaanse notatie

Probleemstelling
Optical Music Recognition (OMR) voor Gregoriaanse gezangen heeft recentelijk vooruitgang geboekt door middel van end-to-end methoden, maar het vakgebied wordt gehinderd door datafragmentatie. Hoewel er vier afzonderlijke datasets bestaan (GregoSynth, Salzinnes, Einsiedeln en Solesmes) voor diastematische (met notenbalk voorzien) notatie, maken deze gebruik van incompatibele coderingen (GABC, Pseudo-GABC en S-GABC). Deze heterogeniteit voorkomt dat bronnen worden samengevoegd om grotere, robuustere modellen te trainen. Bovendien bevatten bestaande datasets "bijna-duplicaten" waarbij de grondwaarheid-strings identiek of extreem vergelijkbaar zijn, maar de afbeeldingen licht verschillen, of vice versa, wat de trainings-/validatiesplit compliceren en potentieel de prestatiecijfers opblaast.

Methodologie
De auteurs stellen een pijplijn voor om deze uiteenlopende bronnen te verenigen in één enkel trainings-ecosysteem:

Data Harmonisatie en Opschoning:
- Verwijdering van Duplicaten: De auteurs hebben een opschoningspijplijn geïmplementeerd om bijna-duplicaten te identificeren en te verwijderen. Een monster wordt beschouwd als een duplicaat als de Levenshtein-afstand tussen de grondwaarheid-strings $\le 3$ is en de Structural Similarity Index (SSIM) tussen afbeeldingen $\ge 0,97$ . Dit proces verminderde de totale datasetgrootte licht, maar zorgde voor onderscheidende trainingsvoorbeelden.
- Uniforme Codering: De kern van de technische bijdrage is de definitie van een gemeenschappelijke codering gebaseerd op het S-GABC-voorstel. De auteurs hebben de ongedocumenteerde "Pseudo-GABC" die wordt gebruikt in de Salzinnes- en Einsiedeln-datasets teruggebracht naar de basis en alle drie de inputformaten (GABC, S-GABC, Pseudo-GABC) naar dit gedeelde formaat gemapt.
- Conversie: Met behulp van Lark-grammatica's hebben de auteurs de oorspronkelijke transcripties geparsed in parse-bomen en getransformeerd naar de gemeenschappelijke codering. Dit proces behield essentiële informatie met betrekking tot melodie, tekst, uitlijning en neume-groepering, terwijl irrelevante formatteringssymbolen werden verwijderd en ambiguïteiten werden opgelost (bijv. het standaardiseren van horizontale episema-posities naar 0 en 1).
Modelarchitectuur en Training:
- Basismodel: De auteurs kozen de DAN (Deep Attention Network) architectuur, die in eerder werk sterke prestaties had getoond, boven de Sheet Music Transformer vanwege de snelheid van de training.
- Trainingsstrategie:
  - Gedeelde Pretraining: Een gedeeld model werd getraind op de gecombineerde, geharmoniseerde datasets. Om te voorkomen dat de enorme synthetische GregoSynth-dataset het leerproces zou domineren, werd deze in elke epoch willekeurig gedownsampled om overeen te komen met de grootte van de op één na grootste dataset (Salzinnes).
  - Gradient Accumulation: Om de beperking van een batchgrootte van 1 aan te pakken (gebruikt in eerder werk vanwege ongelijke beeldschalen), gebruikten de auteurs 8-voudige gradient accumulation.
  - Fine-tuning: De gewichten van het gedeelde model werden gebruikt om modellen te initialiseren die werden gefinetuned op individuele real-world datasets (Salzinnes, Einsiedeln, Solesmes) met een verlaagde leersnelheid ( $10^{-5}$ ).

Belangrijkste Bijdragen

Vereenigde Dataset: De creatie van een geharmoniseerde dataset waar vier voorheen incompatibele bronnen zijn samengevoegd in één enkel coderingsschema, wat gezamenlijke training mogelijk maakt.
Fundamenteel Model: Het trainen van een gedeeld end-to-end model dat een nieuwe state-of-the-art (SOTA) vestigt over alle vier de datasets, wat aantoont dat het samenvoegen van data de generalisatie verbetert.
Verbeterd Trainingsprotocol: De demonstratie dat 8-voudige gradient accumulation aanzienlijk beter presteert dan standaard batchgrootte 1 training in dit domein.
Reproduceerbaarheid: De vrijgave van de conversietools (Lark grammars) en de opgeschoonde datasets.

Resultaten
De auteurs evalueerden de prestaties met vijf metrieken: Melody Error Rate (MER), Character Error Rate (CER), Syllable Error Rate (SylER), Alignment Error Rate (ALER) en de gecombineerde All-Metric Error Rate (AMLER).

Prestaties van het Gedeelde Model: Het "DAN-shared" model (getraind op gecombineerde data zonder fine-tuning) presteerde over het algemeen beter dan het baseline DAN-model op GregoSynth en Salzinnes, maar had meer moeite met de kleinere, diversere Solesmes-dataset vergeleken met zijn specifieke baseline.
Impact van Fine-tuning: Het finetunen van het gedeelde model op individuele datasets (DAN-FT) stelde de modellen in staat om de voorheen beste resultaten (SOTA) op Salzinnes en Einsiedeln te evenaren of te overtreffen.
Gradient Accumulation: Het model dat gebruikmaakte van 8-voudige gradient accumulation (DAN(8)-shared) presteerde beter dan alle andere configuraties, inclusief de vorige SOTA, over de meeste metrieken en datasets.
Finale SOTA: Het gefinetunede model met gradient accumulation (DAN(8)-FT) bereikte de laagste foutpercentages op alle datasets. Zo verminderde het op de uitdagende Solesmes-dataset de AMLER van 23,17% (baseline) naar 10,81%, en op Einsiedeln van 5,14% naar 2,73%.

Betekenis en Claims
De paper claimt dat de primaire waarde van dit werk ligt in het mogelijk maken van de gedeelde pretraining en fine-tuning pijplijn. Door de coderingen te harmoniseren, laten de auteurs zien dat het samenvoegen van datasets met wederzijds compatibele notatieprincipes een "fundamenteel model" oplevert dat in staat is de diverse visuele domeinen van de Gregoriaanse notatie aan te kunnen.

De auteurs merken bescheiden op dat hoewel hun gemeenschappelijke codering gebaseerd is op S-GABC, deze specifieke wijzigingen bevat (bijv. het herintroduceren van holle noten, het verwijderen van onzekere leesmarkeringen) om aan te sluiten bij OMR-taken. Ze noemen hun codering niet bij naam, wat suggereert dat het gezien moet worden als een stap naar een volledige implementatie van S-GABC in plaats van een vervanging. Het werk bevestigt dat grootschalige, geautomatiseerde begrip van Gregoriaanse manuscripten haalbaar is via OMR, mits de datadiversiteit wordt opgelost door systematische harmonisatie van de codering.

Het Probleem: Vier Dialecten van Dezelfde Taal

De Oplossing: Een Universele Vertaler

De Resultaten: Een Nieuwe State of the Art

Waarom Dit Belangrijk Is (Volgens het Papier)

Meer zoals dit