Towards a foundational model for recognising diastematic Gregorian notation

Sintesi Tecnica: Verso un modello fondazionale per il riconoscimento della notazione gregoriana diastematica

Definizione del Problema
Il riconoscimento ottico della musica (OMR) per il canto gregoriano ha registrato progressi recenti attraverso metodi end-to-end, eppure il campo è ostacolato dalla frammentazione dei dati. Sebbene esistano quattro distinti dataset (GregoSynth, Salzinnes, Einsiedeln e Solesmes) per la notazione diastematica (con rigo), essi utilizzano codifiche incompatibili (GABC, Pseudo-GABC e S-GABC). Questa eterogeneità impedisce l'unione delle risorse per addestrare modelli più grandi e robusti. Inoltre, i dataset esistenti contengono campioni "quasi-duplicati" in cui le stringhe di ground truth sono identiche o estremamente simili, ma le immagini differiscono leggermente, o viceversa, complicando la suddivisione tra addestramento e validazione e potenzialmente gonfiando le metriche di performance.

Metodologia
Gli autori propongono una pipeline per unificare queste disparate risorse in un unico ecosistema di addestramento:

1. Armonizzazione e Pulizia dei Dati:

   • Rimozione dei Duplicati: Gli autori hanno implementato una pipeline di pulizia per identificare e rimuovere i campioni quasi-duplicati. Un campione è considerato un duplicato se la distanza di Levenshtein tra le stringhe di ground truth è ≤3 e l'indice di similarità strutturale (SSIM) tra le immagini è ≥0,97. Questo processo ha ridotto leggermente la dimensione totale del dataset, ma ha garantito esempi di addestramento distinti.
   • Codifica Unificata: Il contributo tecnico centrale è la definizione di una codifica comune basata sulla proposta del Systematic GABC (S-GABC). Gli autori hanno decodificato al contrario l'indocumentato "Pseudo-GABC" utilizzato nei dataset Salzinnes ed Einsiedeln e hanno mappato tutti e tre i formati di input (GABC, S-GABC, Pseudo-GABC) in questo formato condiviso.
   • Conversione: Utilizzando le grammatiche Lark, gli autori hanno analizzato le trascrizioni originali in alberi sintattici e le hanno trasformate nella codifica comune. Questo processo ha preservato informazioni essenziali riguardanti la melodia, il testo, l'allineamento e il raggruppamento dei neumi, rimuovendo al contempo simboli di formattazione irrilevanti e risolvendo le ambiguità (ad esempio, standardizzando le posizioni degli episemi orizzontali a 0 e 1).

2. Architettura del Modello e Addestramento:

   • Modello Base: Gli autori hanno selezionato l'architettura DAN (Deep Attention Network), che aveva mostrato una forte performance in lavori precedenti, rispetto allo Sheet Music Transformer grazie alla velocità di addestramento.
   • Strategia di Addestramento:
     • Pre-addestramento Condiviso: Un modello condiviso è stato addestrato sui dataset combinati e armonizzati. Per evitare che l'enorme dataset sintetico GregoSynth dominasse il processo di apprendimento, è stato sottoposto a un campionamento casuale (downsampling) in ogni epoca per eguagliare la dimensione del secondo dataset più grande (Salzinnes).
     • Accumulo del Gradiente: Per affrontare il limite della dimensione del batch pari a 1 (utilizzata in precedenza a causa delle scale d'immagine non uniformi), gli autori hanno impiegato un accumulo del gradiente su 8 iterazioni.
     • Fine-tuning: I pesi del modello condiviso sono stati utilizzati per inizializzare modelli sottoposti a fine-tuning su singoli dataset del mondo reale (Salzinnes, Einsiedeln, Solesmes) con un tasso di apprendimento ridotto ($10^{-5}$).

Contributi Chiave

• Dataset Unificato: La creazione di un dataset armonizzato in cui quattro fonti precedentemente incompatibili sono state unite in uno schema di codifica comune, consentendo l'addestramento congiunto.
• Modello Fondazionale: L'addestramento di un modello end-to-end condiviso che stabilisce un nuovo stato dell'arte (SOTA) su tutti e quattro i dataset, dimostrando che l'unione dei dati migliora la generalizzazione.
• Protocollo di Addestramento Migliorato: La dimostrazione che l'accumulo del gradiente su 8 iterazioni supera significativamente l'addestramento con dimensione del batch 1 in questo dominio.
• Riproducibilità: Il rilascio degli strumenti di conversione (grammatiche Lark) e dei dataset puliti.

Risultati
Gli autori hanno valutato le performance utilizzando cinque metriche: Melody Error Rate (MER), Character Error Rate (CER), Syllable Error Rate (SylER), Alignment Error Rate (ALER) e la combinata All-Metric Error Rate (AMLER).

• Performance del Modello Condiviso: Il modello "DAN-shared" (addestrato sui dati combinati senza fine-tuning) ha generalmente superato il modello base DAN su GregoSynth e Salzinnes, ma ha faticato sul dataset Solesmes, più piccolo e diversificato, rispetto al suo baseline specifico.
• Impatto del Fine-tuning: Il fine-tuning del modello condiviso su singoli dataset (DAN-FT) ha permesso ai modelli di eguagliare o superare i migliori risultati precedenti (SOTA) su Salzinnes ed Einsiedeln.
• Accumulo del Gradiente: Il modello che utilizza l'accumulo del gradiente su 8 iterazioni (DAN(8)-shared) ha superato tutte le altre configurazioni, incluso il precedente SOTA, nella maggior parte delle metriche e dei dataset.
• SOTA Finale: Il modello fine-tuned con accumulo del gradiente (DAN(8)-FT) ha ottenuto i tassi di errore più bassi su tutti i dataset. Ad esempio, sul complesso dataset Solesmes, ha ridotto l'AMLER dal 23,17% (baseline) al 10,81%, e su Einsiedeln ha ridotto l'AMLER dal 5,14% al 2,73%.

Significatività e Rivendicazioni
Il lavoro sostiene che il valore primario di questa ricerca risieda nell'abilitare la pipeline di pre-addestramento condiviso e fine-tuning. Armonizzando le codifiche, gli autori dimostrano che l'unione di dataset con principi di notazione mutuamente compatibili produce un "modello fondazionale" capace di gestire i diversi domini visivi della notazione gregoriana.

Gli autori notano con modestia che, sebbene la loro codifica comune sia basata su S-GABC, essa include modifiche specifiche (ad esempio, la reintroduzione di note vuote, la rimozione di marcatori di lettura incerti) per adattarsi ai compiti di OMR. Non denominano la loro codifica, suggerendo che debba essere vista come un passo verso una piena implementazione di S-GABC piuttosto che come un sostituto. Il lavoro conferma che la comprensione automatizzata su larga scala dei manoscritti del canto gregoriano è fattibile attraverso l'OMR, a condizione che l'eterogeneità dei dati venga risolta attraverso un'armonizzazione sistematica della codifica.