Towards a foundational model for recognising diastematic Gregorian notation

Résumé technique : Vers un modèle de fondation pour la reconnaissance de la notation grégorienne diastématique

Énoncé du problème
La reconnaissance optique de partitions (OMP) pour le chant grégorien a connu des progrès récents grâce à des méthodes de bout en bout, mais le domaine est entravé par la fragmentation des données. Bien que quatre ensembles de données distincts (GregoSynth, Salzinnes, Einsiedeln et Solesmes) existent pour la notation diastématique (sur portée), ils utilisent des encodages incompatibles (GABC, Pseudo-GABC et S-GABC). Cette hétérogénéité empêche la mise en commun des ressources pour entraîner des modèles plus larges et plus robustes. De plus, les ensembles de données existants contiennent des échantillons « quasi-duplicata » où les chaînes de vérité terrain sont identiques ou extrêmement similaires, bien que les images diffèrent légèrement, ou vice versa, ce qui complique la division entraînement/validation et peut gonfler artificiellement les mesures de performance.

Méthodologie
Les auteurs proposent un pipeline pour unifier ces ressources disparates en un écosystème d'entraînement unique :

1. Harmonisation et nettoyage des données :

   • Suppression des doublons : Les auteurs ont mis en œuvre un pipeline de nettoyage pour identifier et supprimer les échantillons quasi-duplicata. Un échantillon est considéré comme un doublon si la distance de Levenshtein entre les chaînes de vérité terrain est $\le 3$ et que l'indice de similitude structurelle (SSIM) entre les images est $\ge 0,97$. Ce processus a légèrement réduit la taille totale de l'ensemble de données mais a garanti des exemples d'entraînement distincts.
   • Encodage unifié : La contribution technique centrale est la définition d'un encodage commun basé sur la proposition du GABC systématique (S-GABC). Les auteurs ont rétro-conçu le « Pseudo-GABC » non documenté utilisé dans les ensembles de données Salzinnes et Einsiedeln et ont mappé les trois formats d'entrée (GABC, S-GABC, Pseudo-GABC) vers ce format partagé.
   • Conversion : En utilisant des grammaires Lark, les auteurs ont analysé les transcriptions originales en arbres syntaxiques et les ont transformées en l'encodage commun. Ce processus a conservé les informations essentielles concernant la mélodie, le texte, l'alignement et le groupement des neumès, tout en supprimant les symboles de formatage non pertinents et en résolant les ambiguïtés (par exemple, en standardisant les positions des épisemas horizontaux à 0 et 1).

2. Architecture du modèle et entraînement :

   • Modèle de base : Les auteurs ont sélectionné l'architecture DAN (Deep Attention Network), qui avait montré de solides performances dans des travaux antérieurs, plutôt que le Sheet Music Transformer en raison de sa vitesse d'entraînement.
   • Stratégie d'entraînement :
     • Pré-entraînement partagé : Un modèle partagé a été entraîné sur les ensembles de données harmonisés et combinés. Pour éviter que l'énorme ensemble de données synthétiques GregoSynth ne domine le processus d'apprentissage, il a été sous-échantillonné de manière aléatoire à chaque époque pour correspondre à la taille du deuxième plus grand ensemble de données (Salzinnes).

de l'accumulation de gradients : Pour remédier à la limitation de la taille de lot de 1 (utilisée dans les travaux précédents en raison des échelles d'images inégales), les auteurs ont employé une accumulation de gradients sur 8 étapes.
* Affinage (Fine-tuning) : Les poids du modèle partagé ont été utilisés pour initialiser des modèles affinés sur des ensembles de données du monde réel individuels (Salzinnes, Einsiedeln, Solesmes) avec un taux d'apprentissage réduit ($10^{-5}$).

Principales contributions

• Ensemble de données unifié : La création d'un ensemble de données harmonisé où quatre sources auparavant incompatibles sont fusionnées en un schéma d'encodage unique, permettant un entraînement conjoint.
• Modèle de fondation : L'entraînement d'un modèle de bout en bout partagé qui établit un nouveau niveau de l'art (SOTA) sur les quatre ensembles de données, démontrant que la mise en commun des données améliore la généralisation.
• Protocole d'entraînement amélioré : La démonstration qu'une accumulation de gradients sur 8 étapes surpasse significativement l'entraînement standard avec une taille de lot de 1 dans ce domaine.
• Reproductibilité : La publication des outils de conversion (grammaires Lark) et des ensembles de données nettoyés.

Résultats
Les auteurs ont évalué les performances à l'aide de cinq métriques : le taux d'erreur de mélodie (MER), le taux d'erreur de caractères (CER), le taux d'erreur de syllabes (SylER), le taux d'erreur d'alignement (ALER) et le taux d'erreur combiné de toutes les métriques (AMLER).

• Performance du modèle partagé : Le modèle « DAN-shared » (entraîné sur les données combinées sans affinage) a généralement surpassé le modèle de base DAN sur Gre0Synth et Salzinnes, mais a eu des difficultés sur l'ensemble de données Solesmes, plus petit et plus diversifié, par rapport à son propre modèle de base.
• Impact de l'affinage : L'affinage du modèle partagé sur des ensembles de données individuels (DAN-FT) a permis aux modèles d'égaler ou de dépasser les meilleurs résultats précédents (SOTA) sur Salzinnes et Einsiedeln.
• Accumulation de gradients : Le modèle utilisant une accumulation de gradients sur 8 étapes (DAN(8)-shared) a surpassé toutes les autres configurations, y compris le SOTA précédent, sur la plupart des métriques et des ensembles de données.
• SOTA final : Le modèle affiné avec accumulation de gradients (DAN(8)-FT) a obtenu les taux d'erreur les plus bas sur tous les ensembles de données. Par exemple, sur l'ensemble de données exigeant de Solesmes, il a réduit l'AMLER de 23,17 % (base) à 10,81 %, et sur Einsiedeln, de 5,14 % à 2,73 %.

Signification et affirmations
L'article affirme que la valeur principale de ce travail réside dans l'activation du pipeline de pré-entraînement partagé et d'affinage. En harmonisant les encodages, les auteurs démontrent que la fusion d'ensembles de données dotés de principes de notation mutuellement compatibles produit un « modèle de fondation » capable de gérer les divers domaines visuels de la notation grégorienne.

Les auteurs notent modestement que, bien que leur encodage commun soit basé sur le S-GABC, il inclut des modifications spécifiques (par exemple, la réintroduction des notes creuses, la suppression des marqueurs de lecture incertains) pour convenir aux tâches d'OMP. Ils ne nomment pas leur encodage, suggérant qu'il doit être considéré comme une étape vers une implémentation complète du S-GABC plutôt que comme un remplacement. Ce travail confirme que la compréhension automatisée à grande échelle des manuscrits de chant grégorien est réalisable via l'OMP, à condition que l'hétérogénéité des données soit résolue par une harmonisation systématique de l'encodage.