💻 computer science

Towards a foundational model for recognising diastematic Gregorian notation

Este artigo propõe um modelo fundamental para o reconhecimento de notação gregoriana diastemática ao unificar quatro conjuntos de dados anteriormente díspares em uma codificação S-GABC comum, estabelecendo assim um novo estado da arte em todos eles.

Autores originais: Daniel Kurek, Jan Hajič jr

Publicado 2026-07-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Daniel Kurek, Jan Hajič jr

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de manuscritos musicais antigos. Não são apenas músicas comuns; são cantos gregorianos, a música sagrada da Igreja Católica, escritos há mais de 1.000 anos. Esses manuscritos são belos, mas difíceis de ler, até mesmo para especialistas.

Por muito tempo, computadores tentaram aprender a ler essas páginas manuscritas automaticamente (um processo chamado Reconhecimento de Música Óptica, ou OMR). Mas havia um grande problema: os computadores estavam falando idiomas diferentes.

O Problema: Quatro Dialetos da Mesma Língua

Pense nos quatro conjuntos de dados que os pesquisadores usaram como quatro grupos diferentes de pessoas tentando descrever a mesma imagem.

O Grupo A descreve a imagem usando um código específico chamado GABC.
O Grupo B usa um código ligeiramente diferente chamado Pseudo-GABC.
O Grupo C usa S-GABC.
O Grupo D usa outra variação.

Mesmo que todos estejam descrevendo exatamente o mesmo tipo de música (as notas e a letra), a "ortografia" de suas descrições era diferente. Era como tentar ensinar um robô a reconhecer um cachorro, mas uma pessoa o chama de "canino", outra de "cachorro" e outra usa um código secreto. Como as descrições não coincidiam, os pesquisadores não podiam combinar todos os seus dados para ensinar ao robô uma lição melhor. Eles estavam presos treinando quatro cérebros menores e separados, em vez de um único cérebro gigante e inteligente.

A Solução: Um Tradutor Universal

Limpando a Bagunça: Primeiro, eles perceberam que alguns dos dados estavam "ruidosos". Imagine ter duas fotos da mesma música que eram idênticas até o último pixel. Se o computador vir a mesma foto duas vezes, ele fica confuso. Eles usaram uma "borracha" digital para remover essas cópias duplicadas e garantir que cada peça de dado fosse única.
A Linguagem Comum: Eles projetaram um novo código compartilhado baseado em uma proposta chamada S-GABC. Eles pegaram todos os quatro conjuntos de dados diferentes e os traduziram para esta única linguagem unificada. Agora, em vez de quatro dialetos diferentes, todos falavam a mesma língua.
O "Modelo Fundamental": Com todos os dados falando a mesma língua, eles treinaram um modelo de IA único e poderoso (chamado DAN) em toda a coleção de uma só vez. Pense nisso como um mestre cuca que provou receitas de quatro regiões diferentes e aprendeu a cozinhar todas elas perfeitamente, em vez de apenas uma.

Os Resultados: Um Novo Estado da Arte

Quando testaram este novo modelo "mestre cuca":

Ele aprendeu de forma mais rápida e melhor do que as tentativas anteriores.
Quando pegaram este modelo mestre e deram a ele um pouco de prática extra especificamente em um dos conjuntos de dados difíceis (um processo chamado ajuste fino ou fine-tuning), ele se tornou ainda mais afiado.
Em quase todos os testes, essa nova abordagem superou os melhores resultados anteriores. Cometeu menos erros ao ler as notas, a letra e ao combinar as palavras com as notas corretas.

Por Que Isso Importa (Segundo o Artigo)

O artigo afirma que, ao unificar esses diferentes conjuntos de dados, eles criaram um modelo fundamental. Isso significa que construíram uma IA forte e de propósito geral que entende a notação do canto gregoriano melhor do que nunca.

Em vez de precisar de um programa de computador diferente para cada estilo de manuscrito, agora temos uma ferramenta robusta que pode lidar com os diversos estilos visuais dessas canções antigas. Isso torna muito mais fácil digitalizar e estudar os milhares de manuscritos que ainda existem, transformando tinta antiga ilegível em música digital pesquisável.

Em resumo: Eles pegaram quatro grupos de pessoas falando diferentes dialetos, ensinaram todos a falar a mesma língua e, depois, treinaram um estudante superinteligente com o grupo combinado. O resultado? Um estudante que consegue ler música antiga melhor do que qualquer pessoa jamais conseguiu.

Resumo Técnico: Rumo a um modelo fundamental para o reconhecimento de notação gregoriana diastemática

Declaração do Problema
O Reconhecimento de Música Óptica (OMR) para o canto gregoriano tem visto progressos recentes através de métodos de ponta a ponta, mas o campo é dificultado pela fragmentação de dados. Embora existam quatro conjuntos de dados distintos (GregoSynth, Salzinnes, Einsiedeln e Solesmes) para a notação diastemática (com pauta), eles utilizam codificações incompatíveis (GABC, Pseudo-GABC e S-GABC). Essa heterogeneidade impede a união de recursos para treinar modelos maiores e mais robustos. Além disso, os conjuntos de dados existentes contêm amostras "quase duplicadas", onde as strings de verdade fundamental (ground truth) são idênticas ou extremamente similares, mas as imagens diferem ligeiramente, ou vice-versa, complicando a divisão de treinamento/validação e potencialmente inflando as métricas de desempenho.

Metodologia
Os autores propõem um pipeline para unificar esses recursos díspares em um único ecossistema de treinamento:

Harmonização e Limpeza de Dados:
- Remoção de Duplicatas: Os autores implementaram um pipeline de limpeza para identificar e remover amostras quase duplicadas. Uma amostra é considerada duplicada se a distância de Levenshtein entre as strings de verdade fundamental for ≤3 e o Índice de Similaridade Estrutural (SSIM) entre as imagens for ≥0,97. Este processo reduziu ligeiramente o tamanho total do conjunto de dados, mas garantiu exemplos de treinamento distintos.
- Codificação Unificada: A principal contribuição técnica é a definição de uma codificação comum baseada na proposta do GABC Sistemático (S-GABC). Os autores fizeram engenharia reversa do "Pseudo-GABC" não documentado usado nos conjuntos de dados Salzinnes e Einsiedeln e mapearam todos os três formatos de entrada (GABC, S-GABC, Pseudo-GABC) para este formato compartilhado.
- Conversão: Utilizando gramáticas Lark, os autores analisaram as transcrições originais em árvores de análise (parse trees) e as transformaram na codificação comum. Este processo preservou informações essenciais sobre melodia, texto, alinhamento e agrupamento de neumas, ao mesmo tempo que removeu símbolos de formatação irrelevantes e resolveu ambiguidades (por exemplo, padronizando as posições de episema horizontal para 0 e 1).
Arquitetura do Modelo e Treinamento:
- Modelo Base: Os autores selecionaram a arquitetura DAN (Deep Attention Network), que apresentou forte desempenho em trabalhos anteriores, em vez do Sheet Music Transformer devido à velocidade de treinamento.
- Estratégia de Treinamento:
  - Pré-treinamento Compartilhado: Um modelo compartilhado foi treinado nos conjuntos de dados combinados e harmonizados. Para evitar que o massivo conjunto sintético GregoSynth dominasse o processo de aprendizagem, ele foi subamostrado aleatoriamente em cada época para corresponder ao tamanho do segundo maior conjunto de dados (Salzinnes).
  - Acumulação de Gradiente: Para abordar a limitação do tamanho de lote (batch size) 1 (usado em trabalhos anteriores devido a escalas de imagem desiguais), os autores empregaram acumulação de gradiente de 8 vezes.
  - Ajuste Fino (Fine-tuning): Os pesos do modelo compartilhado foram usados para inicializar modelos ajustados em conjuntos de dados do mundo real individuais (Salzinnes, Einsiedeln, Solesmes) com uma taxa de aprendizado reduzida ( $10^{-5}$ ).

Principais Contribuições

Conjunto de Dados Unificado: A criação de um conjunto de dados harmonizado onde quatro fontes anteriormente incompatíveis são fundidas em um único esquema de codificação, permitindo o treinamento conjunto.
Modelo Fundamental: O treinamento de um modelo de ponta a ponta compartilhado que estabelece um novo estado da arte (SOTA) em todos os quatro conjuntos de dados, demonstrando que a união de dados melhora a generalização.
Protocolo de Treinamento Melhorado: A demonstração de que a acumulação de gradiente de 8 vezes supera significativamente o treinamento padrão de tamanho de lote 1 neste domínio.
Reprodutibilidade: O lançamento das ferramentas de conversão (gramáticas Lark) e dos conjuntos de dados limpos.

Resultados
Os autores avaliaram o desempenho usando cinco métricas: Taxa de Erro de Melodia (MER), Taxa de Erro de Caractere (CER), Taxa de Erro de Sílaba (SylER), Taxa de Erro de Alinhamento (ALER) e a Taxa de Erro de Todas as Métricas (AMLER) combinada.

Desempenho do Modelo Compartilhado: O modelo "DAN-shared" (treinado com dados combinados sem ajuste fino) geralmente superou o modelo base DAN no GregoSynth e Salzinnes, mas teve dificuldades no conjunto de dados Solesmes, que é menor e mais diverso, em comparação com seu respectivo modelo base.
Impacto do Ajuste Fino: O ajuste fino do modelo compartilhado em conjuntos de dados individuais (DAN-FT) permitiu que os modelos igualassem ou excedessem os melhores resultados anteriores (SOTA) no Salzinnes e Einsiedeln.
Acumulação de Gradiente: O modelo utilizando acumulação de gradiente de 8 vezes (DAN(8)-shared) superou todas as outras configurações, incluindo o SOTA anterior, na maioria das métricas e conjuntos de dados.
SOTA Final: O modelo ajustado com acumulação de gradiente (DAN(8)-FT) alcançou as menores taxas de erro em todos os conjuntos de dados. Por exemplo, no desafiador conjunto de dados Solesmes, reduziu o AMLER de 23,17% (base) para 10,81%, e no Einsiedeln, reduziu o AMLER de 5,14% para 2,73%.

Significância e Alegações
O artigo afirma que o valor primordial deste trabalho reside em viabilizar o pipeline de pré-treinamento compartilhado e ajuste fino. Ao harmonizar as codificações, os autores demonstram que a fusão de conjuntos de dados com princípios de notação mutuamente compatíveis gera um "modelo fundamental" capaz de lidar com os diversos domínios visuais da notação gregoriana.

Os autores observam modestamente que, embora sua codificação comum seja baseada no S-GABC, ela inclui modificações específicas (por exemplo, reintrodução de notas vazias, remoção de marcadores de leitura incerta) para adequá-la às tarefas de OMR. Eles não nomeiam sua codificação, sugerindo que ela deve ser vista como um passo em direção a uma implementação completa do S-GABC, em vez de um substituto. O trabalho confirma que a compreensão automatizada em larga escala de manuscritos de canto gregoriano é viável através de OMR, desde que a heterogeneidade dos dados seja resolvida através da harmonização sistemática da codificação.

O Problema: Quatro Dialetos da Mesma Língua

A Solução: Um Tradutor Universal

Os Resultados: Um Novo Estado da Arte

Por Que Isso Importa (Segundo o Artigo)

Mais como este