Resumo Técnico: Sheet Music Benchmark (SMB) e OMR-NED

1. Declaração do Problema

O Reconhecimento Óptico de Música (OMR) continua sendo um desafio significativo dentro da Recuperação de Informação Musical (MIR). Embora o Aprendizado Profundo (DL) tenha deslocado o campo dos métodos baseados em regras para pipelines de transcrição de ponta a ponta, a área carece de um corpus de benchmark abrangente e de alta qualidade. Os conjuntos de dados existentes sofrem de limitações críticas:

• Tamanho e Diversidade Insuficientes: Corpora precoces como o OMRTestCorpus são pequenos demais para o treinamento moderno de DL.
• Escopo Limitado: Datasets como o CVC-MUSCIMA focam apenas na remoção de linhas de pauta, enquanto o PrIMuS é restrito a níveis monofônicos e de região de pauta.
• Viés Sintético: Datasets como o GrandStaff são gerados sinteticamente com diversidade limitada de compositores.
• Restrições de Formato: Datasets recentes como o OLiMPiC dependem de XML Linearizado, exigindo processamento adicional para renderizar partituras completas.
• Deficiências de Avaliação: A métrica padrão, Taxa de Erro de Símbolo (SER), fornece uma contagem global de erros, mas falha em oferecer insights diagnósticos detalhados sobre erros de notação específicos (por exemplo, distinguir entre erros de altura, classificações incorretas de acidentes ou falhas de detecção de ligaduras).

Consequentemente, a avaliação rigorosa de desempenho e a comparação qualitativa entre sistemas de OMR são dificultadas pela ausência de um dataset padronizado, de página inteira e de ponta a ponta, bem como de uma métrica de avaliação mais informativa.

2. Metodologia e Contribuições

2.1 O Dataset Sheet Music Benchmark (SMB)

Os autores introduzem o SMB, um dataset que compreende 685 páginas (4.039 regiões) de partituras codificadas no formato Humdrum kern. O dataset foi construído utilizando a biblioteca KernScores, com todas as etapas de anotação realizadas por especialistas musicalmente treinados para garantir uma verdade fundamental (ground truth) de alta qualidade.

• Processo de Anotação: Partituras digitalizadas foram carregadas no HumanSignal. Especialistas atribuíram tags de textura (Monofonia, Pianoform, Quarteto e Outros) e delimitaram regiões com caixas delimitadoras (bounding boxes). As anotações foram fornecidas ao nível da pauta e como anotações diplomáticas de página inteira, adequadas para análise de layout e transcrição de página completa.
• Estratégia de Codificação: O dataset utiliza o formato kern por sua eficiência e compatibilidade com o ecossistema Humdrum. Para lidar com a ambiguidade do kern bruto (onde símbolos podem ser representados de várias formas), os autores implementaram um pipeline de pós-processamento usando o pacote kernpy. Isso gerou três formatos:
  1. raw: Codificação fragmentada original da rotulagem.
  2. kern: kern padronizado com cabeçalhos e caminhos de espinha (spine paths) adequados.
  3. ekern (Extended kern): Uma versão tokenizada onde categorias semânticas (duração, altura, acidente) são separadas por delimitadores ("@" e "·"), reduzindo significativamente o tamanho do vocabulário ao custo de um aumento no comprimento da sequência.
• Composição dos Dados: O dataset abrange diversos períodos (Barroco ao Ragtime) e compositores (ex: Bach, Chopin, Mozart, Joplin). A distribuição é dominada pelo Pianoform (469 páginas), seguido por Monofonia (115), Quarteto (79) e Outros (22).

2.2 O OMR Normalized Edit Distance (OMR-NED)

Para abordar as limitações da SER, os autores propõem o OMR-NED, uma métrica projetada para fornecer tanto uma pontuação de desempenho numérica única quanto um perfil de erro detalhado.

• Mecanismo: O OMR-NED é construído sobre uma versão melhorada do MusicDiff (originalmente Music-Score-Diff). Ao contrário das distâncias de edição tradicionais que operam em strings de caracteres, o OMR-NED compara símbolos musicais visuais.
• Granularidade: Ele categoriza erros em elementos de notação específicos:
  • Notas/Pausas: Altura, acidente, ligadura, cabeça da nota, bandeirolas/ligaduras de grupo, pontos, articulações, ornamentos e notas de ornamento.
  • Não-Notas: Dinâmicas, claves, armaduras de clave, fórmulas de compasso, ligaduras de prolongamento, ottavas, indicações, arpejos, símbolos de acordes, letras e finais.
• Cálculo: A métrica calcula o número médio de inserções e deleções de símbolos necessários para converter uma partitura prevista para a partitura de referência, normalizado pelo total de símbolos de ambas as partituras. Crucialmente, uma substituição é tratada como uma deleção do símbolo antigo e uma inserção do novo, em vez de uma única operação de edição.
• Saída: A ferramenta gera um relatório CSV detalhando as distâncias de edição para cada categoria, permitindo que pesquisadores identifiquem fraquezas específicas do sistema (ex: má detecção de ligaduras vs. erros de altura).

3. Resultados Experimentais

Os autores estabeleceram um baseline utilizando o Sheet Music Transformer (uma arquitetura encoder-decoder) treinado no dataset SMB usando validação cruzada de 5 dobras (5-fold cross-validation). O modelo foi treinado do zero (sem pesos pré-treinados) por 400 épocas em uma NVIDIA RTX 4080.

• Desempenho: Os resultados indicam que o OMR continua sendo uma tarefa desafiadora, com altas taxas de erro mesmo para modelos de estado da arte.
  • Monofonia: Alcançou o menor OMR-NED (94,1% para kern, 98,8% para ekern) e SER (57,1%).
  • Pianoform: Mostrou desempenho significativamente melhor do que texturas polifônicas, com um OMR-NED de 57,4% (kern) e SER de 31,4%.
  • Quarteto & Outros: Exibiram taxas de erro mais altas, com o OMR-NED de Quarteto atingindo 92,3% (kern) e SER de 39,8%.
• Impacto da Codificação: O formato ekern geralmente resultou em taxas de erro mais altas em comparação ao kern nestes experimentos de baseline, provavelmente devido ao aumento do comprimento da sequência e da complexidade do vocabulário tokenizado.

4. Estudo de Caso: OMR-NED vs. SER

O artigo apresenta uma análise comparativa de dois exemplos de transcrição para demonstrar a utilidade do OMR-NED:

1. Monofônico com Letras: Enquanto a SER forneceu uma taxa de erro global, o OMR-NED revelou que 65% dos erros estavam em Notas e 35% em Letras, permitos a depuração direcionada.
2. Pianoform: O OMR-NED mostrou que 88,2% dos erros estavam em Notas, mas também destacou uma taxa de erro de 11,8% na categoria Extra (dinâmicas, claves, armaduras de clave). Este nível de detalhe é invisível para a SER padrão, que reportaria apenas uma porcentagem agregada única.

Os autores observam que o OMR-NED tende a penalizar os erros mais severamente do que a SER devido à sua contagem granular de símbolos individuais (ex: tratando uma mudança de fórmula de compasso como duas edições em vez de uma substituição).

5. Significância e Alegações

O artigo posiciona o SMB e o OMR-NED como ferramentas fundamentais para avançar o campo do OMR:

• Padronização: O SMB fornece o primeiro dataset de página inteira, de ponta a ponta e publicamente disponível, projetado especificamente para benchmarking de sistemas modernos de OMR baseados em DL, abordando a "lacuna de longa data" em recursos de avaliação.
• Capacidade Diagnóstica: O OMR-NED vai além de simples métricas de precisão para permitir uma "análise de erro detalhada e granular". Isso permite que pesquisadores identifiquem características de notação específicas (ex: ligaduras, acidentes) onde os modelos falham, facilitando o desenvolvimento de arquiteturas mais robustas.
• Framework Comunitário: Ao fornecer divisões de dataset padronizadas e uma nova métrica, os autores visam facilitar avaliações de desempenho claras e comparáveis entre sistemas de OMR, de forma semelhante a como benchmarks como MAPS ou GTZAN impulsionaram o progresso em outros subcampos de MIR.

Os autores concluem que, embora os resultados do baseline mostrem amplo espaço para melhorias, a combinação de SMB e OMR-NED estabelece o framework rigoroso necessário para a avaliação sistemática e o avanço futuro do Reconhecimento Óptico de Música.