A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

Imagine que você é um bibliotecário tentando salvar as receitas manuscritas mais belas do mundo. No entanto, em vez de tinta e papel, essas receitas estão escritas em notas musicais em partituras. Durante décadas, os computadores tornaram-se muito bons em ler melodias simples de linha única — como a parte de um solista de flauta. Eles podem olhar para uma imagem da música e transformá-la em um arquivo digital que um computador possa tocar. Esse campo é chamado de Reconhecimento Óptico de Música (OMR). É como ensinar um robô a ler um livro de canções para que ele possa cantar a melodia de volta para você ou ajudar um músico a praticar.

No entanto, as coisas ficam bagunçadas quando você tenta ler a música de uma banda inteira de uma só vez. Imagine um quarteto de cordas: quatro instrumentos diferentes (dois violinos, uma viola e um violoncelo) tocando quatro linhas diferentes de música simultaneamente, todos compactados na mesma página. É um quebra-cabeça visual com notas se cruzando, símbolos diferentes para diferentes instrumentos e caligrafia desordenada de séculos atrás. Até agora, os computadores tiveram dificuldades com essa música "multipartida" porque não tinham um conjunto de prática adequado para aprender. É como tentar ensinar um aluno a ler um romance complexo quando ele só praticou com cartões de memorização de frases únicas.

É aqui que uma nova equipe de pesquisadores entra com uma ferramenta massiva chamada OSSQ-OMR. Eles construíram o primeiro dataset dedicado especificamente para essas partituras complexas de quarteto de cordas. Pense nisso como uma biblioteca gigante, perfeitamente organizada, onde cada página escaneada de uma partitura antiga é pareada com seu gêmeo digital perfeito. Eles não apenas pegaram imagens aleatórias; eles passaram centenas de horas corrigindo manualmente as versões digitais para que coincidissem exatamente com os scans antigos, até o menor ponto e linha.

Com esta nova biblioteca em mãos, os pesquisadores testaram dois diferentes "robôs leitores" (modelos de computador) para ver qual deles aprenderia melhor. Eles descobriram que os robôs aprendiam melhor quando eram ensinados a ler a linha de um instrumento por vez, em vez de tentarem engolir a página inteira de uma só vez. Eles também descobriram que a maneira como a música é escrita digitalmente importa mais do que o design do cérebro do robô. Os melhores resultados vieram de um formato específico chamado LMXE, que alcançou uma taxa de erro muito baixa de apenas 3,6% em imagens limpas geradas por computador e 5,9% em páginas reais escaneadas. Embora isso prove que ensinar computadores a ler música de quarteto complexa é definitivamente possível, os resultados também mostram que ainda há muito espaço para melhorias, especialmente ao lidar com a realidade desordenada e imperfeita das partituras de papel antigas.

O Panorama Geral: O Que Eles Fizeram e Descobriram

Os pesquisadores criaram o OSSQ-OMR, o primeiro dataset projetado especificamente para ajudar computadores a reconhecer música para quartetos de cordas. Antes disso, a maioria das ferramentas de visão computacional para música era treinada em músicas simples de linha única ou música para piano. Quartetos de cordas são muito mais difíceis porque envolvem quatro vozes independentes tocando ao mesmo tempo, muitas que envolvem layouts complexos, claves diferentes e caligrafias que variam amplamente de editor para editor.

Para construir este dataset, a equipe começou com 116 partituras digitais existentes de quartetos de cordas. Em seguida, eles caçaram as versões escaneadas originais dessas partituras na biblioteca IMSLP. Aqui está a parte complicada: os arquivos digitais originais nem sempre correspondiam perfeitamente aos scans. Às vezes, um compasso estava faltando, ou um símbolo estava no lugar errado. Os autores passaram mais de 100 horas editando manualmente os arquivos digitais para torná-los visualmente idênticos às imagens escaneadas. Eles também organizaram os dados em dois níveis: nível de sistema (a linha inteira de música com todos os quatro instrumentos) e nível de pauta (apenas a linha de um instrumento). Finalmente, eles converteram a música em três formatos de texto digitais diferentes: LMXE, kern e ABC.

O dataset é enorme. Contém 24.544 imagens de sistema e 98.172 imagens de pauta derivadas desses 116 scores. Cerca de metade dessas imagens são sintéticas (versões limpas geradas por computador) e a outra metade é escaneada de livros antigos reais.

Para testar se este dataset realmente ajuda, os pesquisadores estabeleceram um "benchmark", que é como um exame padronizado para modelos de computador. Eles testaram dois tipos populares de modelos de IA:

1. Zeus: Um modelo baseado em processamento sequencial antigo (LSTM).
2. SMT: Um modelo mais novo usando uma arquitetura Transformer (semelhante à tecnologia por trás dos chatbots modernos).

Eles executaram esses modelos no dataset usando diferentes configurações para ver qual combinação funcionava melhor. Aqui está o que encontraram:

• Ler uma linha de cada vez é melhor: Os modelos tiveram um desempenho significativamente melhor quando foram solicitados a ler apenas a pauta de um instrumento (nível de pauta) em vez de toda a página de uma vez (nível de sistema). Embora ler a página inteira dê ao computador mais contexto (como ver o que os outros instrumentos estão fazendo), os modelos não pareceram usar essa informação extra para cometer menos erros. Na verdade, as taxas de erro foram menores quando os modelos focaram em uma única linha.
• O formato importa mais do que o cérebro: Os pesquisadores testaram nove maneiras diferentes de transformar a música em tokens de texto (as "palavras" que o computador lê). Eles descobriram que o formato LMXE produziu consistentemente os melhores resultados, independentemente de qual modelo fosse usado. Surpreendentemente, o modelo Transformer mais novo (SMT) teve um desempenho pior no formato kern do que no LMXE, embora o SMT tenha sido originalmente projetado para o kern.
• A compressão não ajudou: Eles tentaram usar o "Byte-Pair Encoding" (BPE) no formato ABC, que é um método para encurtar o texto agrupando caracteres comuns. Eles esperavam que isso pudesse ajudar, mas na verdade tornou os resultados piores. À medida que o tamanho do vocabulário para a compressão aumentava, a taxa de erro também subia.
• Mundo real vs. Dados limpos: Os modelos tiveram um desempenho muito melhor nas imagens sintéticas limpas (taxas de erro de apenas 3,6%) do que nas imagens escaneadas desordenadas (taxas de erro em torno de 5,9%). Isso é esperado, pois imagens escaneadas possuem ruído, sombras e tinta irregular. No entanto, o modelo mais antigo do tipo LSTM (Zeus) foi mais robusto a essa bagunça do que o modelo Transformer mais novo (SMT). Ao mudar de dados limpos para escaneados, o desempenho do Zeus caiu cerca de 39%, enquanto o do SMT caiu drasticamente 100%.

O artigo também testou um modelo externo chamado Legato, que foi treinado em um dataset diferente. Quando tentaram usar o Legato nesses novos dados de quarteto de cordas sem retreiná-lo, os resultados foram terríveis (taxas de erro acima de 36% em dados sintéticos e 66% em dados escaneados). Isso sugere que apenas o pré-treinamento de um modelo em dados musicais gerais não é suficiente; você precisa treinar o modelo especificamente para o tipo de música que deseja ler.

Em conclusão, os autores mostram que ensinar computadores a ler partituras complexas de quartetos de cordas é viável, mas requer os dados certos e a maneira correta de formatar esses dados. A melhor configuração que encontraram alcançou uma taxa de erro de 3,6% em dados sintéticos e 5,9% em dados escaneados. Embora este seja um ótimo começo, o artigo sugere que ainda há muito trabalho a ser feito para tornar esses sistemas tão bons quanto os humanos na leitura do caos desordenado e belo das partituras do mundo real. Eles também dão a entender que pesquisas futuras devem olhar para conjuntos ainda maiores, como orquestras completas, e tentar construir modelos que possam ler páginas inteiras de uma vez sem a necessidade de picotá-las primeiro.