MusicSynth: An Automated Pipeline for Generating Violin Fingerboard Animations from Sheet Music Using Optical Music Recognition

MusicSynth é um pipeline de código aberto baseado no navegador que gera automaticamente tutoriais de animação do braço do violino a partir de imagens de partituras ou arquivos digitais, integrando reconhecimento óptico de partituras, análise de MusicXML e uma tabela de consulta personalizada de notas para posições.

O essencial

Imagine tentar aprender a tocar violino. Diferente de um piano, onde você apenas pressiona uma tecla específica, ou de uma guitarra, onde você pressiona uma corda contra uma traste de metal, o braço do violino é completamente liso e em branco. Não há marcações para indicar onde colocar os dedos. Se você estiver fora mesmo por uma fração minúscula de milímetro, a nota soa errada. Para um iniciante, isso é como tentar encontrar uma casa específica em uma cidade sem placas de rua ou números nas casas.

MusicSynth é uma nova ferramenta web gratuita projetada para atuar como essas placas de rua ausentes.

Veja como funciona, dividido em etapas simples:

1. O Problema: O "Mapa em Branco"

Quando um estudante olha para uma partitura, ele vê as notas, mas não sabe onde no violino colocar os dedos. Livros tradicionais mostram as notas, mas não a posição da mão. Existem aplicativos que ouvem você tocar, mas eles não conseguem olhar para uma imagem de uma música e dizer como tocá-la.

2. A Solução: Um "Tradutor Mágico"

MusicSynth é como um tradutor que fala dois idiomas: Partitura e Posicionamento dos Dedos.

• Você envia: Uma foto de uma música para violino (tirada com seu celular) ou um arquivo digital da música.
• Ele processa: O sistema lê a música, identifica cada nota individual e, em seguida, calcula instantaneamente exatamente qual corda e qual dedo você precisa usar.
• Você recebe: Um vídeo que toca diretamente no seu navegador web. Ele mostra um diagrama do braço do violino, iluminando o local correto para cada nota conforme a música toca. Você pode baixar esse vídeo para praticar a qualquer hora, em qualquer lugar.

3. Como Foi Construído: A "Linha de Montagem"

O autor não inventou uma nova tecnologia do zero. Em vez disso, ele construiu um fluxo de trabalho que conecta três ferramentas existentes, como conectar três vagões de trem diferentes para formar um trem longo:

1. O Scanner (OMR): Este é o "olho". Ele olha para sua foto da partitura e transforma a imagem em uma lista de notas.
2. O Cérebro (A Tabela de Consulta): Esta é a "salsa secreta" que o autor criou. É um livro de regras massivo que diz: "Se a nota for 'Lá', coloque seu primeiro dedo na corda Ré". Ele segue regras de ensino padrão usadas por professores de violino há anos.
3. O Animador: Este é o "artista". Ele pega a lista de notas e desenha um vídeo quadro a quadro, mostrando um ponto vermelho para a nota atual e pontos azuis para as notas que vêm a seguir.

4. Quão Bem Funciona?

O autor testou essa ferramenta em 110 músicas diferentes para violino, variando de peças fáceis para iniciantes até peças avançadas mais difíceis.

• Se você enviar um arquivo digital: É quase perfeito. Ele acerta o posicionamento dos dedos 99,1% das vezes.
• Se você enviar uma foto: É muito bom ao ler partituras impressas e limpas, acertando as notas cerca de 91% das vezes.
• A Funcionalidade "Olhar à Frente": O vídeo não mostra apenas a nota atual; ele mostra as próximas notas em pequenos círculos azuis, dando um "aviso prévio" para que você possa preparar a mão antes que a música chegue lá.

5. O Que Ainda Não Consegue Fazer (As Limitações)

Como qualquer nova ferramenta, ela tem limites:

• É para iniciantes e intermediários: Cobre os primeiros anos de aprendizado (a "primeira posição"). Se uma música exigir mover a mão bem acima do braço para tocar notas muito agudas, a ferramenta pode pular essas notas em vez de adivinhar.
• Precisa de fotos claras: Se a partitura for manuscrita, muito desfocada ou tiver muitas notas tocando ao mesmo tempo (como uma partitura complexa de orquestra), o "scanner" pode ficar confuso.
• Não é ao vivo: Você não pode tocar o violino enquanto o computador observa você. Você precisa assistir ao vídeo e praticar junto.

A Conclusão

Antes desta ferramenta, se você quisesse transformar uma imagem de partitura em um guia de posicionamento dos dedos, teria que fazê-lo manualmente ou usar uma combinação de diferentes programas caros. MusicSynth é a primeira ferramenta gratuita baseada em navegador que faz todo o trabalho em um único clique. Ela transforma uma imagem confusa de música em um vídeo tutorial animado e claro, ajudando iniciantes a preencher a lacuna entre ler a música e realmente tocar o instrumento.

Resumo técnico

Resumo Técnico: MusicSynth

Declaração do Problema
A aprendizagem do violino apresenta um desafio pedagógico único em comparação com instrumentos de traste ou teclado: o braço do violino carece de marcadores físicos, exigindo que os iniciantes desenvolvam uma intuição espacial precisa para o posicionamento dos dedos simultaneamente às habilidades de leitura de partitura. As ferramentas educacionais existentes não conseguem preencher essa lacuna de forma eficaz. Os livros de método tradicionais fornecem notação sem guias visuais para os dedos, enquanto aplicativos de feedback como o Yousician exigem entrada de áudio ao vivo, em vez de processar partituras arbitrárias. Além disso, não existe atualmente nenhuma ferramenta gratuita baseada em navegador que possa converter automaticamente uma imagem de partitura em um tutorial animado do braço do violino sem exigir instalação de software ou entrada manual de notas.

Metodologia
O MusicSynth é um aplicativo web de código aberto que integra três bibliotecas de código aberto existentes em um pipeline unificado para automatizar a criação de animações do braço do violino. O sistema aceita dois tipos de entrada: uma fotografia de partitura (PNG/JPG) ou um arquivo digital MusicXML.

1. Reconhecimento Óptico de Música (OMR): Para entradas de imagem, o sistema utiliza o Oemer, uma biblioteca OMR de código aberto. O Oemer processa a imagem para detectar linhas de pauta, cabeças de nota e símbolos rítmicos, gerando os dados no formato MusicXML. Se a qualidade da imagem for insuficiente, o sistema solicita ao usuário que faça upload de uma digitalização mais limpa ou de um arquivo digital.
2. Análise e Extração de Dados: Seja a entrada um arquivo MusicXML bruto ou um gerado pelo Oemer, um analisador baseado em Python extrai o pitch da nota, a duração e o tempo de início. As pausas são processadas para manter o tempo preciso sem gerar saída visual.
3. Consulta ao Braço do Violino (Contribuição Central): O sistema emprega uma tabela de consulta personalizada que mapeia notas musicais (faixa MIDI G3–G6) para cordas específicas do violino (G, D, A, E) e posições dos dedos (0 para corda solta, 1–3 para primeira posição). Esta tabela segue a pedagogia padrão do violino (por exemplo, método Suzuki), priorizando digitações que minimizem cruzamentos de cordas e deslocamentos de mão. Notas bemoladas são normalizadas para seus equivalentes sustenidos para simplificar a lógica de consulta.
4. Renderização de Vídeo: Utilizando a PIL (Python Imaging Library) e o MoviePy, o sistema gera um vídeo quadro a quadro. Cada quadro exibe um diagrama do braço do violino com:
   • Quatro linhas de cordas.
   • Marcadores de posição.
   • Um grande círculo vermelho indicando a nota atual (com nome da nota e rótulo de posição).
   • Círculos ciano menores indicando notas futuras (dicas de antecipação).
   • Um carimbo de data e hora e título.
     A saída final é um vídeo MP4 codificado a 30 fps.
5. Implantação: O aplicativo é construído com Streamlit e utiliza o Supabase para autenticação de usuários. Gerencia arquivos temporários por meio de IDs de sessão exclusivos para evitar conflitos. Em ambientes de nuvem com sistemas de arquivos somente leitura, a etapa de OMR é desativada, aceitando apenas entradas MusicXML.

Principais Contribuições

• Pipeline Inédito: O MusicSynth é a primeira ferramenta pública e baseada em navegador a gerar automaticamente tutoriais animados do braço do violino a partir de imagens de partitura sem intervenção manual.
• Tabela de Consulta Pedagógica: O projeto introduz uma tabela de consulta nota-dedo documentada e extensível, cobrindo a faixa padrão para iniciantes (G3–G6) com base na pedagogia estabelecida do violino.
• Integração Ponta a Ponta: Integra com sucesso OMR, análise de MusicXML e renderização de vídeo em um único fluxo de trabalho amigável ao usuário.
• Benchmarking: O sistema fornece uma avaliação quantitativa em 110 partituras de domínio público, estabelecendo métricas de precisão de referência para conversão de imagem para braço do violino.

Resultados e Avaliação
O sistema foi avaliado em 110 partituras de violino de domínio público em cinco categorias: música impressa para iniciantes, intermediários e avançados; páginas digitalizadas de livros Suzuki; e uploads diretos de MusicXML.

• Precisão do Braço do Violino: Quando fornecido com arquivos MusicXML digitais limpos (contornando o OMR), o sistema alcançou 99,1% de precisão na atribuição da corda correta e da posição do dedo. A taxa de erro de 0,9% foi atribuída a casos extremos raros envolvendo armaduras de clave complexas.
• Reconhecimento de Notas (OMR): Para entradas de imagem, a precisão do pitch da nota variou conforme a complexidade:
  • Música impressa para iniciantes: 91,2%
  • Música impressa intermediária: 84,1%
  • Música impressa avançada: 76,8%
  • Páginas Suzuki digitalizadas: 79,3%
• Fontes de Erro: As principais fontes de erro do OMR foram notas em linhas suplementares (comuns em registros altos do violino), tratamento de acidentes em tonalidades ricas em sustenidos e má interpretação rítmica em passagens rápidas e com muitas colcheias agrupadas.
• Velocidade de Processamento: Em uma máquina Apple M2, o tempo total de processamento para entradas de imagem foi em média de 17,1 segundos (dominado pela etapa de OMR de ~14,8s). O processamento direto de MusicXML foi em média de 2,3 segundos.
• Cobertura: A tabela de consulta cobre 91,0% das notas únicas encontradas nos Livros Suzuki 1–3, com 100% de cobertura para o Livro 1. As notas ausentes residem em posições mais altas (além da sétima posição) não tipicamente encontradas por iniciantes.

Significado e Alegações
O artigo afirma que o MusicSynth atende a uma necessidade específica e não atendida na educação musical, removendo a barreira da transcrição manual e da instalação de software. Seu significado não reside na invenção de novas tecnologias subjacentes (OMR, analisadores e renderizadores já existem), mas na integração desses componentes em uma ferramenta especializada e centrada no violino.

O autor enfatiza que a ferramenta é projetada para prática assíncrona: os usuários preparam vídeos com antecedência, em vez de usar o sistema para feedback em tempo real. Embora o sistema tenha limitações — especificamente em relação a posições mais altas, polifonia complexa e partituras manuscritas —, ele oferece uma alternativa funcional e gratuita para que iniciantes visualizem o posicionamento dos dedos para uma ampla gama de repertório padrão. O projeto é de código aberto, com código e uma demonstração ao vivo disponíveis sob a licença MIT.