MusPyExpress: Extending MusPy with Enhanced Expression Text Support

A música existe em dois mundos distintos. Um é o som que ouvimos, um fluxo fluido de ondas que preenche uma sala. O outro é o manual de instruções que os músicos usam para criar esse som, uma página estática de símbolos conhecidos como partitura. Durante décadas, os computadores foram muito bons em ler o primeiro mundo, transformando áudio em dados, mas tiveram dificuldade com o segundo. Quando pesquisadores queriam ensinar um computador a entender ou criar música, eles dependiam de um formato digital chamado MIDI. Este formato é excelente em dizer ao computador quais notas tocar e quando tocá-las, agindo como uma lista precisa de instruções para um pianista robô. No entanto, esta lista carece de uma camada crucial de nuance humana. Ela diz à máquina as notas, mas deixa de fora as instruções emocionais que dizem a um intérprete humano como senti-las.

Na partitura ocidental, os compositores preenchem os espaços entre as notas com palavras e símbolos que guiam a performance. Estas não são apenas sugestões; são comandos específicos sobre velocidade, volume e estilo. Um compositor pode escrever "adagio" para dizer ao intérprete para ir devagar, ou "crescendo" para indicar um aumento gradual no volume. Eles podem marcar uma seção para ser tocada com um toque agudo e desprendido ou um fluxo suave e conectado. Estas instruções, conhecidas como texto de expressão, são o roteiro que transforma uma sequência de notas em uma obra de arte viva e pulsante. Até agora, as ferramentas padrão para ensinar música aos computadores ignoraram amplamente este roteiro, tratando as notas como a única coisa que importa. Esta lacuna significava que, embora os computadores pudessem gerar uma melodia, eles não podiam facilmente gerar o humor, a tensão ou a forma dinâmica que faz a música parecer humana.

Uma equipe de pesquisadores abordou esta limitação criando uma nova ferramenta chamada MusPyExpress. Este software é uma atualização de uma biblioteca existente usada por cientistas da computação para processar dados musicais. O novo sistema foi projetado para ler as instruções ricas e detalhadas encontradas no MusicXML, um formato usado para partituras digitais que é muito mais expressivo do que o antigo padrão MIDI. Ao construir esta extensão, os pesquisadores permitiram que os computadores extraíssem e compreendessem toda a gama de texto de expressão, desde marcações de tempo que alteram a velocidade da música até símbolos de dinâmica que controlam o quão alto ou baixo deve ser uma nota. Eles trataram estas instruções não como meros comentários, mas como pontos de dados essenciais que podem ser armazenados, analisados e usados para ensinar máquinas a compor com sentimento.

Para provar que esta nova ferramenta poderia lidar com a complexidade da música do mundo real, os pesquisadores recorreram a uma vasta coleção de partituras de domínio público contendo mais de 220.000 arquivos. Eles usaram o MusPyExpress para escanear esta biblioteca e descobriram que a grande maioria destas canções, mais de 95 por cento, continha estas instruções expressivas. No total, o software identificou mais de 3,5 milhões de marcações individuais através da coleção. A análise revelou que estas instruções não estão espalhadas aleatoriamente; elas seguem padrões que refletem a própria história da música. Por exemplo, os pesquisadores descobriram que os compositores do período Romântico, que viveram no século XIX, usaram estas marcações expressivas com muito mais frequência do que os compositores dos períodos anteriores, Barroco ou Clássico. Isso se alinha com a prática histórica, pois os compositores românticos frequentemente escreviam direções emocionais específicas para guiar os intérpretes, enquanto compositores anteriores dependiam mais das convenções de performance de sua época.

O estudo também mostrou como a densidade destas instruções varia ao longo de uma peça musical. Marcações estruturais, como letras de ensaio que dividem uma canção em seções, aparecem com menos frequência e estão mais espaçadas. Em contraste, instruções sobre tempo e volume podem ser muito concentradas, aparecendo frequentemente para moldar o fluxo imediato da melodia. Os pesquisadores observaram até mesmo que certos compositores, como Liszt e Debussy, preencheram suas partituras com estes detalhes, enquanto outros os usaram de forma mais parcimoniosa. Este mapeamento detalhado do texto de expressão forneceu a primeira imagem clara de quanto dado emocional está escondido dentro de partituras digitais padrão, dados que eram anteriormente inacessíveis para a maioria dos modelos computacionais.

Com esta nova capacidade de ler e compreender o texto de expressão, os pesquisadores demonstraram três formas distintas de um computador usar esta informação. Primeiro, mostraram que um modelo pode aprender a gerar tanto as notas quanto as instruções de expressão ao mesmo tempo, imitando a maneira como um compositor humano escreve uma partitura. Segundo, treinaram um sistema para criar música baseada em um conjunto específico de instruções emocionais, permitindo que um usuário forneça uma sequência de palavras como "lento, alto, depois suave" e tenha o computador gerar uma melodia que se ajuste a esse humor. Isto poderia ser útil para criar música de fundo para filmes ou videojogos onde o som precisa corresponder a um arco narrativo específico. Terceiro, testaram um sistema que poderia pegar uma sequência de notas pura e sem emoção e adicionar automaticamente as marcações de expressão apropriadas, efetivamente anotando uma melodia bruta com o contexto emocional que lhe faltava.

Os experimentos mostraram que, quando o computador recebia estas instruções expressivas, sua capacidade de criar música realista melhorava. Modelos que aprenderam a gerar notas e texto de expressão juntos, ou que usaram o texto de expressão como guia, produziram resultados mais consistentes com padrões musicais humanos do que modelos que olhavam apenas para as notas. Os pesquisadores descobriram que a abordagem mais eficaz envolvia alimentar as instruções de expressão ao modelo pouco antes de ele gerar as notas correspondentes, permitindo que o computador antecipasse a direção emocional da música. Embora os modelos não tenham replicado perfeitamente a complexidade de uma performance humana, os resultados sugeriram que incluir estas instruções textuais ajuda significativamente o computador a entender a estrutura e o sentimento de uma peça.

Este trabalho não pretende afirmar ter resolvido o problema da inteligência artificial criando música perfeita, nem sugere que as máquinas possam agora substituir os compositores humanos. Em vez disso, estabelece um novo fundamento para como os computadores interagem com as partituras. Ao desbloquear a camada expressiva da partitura, o MusPyExpress permite que os pesquisadores construam modelos que estejam cientes de todo o contexto de uma composição. Os pesquisadores planejam usar esta ferramenta para anotar grandes coleções de músicas existentes que atualmente carecem destes detalhes emocionais, potencialmente trazendo um novo nível de expressividade para vastas bibliotecas de música digital. O objetivo final não é substituir o toque humano, mas dar às máquinas o vocabulário para compreender e reproduzir as instruções sutis que transformam uma sequência de notas em uma história.