🤖 machine learning

PianoCoRe: Combined and Refined Piano MIDI Dataset

Este artigo apresenta o PianoCoRe, um conjunto de dados MIDI de piano em grande escala, unificado e refinado, que compreende mais de 250.000 performances com alinhamentos ao nível das notas, acompanhado de ferramentas inovadoras para classificação de qualidade e refinamento de alinhamento, a fim de avançar a modelagem de performances expressivas e a pesquisa em recuperação de informações musicais.

Autores originais: Ilya Borovik

Publicado 2026-05-08

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ilya Borovik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a tocar piano com emoção humana. Para fazer isso, você precisa de duas coisas: a partitura (as instruções) e uma gravação de uma pessoa real tocando-a (a expressão).

Por muito tempo, os pesquisadores tiveram um problema: tinham ou uma montanha de partituras sem gravações, ou milhares de gravações sem partituras, ou os dois não correspondiam corretamente. Era como ter uma biblioteca de receitas, mas sem fotos dos pratos prontos, ou um milhão de fotos de pratos, mas sem ideia de quais ingredientes foram usados.

Este artigo apresenta o PianoCoRe, uma nova e massiva "biblioteca" que resolve esse caos. Veja como funciona, explicado de forma simples:

1. A Grande Limpeza (O Trabalho do "Bibliotecário")

O autor, Ilya Borovik, reuniu várias pilhas existentes de dados de piano da internet e as fundiu. Mas, em vez de apenas jogá-las em um monte, ele agiu como um bibliotecário superorganizado:

Correspondência: Ele usou um programa de computador inteligente para associar as partituras às gravações corretas, mesmo que os nomes dos arquivos estivessem bagunçados ou diferentes.
Limpeza: Ele encontrou e removeu "duplicatas" (como encontrar duas cópias da mesma música tocada pela mesma pessoa e manter apenas uma).
Controle de Qualidade: Ele construiu um "inspetor robótico" (um classificador) que analisa as gravações e diz: "Esta é lixo", "Esta é apenas um computador lendo a partitura de forma robótica" ou "Esta é uma excelente performance humana". Ele descartou as ruins.

2. O Pipeline "RAScoP" (O "Editor")

Às vezes, a correspondência entre a partitura e a gravação não é perfeita. Talvez a gravação tenha pulado um sinal de repetição, ou o computador tenha ficado confuso e adicionado uma nota que não existia.
O autor criou uma ferramenta chamada RAScoP (Refined Alignment for Scores and Performances). Pense nisso como um editor inteligente:

Ele encontra os "glitches" onde o ritmo está estranho.
Ele preenche as lacunas onde a gravação perdeu uma nota (adivinhando qual deveria ser a nota com base na música ao redor).
Ele garante que a partitura e a gravação estejam perfeitamente sincronizadas, nota por nota.

3. O Resultado: Uma Biblioteca em Níveis

O resultado final é um enorme conjunto de dados chamado PianoCoRe, que contém mais de 250.000 performances de 5.600 peças por 483 compositores. São mais de 21.000 horas de música!

Para torná-lo útil para diferentes pessoas, o autor organizou-o em "níveis" (como seções diferentes em uma biblioteca):

PianoCoRe-C (Toda a Coleção): A mistura massiva e bruta de tudo. Boa para projetos de grandes dados.
PianoCoRe-B (A Versão Limpa): As duplicatas e o lixo foram removidos. Esta é a versão "segura" para treinar modelos de IA.
PianoCoRe-A (A Versão Perfeitamente Alinhada): As gravações que correspondem perfeitamente à partitura, com o "editor" (RAScoP) corrigindo quaisquer erros de ritmo. Este é o padrão ouro para ensinar robôs a tocar com expressividade.

4. Funcionou? (A Prova)

O autor testou essa nova biblioteca treinando um robô para tocar piano.

O Teste: Ele ensinou robôs usando pequenos conjuntos de dados bagunçados e os comparou com um robô treinado em seu novo conjunto de dados limpo e enorme.
O Resultado: O robô treinado no PianoCoRe foi muito melhor em tocar com ritmo e emoção semelhantes aos humanos. Ele não se confundiu tão facilmente ao tocar novas músicas que nunca tinha visto antes.

Por Que Isso Importa

Antes disso, os pesquisadores tinham que passar meses limpando seus próprios dados, muitas vezes acabando com conjuntos de dados pequenos e bagunçados. O PianoCoRe oferece a eles uma base pronta para uso e de alta qualidade. É como dar a um chef uma caixa de ingredientes pré-picados, pré-lavados e perfeitamente medidos, em vez de um saco de vegetais crus e lamacentos.

Nota Importante: O autor teve muito cuidado para incluir apenas músicas que estão em "domínio público" (antigas o suficiente para que o direito autoral tenha expirado), garantindo que esta biblioteca seja legal e segura para todos usarem para sempre.

Em resumo: O PianoCoRe é a biblioteca definitiva, limpa e perfeitamente correspondida de música para piano que ajuda os computadores a aprender a tocar como humanos.

Resumo Técnico: PianoCoRe: Conjunto de Dados MIDI de Piano Combinado e Refinado

1. Declaração do Problema

Conjuntos de dados de música simbólica contendo partituras e performances correspondentes são críticos para tarefas de Recuperação de Informação Musical (MIR), particularmente para modelar a interpretação expressiva. No entanto, os recursos existentes sofrem de limitações significativas:

Fragmentação: Conjuntos de dados gravados de alta fidelidade (por exemplo, MAESTRO, ASAP) oferecem precisão, mas carecem de escala e diversidade estilística. Por outro lado, conjuntos de dados transcritos em grande escala (por exemplo, GiantMIDI-Piano, Aria-MIDI) oferecem escala, mas frequentemente contêm erros de transcrição, carecem de alinhamentos precisos ao nível da nota e sofrem de metadados inconsistentes.
Incompatibilidade: Esquemas de nomenclatura e padrões de metadados incompatíveis tornam difícil combinar conjuntos de dados sem arriscar vazamento de informações.
Problemas de Qualidade: Arquivos MIDI transcritos frequentemente contêm dados corrompidos, transcrições "tipo partitura" inexpressivas, duplicatas e ruído temporal (por exemplo, jitter de ataque, artefatos de pitch infinito).
Restrições Legais: Muitos conjuntos de dados existentes incluem material protegido por direitos autorais, limitando sua utilidade acadêmica a longo prazo.

Existe uma lacuna crítica para um recurso unificado e em grande escala que combine a escala de dados transcritos com a precisão de performances gravadas, tudo legalmente sustentável e alinhado às partituras.

2. Metodologia

O artigo apresenta o PianoCoRe, um conjunto de dados construído por meio de um pipeline de curadoria e refinamento em múltiplos estágios.

2.1 Coleta e Correspondência de Dados

O conjunto de dados integra cinco fontes principais de código aberto: ASAP, ATEPP, GiantMIDI-Piano, PERiScoPe e Aria-MIDI.

Filtragem Legal: O conteúdo é restrito a obras em domínio público dentro da União Europeia para garantir sustentabilidade legal.
Processamento de Partituras: Arquivos MusicXML são convertidos para MIDI usando a biblioteca partitura. Isso envolve desenrolar ornamentos (trinos, mordentes), expandir notas de adorno e lidar com repetições (criando versões máxima e mínima).
Estratégia de Correspondência: Um pipeline de três estágios corresponde performances às partituras:
1. Seleção de Candidatos: Filtragem baseada no nome do compositor, razão de contagem de notas ( $0,75 \le R_n \le 1,33$ ) e palavras-chave do catálogo.
2. Alinhamento de Notas: Uso do DualDTWNoteMatcher (do Parangonar) com Warping de Tempo Dinâmico (DTW) otimizado por Numba para calcular alinhamentos ao nível da nota.
3. Verificação: Um par é aceito se o recall do alinhamento ( $R_a$ ) exceder 0,7.

2.2 Avaliação de Qualidade e Deduplicação

Para produzir o subconjunto PianoCoRe-B, os autores abordam duplicatas e problemas de qualidade:

Deduplicação: Um heurístico baseado em conteúdo agrupa performances com $\ge 50\%$ de ataques de notas similares (dentro de 50ms). Um arquivo "principal" é retido com base na prioridade da fonte.
Classificador de Qualidade MIDI: Um codificador transformer de 12 camadas (pré-treinado no Aria-MIDI) é treinado para classificar arquivos MIDI em quatro categorias: Partitura (sem expressão), Alta Qualidade (HQ), Baixa Qualidade (LQ) e Corrompido.
- Dados de Treinamento: Rótulos são gerados via um heurístico suave baseado em razões de alinhamento ( $R'_a$ ). Corrupções sintéticas (remoção de notas, jitter) são usadas para equilibrar o conjunto de dados.
- Desempenho: O classificador atinge uma pontuação F1 macro de 89,1%, distinguindo efetivamente transcrições tipo partitura de performances expressivas.

2.3 Refinamento de Alinhamento (RAScoP)

Para criar os subconjuntos PianoCoRe-A/A*, os autores introduzem o RAScoP (Alinhamento Refinado para Partituras e Performances), um pipeline para limpar alinhamentos brutos:

Processamento de Lacunas de Alinhamento: Remove grandes regiões de alinhamentos esparsos ou sem sentido (por exemplo, repetições não executadas) usando uma abordagem de janela deslizante.
Limpeza de Ataque: Filtra desvios intra-ataque (tempo de acordes) e corrige intervalos inter-ataque que implicam tempos irreais (15–480 BPM). Ajusta o tempo global para corresponder às estimativas de tempo local.
Interpolação de Notas: Interpola linearmente notas faltantes (deleções) com base em notas executadas vizinhas, calculando a média de duração e velocidade. Notas interpoladas são marcadas com marcadores de texto MIDI.
Sincronização: Alinha a estrutura de batida da performance à partitura (opcional na versão final para preservar o tempo original).

3. Principais Contribuições

Conjunto de Dados PianoCoRe: Uma coleção unificada de 250.046 performances de 5.625 peças por 483 compositores, totalizando 21.763 horas. É lançado em subconjuntos escalonados:
- PianoCoRe-C: A coleção completa, de fontes mistas.
- PianoCoRe-B: Um subconjunto deduplicado e com avaliação de qualidade (214.092 performances) para pré-treinamento em grande escala.
- PianoCoRe-A: Um subconjunto alinhado por notas (157.207 performances) com alinhamentos limpos.
- PianoCoRe-A:* Um subconjunto de alta confiança (130.275 performances) com recall de alinhamento $\ge 85\%$ .
Classificador de Qualidade MIDI: Um modelo treinado para detectar transcrições corrompidas e tipo partitura sem exigir áudio ou partituras verdadeiras.
Pipeline RAScoP: Um algoritmo de código aberto para refinar alinhamentos de notas, limpar outliers temporais e interpolar notas faltantes.
Sustentabilidade Legal: O conjunto de dados é curado para cumprir as regulamentações de domínio público da UE, garantindo acessibilidade a longo prazo.

4. Resultados e Avaliação

O artigo valida o conjunto de dados por meio de uma tarefa de interpretação expressiva de performance usando o modelo PianoFlow (correspondência de fluxo condicional).

Convergência de Treinamento: Modelos treinados em conjuntos de dados maiores e refinados (PianoCoRe-A) mostraram sobreajuste atrasado e menores perdas de validação em comparação com modelos treinados em subconjuntos menores (por exemplo, apenas ASAP) ou dados não refinados.
Geração Incondicional: Modelos treinados no PianoCoRe-A demonstraram maior robustez e correlações de Pearson mais altas com características verdadeiras (velocidade, intervalos inter-ataque, articulação) em conjuntos de teste não vistos em comparação com baselines.
Continuação de Performance: Em uma tarefa de continuação através de quatro domínios de origem distintos (ASAP, ATEPP, PERiScoPe, Aria-MIDI), o modelo treinado no conjunto de dados completo PianoCoRe-A alcançou o melhor ou segundo melhor desempenho em todos os domínios, demonstrando robustez a distribuições de dados variáveis.
Impacto do Refinamento: O uso do RAScoP (removendo ruído temporal) mostrou-se crucial; modelos treinados em alinhamentos brutos sem limpeza performaram pior em características de tempo (IOI e OD).

5. Significado e Afirmações

O artigo afirma que o PianoCoRe fornece uma "base pronta para uso para a próxima geração de pesquisa em performance de piano expressiva". Seu significado reside em:

Escala e Diversidade: Oferece a maior coleção de código aberto de pares partitura-performance alinhados por notas até a data (157.207 performances no PianoCoRe-A).
Controle de Qualidade: Ao integrar um classificador de qualidade e o pipeline RAScoP, aborda o problema de "ruído" inerente a conjuntos de dados transcritos em grande escala, permitindo o treinamento de modelos mais precisos e robustos.
Reprodutibilidade: A estrutura escalonada e os metadados unificados permitem que pesquisadores criem divisões de dados não sobrepostas através de conjuntos de dados anteriormente isolados, facilitando pesquisa reprodutível.
Acessibilidade: O conjunto de dados está disponível abertamente no Zenodo e Hugging Face sob licença CC-BY-NC-SA 4.0, com código para o pipeline e classificador fornecido.

Os autores notam limitações, incluindo um viés em direção ao repertório clássico ocidental, erros residuais potenciais nas partituras MusicXML de origem e o fato de que a interpolação atualmente não modela efeitos de pedal de sustentação. Eles sugerem que trabalhos futuros poderiam estender essas metodologias para repertórios de múltiplos instrumentos e anotações mais granulares.