🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

Este artigo apresenta o MulTTiPop, um conjunto de dados composto por 572 segmentos diversos de música pop alinhados com gravações MIDI multifaixa, que é utilizado para avaliar e demonstrar lacunas significativas de desempenho em modelos de transcrição automática de música de última geração.

Autores originais: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ler música pelo ouvido. Você quer que ele ouça uma música pop completa — bateria, baixo, guitarras, vocais, tudo misturado — e escreva exatamente o que cada um dos instrumentos está tocando. Parece legal, certo? Mas aqui está o problema: até agora, não tínhamos uma boa "folha de respostas" para verificar se o robô estava fazendo certo. A maioria das folhas de respostas existentes era ou para piano solo (fácil demais), ou feita por computadores (perfeita demais), ou listava apenas a melodia principal e os acordes (simples demais).

Apresentamos o MulTTiPop, um novo conjunto de dados criado por pesquisadores da Carnegie Mellon University para resolver isso. Pense no MulTTiPop como uma enorme playlist de 3,5 horas de sucessos pop reais, desde a década de 1930 até os anos 2000, acompanhada de uma "partitura mágica" que diz exatamente o que cada instrumento está fazendo, com precisão de milissegundos.

O Grande Jogo de Correspondência

Como eles construíram isso? Foi como um jogo de alto risco de "Encontre a Correspondência".

As Pistas: Eles começaram com uma lista gigante de vídeos do YouTube de músicas pop (de um banco de dados chamado TheoryTab) e uma biblioteca gigante de partituras digitais (do Lakh MIDI Dataset).
O Primeiro Filtro: Eles usaram magia de computador para combinar títulos de músicas e nomes de artistas. Se os nomes fossem quase idênticos, eles mantinham o par. Isso reduziu o número para cerca de 1.164 correspondências potenciais.
A Reviravolta do Tempo: Aqui é onde fica complicado. Mesmo que a música seja a mesma, o "ritmo" na partitura digital pode ser um pouco mais rápido ou mais lento do que o vídeo real do YouTube. É como duas pessoas tentando dançar a mesma música, mas uma delas está arrastando levemente os pés.
O Toque Humano: Para corrigir o tempo, os pesquisadores usaram um truque inteligente. Eles encontraram um "batida âncora" específica (um momento onde a música definitivamente se alinha) e então esticaram ou encolheram a partitura digital para corresponder perfeitamente ao ritmo do vídeo real. Mas os computadores não são perfeitos em escolher essa batida âncora. Por isso, eles pediram a anotadores humanos (estudantes que amam música e tecnologia) para ouvir o vídeo e olhar a partitura digital lado a lado para escolher o alinhamento correto.

No final, eles alinharam com sucesso 572 segmentos de música. Isso dá cerca de 3,5 horas de áudio, cobrindo 374 músicas únicas de 263 artistas diferentes.

O Choque de Realidade: Os Robôs Ainda Têm um Longo Caminho a Percorrer

Os pesquisadores não apenas construíram o conjunto de dados; eles imediatamente colocaram os melhores músicos robôs à prova. Eles pediram a dois modelos de IA de alto nível (chamados MT3 e YourMT3+) para ouvir esses clipes do MulTTiPop e escrever as notas.

Os resultados? Os robôs tiveram dificuldades.

O melhor modelo conseguiu apenas cerca de 38% de acerto no início das notas (uma métrica chamada "Onset F1").
Os robôs frequentemente ficavam confusos quando a música ficava densa. Eles podiam ouvir a melodia, mas perder o baixo, ou ficavam presos em um instrumento e ignoravam o resto.
Um modelo tentou adivinhar os vocais, mas os rotulou como um saxofone (o que é engraçado, mas errado).

O artigo sugere que a razão pela qual esses robôs falham é que eles foram treinados principalmente em músicas artificiais geradas por computador (como o conjunto de dados Slakh2100), em vez de gravações de pop comercial reais e bagunçadas. É como ensinar um chef a cozinhar mostrando apenas modelos de comida plástica e perfeita, e depois entregar a ele um bife real e suculento e esperar que ele saiba o que fazer.

O Que Este Conjunto de Dados É (e o Que Não É)

Os autores são muito claros sobre as regras do jogo:

É para TESTAR: O MulTTiPop é um "exame final" para a transcrição musical por IA. Ele foi projetado para nos mostrar onde os robôs estão falhando para que possamos consertá-los.
NÃO é para TREINAR: Os pesquisadores explicitamente descartam o uso deste conjunto de dados para ensinar os robôs. Como as músicas são sucessos comerciais protegidos por direitos autorais e o conjunto de dados é relativamente pequeno, usar isso para treinar um modelo seria injusto e juridicamente questionável.
Tem um viés: O artigo admite que as músicas escolhidas são majoritariamente de música pop ocidental (artistas americanos, harmonia ocidental). O texto sugere que, se um robô se sair bem no MulTTiPop, ele é bom em pop ocidental, mas não podemos ter certeza de que ele se sairia bem com músicas de outras partes do mundo ou de diferentes tradições.

A Conclusão

O MulTTiPop é uma nova ferramenta vital que finalmente nos dá uma "folha de respostas" realista para a música pop complexa. Ele prova que, embora nossos transcritores musicais de IA estejam melhorando em tarefas simples, eles ainda têm um espaço substancial para melhoria antes que possam realmente entender o caos desordenado e maravilhoso de uma banda de pop real. Os robôs estão atualmente tirando um "C-" neste teste, e os pesquisadores estão esperançosos de que, com este novo conjunto de dados, eles possam ajudá-los a estudar mais e tirar um "A" na próxima vez.

Resumo Técnico: MulTTiPop

Declaração do Problema

A Transcrição Automática de Música (AMT) avançou da transcrição de piano solo para uma cobertura mais ampla de instrumentos e estilos. No entanto, uma lacuna significativa permanece na transcrição multitrack para música pop comercial do mundo real. Os modelos existentes falham frequentemente em músicas produzidas comercialmente porque são treinados em dados sintéticos (ex: Slakh2100) ou domínios limitados (ex: piano solo no MAESTRO). Além disso, a avaliação sistemática é dificultada pela falta de conjuntos de dados que pareiem áudio pop comercial com transcrições multitrack de ground truth (verdade fundamental) alinhadas temporalmente. Embora conjuntos de dados como o TheoryTab ofereçam áudio comercial, eles fornecem apenas anotações de melodia e acordes fracamente alinhadas, não MIDI multitrack completo. Por outro lado, conjuntos de dados como o RWC-Pop oferecem MIDI multitrack, mas carecem de diversidade de gênero e utilizam músicas compostas especificamente para pesquisa, em vez de pop do mundo real.

Metodologia

Os autores introduzem o MulTTiPop, um conjunto de dados criado ao alinhar segmentos de áudio pop comercial com arquivos MIDI multitrack. O processo de construção envolve quatro etapas principais:

Correspondência Baseada em Metadados:
- Fonte de Áudio: Os segmentos são extraídos do conjunto de dados TheoryTab (25.947 alvos iniciais), que contém anotações de melodia/acordes geradas por usuários e timestamps de vídeos do YouTube.
- Fonte de MIDI: Arquivos MIDI multitrack são extraídos do Lakh MIDI Dataset (LMD), especificamente o subconjunto correspondente ao Million Song Dataset (31.305 músicas).
- Correspondência: Os autores calculam a distância de Levenshtein entre os metadados de artista e título de música do TheoryTab e do LMD usando RapidFuzz. Esta filtragem resulta em 1.164 correspondências potenciais.
Alinhamento Temporal Baseado em Batidas (Beats):
- Como os tempos (tempos) de MIDI frequentemente diferem ligeiramente do áudio comercial, um alinhamento refinado é necessário.
- Rastreamento de Batidas: Os autores utilizam o rastreamento de batidas baseado em RNN (via madmom) no segmento de áudio (com padding de 0,5s) para extrair uma grade de batidas de áudio ( $b_a$ ). A grade de batidas MIDI ( $b_m$ ) é derivada da estrutura interna do arquivo.
- Warping (Distorção): Para lidar com discrepâncias de tempo, o sistema realiza uma interpolação linear nas temporizações das notas MIDI. Ele define uma batida âncora $k$ que liga a primeira batida de áudio à $k$ -ésima batida MIDI, distorcendo o MIDI para coincidir com o tempo do áudio.
Seleção de Batida Âncora Candidata:
- A seleção automática de batida âncora mostrou-se pouco confiável. Os autores geram até quatro alinhamentos candidatos usando diferentes métricas:
  - Base: Similaridade de cosseno de Chroma e correlação de onset (Pearson) entre o MIDI distorcido e o áudio.
  - Melodia: Cosseno de Chroma entre as anotações de melodia do TheoryTab e partes individuais de instrumentos MIDI (ponderado em 75%).
  - Tempo do YouTube (yt): Filtragem de batidas baseada no tempo de início absoluto do vídeo do YouTube em relação à duração total do MIDI.
  - Combinado (yt_melody): Aplicação da métrica de melodia a batidas filtradas pelo tempo do YouTube.
Anotação Humana:
- Anotadores humanos (estudantes de Ciência da Computação e Tecnologia Musical) revisam os candidatos. Eles recebem o áudio original, uma visualização de piano roll, uma versão MIDI sintetizada e uma sobreposição de áudio/MIDI.
- Os anotadores selecionam o alinhamento que melhor corresponde ao áudio. Se nenhum candidato for perfeito, a amostra é rejeitada. Os anotadores também distinguem entre falhas causadas por correspondência incorreta de metadados (música errada) versus problemas de alinhamento (batida/tempo errado).

Principais Contribuições

Dataset MulTTiPop: Uma coleção de 572 segmentos (3,5 horas) de música pop comercial pareados com transcrições MIDI multitrack alinhadas temporalmente.
Diversidade: O conjunto de dados cobre 374 músicas únicas e 263 artistas dos anos 1930 aos anos 2000, abrangendo 101 gêneros (ex: Rock, New Wave, Motown). Isso excede significativamente a diversidade de gêneros do RWC-Pop.
Ground Truth de Áudio Comercial: Ao contrário dos datasets sintéticos, o MulTTiPop fornece ground truth para gravações comerciais totalmente produzidas, abordando o gap "sintético-para-real" na AMT.
Protocolo de Avaliação: O dataset é dividido em conjuntos de desenvolvimento (169 segmentos) e teste (403 segmentos), estratificados por artista para evitar vazamento de dados (data leakage). Os autores recomendam explicitamente usar o MulTTiPop apenas para avaliação, não para treinamento, devido ao seu tamanho e restrições de direitos autorais.

Resultados

Os autores avaliaram dois modelos de estado da arte de AMT, MT3 e YourMT3+, no conjunto de teste do MulTTiPop:

Desempenho: Ambos os modelos tiveram um desempenho pobre em comparação com seus resultados em outros benchmarks (ex: MusicNet, GuitarSet).
- O YourMT3+ alcançou o melhor Onset F1 de 37,87% (Harmônico-Percussivo) e 25,29% (Exato).
- O MT3 alcançou um Onset F1 de 36,83% (Harmônico-Percussivo) e 28,42% (Exato).
Análise Qualitativa:
- Os modelos tiveram dificuldades com músicas texturalmente densas, muitas vezes falhando em produzir transcrições multitrack coerentes.
- O MT3 tendeu a focar em uma ou duas partes de uma música, resultando em transcrições desconexas e rotulagem de instrumentos inconsistente.
- O YourMT3+ mostrou maior consistência, mas perdeu partes de instrumentos e careceu de nuance rítmica. Também identificou incorretamente linhas vocais (frequentemente rotulando-as como saxofone), o que não refletiu bem nas métricas "Exatas".
Conclusão: As baixas pontuações indicam que há "espaço substancial para melhoria" nos sistemas atuais de AMT quando aplicados à música pop multitrack do mundo real.

Significância e Alegações

O artigo posiciona o MulTTiPop como um benchmark necessário para enfrentar a estagnação da AMT na música pop comercial. Sua principal significância reside em:

Preencher a Lacuna: Fornecer o primeiro conjunto de dados deste tipo que pareia áudio comercial com MIDI multitrack completo, permitindo a avaliação rigorosa de modelos destinados ao uso no mundo real.
Revelar Limitações: Demonstrar que os modelos atuais, mesmo treinados em dados multitrack sintéticos (Slakh2100), falham em generalizar para gravações comerciais, destacando a necessidade de melhores dados ou arquiteturas de treinamento.
Amostragem Representativa: Oferecer uma amostra diversa de casos de uso de música popular ocidental para AMT multitrack.

Limitações e Ressalvas:
Os autores observam explicitamente um viés ocidental no dataset, pois o material de origem (TheoryTab/HookTheory) é primariamente americano e centrado no Ocidente. Consequentemente, eles afirmam que o MulTTiPop reflete o desempenho no "cânone da música popular ocidental", e não na música global. Além disso, devido ao pequeno tamanho do dataset e à natureza das etiquetas (áudio comercial protegido por direitos autorais), os autores aconselham estritamente contra o uso do MulTTiPop para treinar modelos generativos.