🤖 machine learning

MulTTiPop: A Multitrack Transcription Dataset for Pop Music

Este artículo presenta MulTTiPop, un conjunto de datos que comprende 572 segmentos diversos de música pop alineados con grabaciones MIDI de múltiples pistas, el cual se utiliza para evaluar y demostrar brechas de rendimiento significativas en los modelos de estado del arte de transcripción automática de música.

Autores originales: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Publicado 2026-07-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nathan Pruyne, Benjamin Stoler, William Chen, Chien-yu Huang, Shinji Watanabe, Chris Donahue

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a leer música de oído. Quieres que escuche una canción pop completa —batería, bajo, guitarras, voces, todo mezclado— y que escriba exactamente lo que cada uno de los instrumentos está tocando. Suena genial, ¿verdad? Pero aquí está el problema: hasta ahora, no teníamos una buena "clave de respuestas" para comprobar si el robot lo estaba haciendo bien. La mayoría de las claves de respuestas existentes eran o para piano solo (demasiado fáciles), creadas por computadoras (demasiado perfectas), o solo enumeraban la melodía principal y los acordes (demasiado simples).

Entra MulTTiPop, un nuevo conjunto de datos creado por investigadores de la Universidad Carnegie Mellon para solucionar esto. Piensa en MulTTiPop como una enorme lista de reproducción de 3.5 horas de éxitos pop reales desde la década de 1930 hasta la de 2000, emparejada con una "partitura mágica" que te dice exactamente qué está haciendo cada instrumento, incluso al milisegundo.

El gran juego de emparejar

¿Cómo construyeron esto? Fue como un juego de alto riesgo de "Encontrar la coincidencia".

Las pistas: Comenzaron con una lista gigante de videos de YouTube de canciones pop (de una base de datos llamada TheoryTab) y una biblioteca gigante de partituras digitales (del conjunto de datos Lakh MIDI).
El primer filtro: Usaron magia computacional para emparejar títulos de canciones y nombres de artistas. Si los nombres eran casi idénticos, conservaban la pareja. Esto redujo la selección a unos 1,164 emparejamientos potenciales.
El giro del tempo: Aquí es donde se pone difícil. Incluso si la canción es la misma, el "ritmo" en la partitura digital puede ser ligeramente más rápido o más lento que el video de YouTube real. Es como dos personas tratando de bailar la misma canción, pero una de ellas arrastra un poco los pies.
El toque humano: Para arreglar el tiempo, los investigadores usaron un truco ingenioso. Encontraron un "pulso de anclaje" específico (un momento donde la música definitivamente se alinea) y luego estiraron o comprimieron la partitura digital para que coincidiera perfectamente con el ritmo del video real. Pero las computadoras no son perfectas eligiendo este pulso de anclaje. Por eso, pidieron a anotadores humanos (estudiantes que aman la música y la tecnología) que escucharan el video y miraran la partitura digital lado a lado para elegir la alineación correcta.

Al final, alinearon con éxito 572 segmentos de música. Eso es aproximadamente 3.5 horas de audio, que cubren 374 canciones únicas de 263 artistas diferentes.

La prueba de realidad: Los robots aún tienen un largo camino por recorrer

Los investigadores no solo construyeron el conjunto de datos; inmediatamente pusieron a prueba a los mejores robots músicos. Pidieron a dos modelos de IA de alto nivel (llamados MT3 y YourMT3+) que escucharan estos clips de MulTTiPop y escribieran las notas.

¿Los resultados? Los robots tuvieron dificultades.

El mejor modelo solo logró acertar aproximadamente el 38% de los inicios de nota (una métrica llamada "Onset F1").
Los robots a menudo se confundían cuando la música se volvía densa. Podían escuchar la melodía pero perder el bajo, o se quedaban estancados en un instrumento e ignoraban el resto.
Un modelo intentó adivinar las voces, pero las etiquetó como un saxofón (lo cual es gracioso, pero incorrecto).

El artículo sugiere que la razón por la que estos robots fallan es que fueron entrenados principalmente con música falsa generada por computadora (como el conjunto de datos Slakh2100), en lugar de grabaciones de pop comercial reales y desordenadas. Es como enseñarle a un chef a cocinar mostrándole solo modelos de comida de plástico perfectos, y luego entregarle un filete real y chisporroteante esperando que sepa qué hacer.

Lo que este conjunto de datos ES (y lo que NO es)

Los autores son muy claros sobre las reglas del juego:

ES para probar: MulTTiPop es un "examen final" para la transcripción musical por IA. Está diseñado para mostrarnos dónde están fallando los robots para que podamos arreglarlos.
NO es para entrenar: Los investigadores descartan explícitamente el uso de este conjunto de datos para enseñar a los robots. Debido a que las canciones son éxitos comerciales con derechos de autor y el conjunto de datos es relativamente pequeño, usarlo para entrenar un modelo sería injusto y legalmente dudoso.
Tiene un sesgo: El artículo admite que las canciones elegidas son mayoritariamente de música pop occidental (artistas estadounidenses, armonía occidental). Sugiere que si un robot tiene éxito en MulTTiPop, es bueno en el pop occidental, pero no podemos estar seguros de si lo haría bien con la música de otras partes del mundo o de diferentes tradiciones.

La conclusión

MulTTiPop es una nueva herramienta vital que finalmente nos da una "clave de respuestas" realista para la música pop compleja. Demuestra que, aunque nuestros transcriptores de música por IA están mejorando en tareas simples, todavía tienen un margen sustancial de mejora antes de que puedan comprender verdaderamente el caos desordenado y maravilloso de una banda de pop real. Los robots actualmente están obteniendo una "C-" en este examen, y los investigadores tienen la esperanza de que, con este nuevo conjunto de datos, puedan ayudarlos a estudiar más duro y obtener una "A" la próxima vez.

Resumen Técnico: MulTTiPop

Planteamiento del Problema

La Transcripción Automática de Música (AMT, por sus siglas en inglés) ha avanzado desde la transcripción de piano solo hacia una cobertura más amplia de instrumentos y estilos. Sin embargo, persiste una brecha significativa en la transcripción multitrack para música pop comercial del mundo real. Los modelos existentes suelen fallar en canciones producidas comercialmente porque están entrenados con datos sintéticos (por ejemplo, Slakh2100) o dominios limitados (por ejemplo, piano solo en MAESTRO). Además, la evaluación sistemática se ve obstaculizada por la falta de conjuntos de datos que vinculen audio pop comercial con transcripciones multitrack de verdad de campo (ground truth) alineadas temporalmente. Si bien conjuntos de datos como TheoryTab ofrecen audio comercial, solo proporcionan anotaciones de melodía y acordes débilmente alineadas, no MIDI multitrack completo. Por el contrario, conjuntos de datos como RWC-Pop ofrecen MIDI multitrack pero carecen de diversidad de géneros y utilizan canciones compuestas específicamente para la investigación en lugar de música pop del mundo real.

Metodología

Los autores presentan MulTTiPop, un conjunto de datos creado mediante la alineación de segmentos de audio pop comercial con archivos MIDI multitrack. El proceso de construcción consta de cuatro etapas clave:

Emparejamiento Basado en Metadatos:
- Fuente de Audio: Los segmentos se obtienen del conjunto de datos TheoryTab (25,947 objetivos iniciales), que contiene anotaciones de melodía/acordes generadas por usuarios y marcas de tiempo de videos de YouTube.
- Fuente de MIDI: Los archivos MIDI multitrack se obtienen del Lakh MIDI Dataset (LMD), específicamente el subconjunto emparejado con el Million Song Dataset (31,305 canciones).
- Emparejamiento: Los autores calculan la distancia de Levenshtein entre los metadatos de artista y título de canción de TheoryTab y LMD utilizando RapidFuzz. Este filtrado produce 1,164 coincidencias potenciales.
Alineación Temporal Basada en Pulsos (Beats):
- Dado que los tempos de los MIDI suelen diferir ligeramente del audio comercial, es necesaria una alineación de grano fino.
- Seguimiento de Pulsos (Beat Tracking): Los autores utilizan el seguimiento de pulsos basado en RNN (vía madmom) en el segmento de audio (con un padding de 0.5s) para extraer una rejilla de pulsos de audio ( $b_a$ ). La rejilla de pulsos MIDI ( $b_m$ ) se deriva de la estructura interna del archivo.
- Deformación (Warping): Para manejar las discrepancias de tempo, el sistema realiza una interpolación lineal en los tiempos de las notas MIDI. Define un pulso ancla $k$ que vincula el primer pulso de audio con el $k$ -ésimo pulso MIDI, deformando el MIDI para que coincida con la sincronización del audio.
Selección de Pulso Ancla Candidato:
- Se encontró que la selección automática de pulsos ancla es poco fiable. Los autores generan hasta cuatro alineaciones candidatas utilizando diferentes métricas:
  - Base: Similitud de coseno de Chroma y correlación de onsets (Pearson) entre el MIDI deformado y el audio.
  - Melodía: Similitud de coseno de Chroma entre las anotaciones de melodía de TheoryTab e instrumentos individuales de las partes MIDI (ponderado al 75%).
  - Tiempo de YouTube (yt): Filtrado de pulsos basado en el tiempo de inicio absoluto del video de YouTube relativo a la duración total del MIDI.
  - Combinado (yt_melody): Aplicación de la métrica de melodía a los pulsos filtrados por el tiempo de YouTube.
Anotación Humana:
- Anotadores humanos (estudiantes de Ciencias de la Computación y Tecnología Musical) revisan los candidatos. Se les presenta el audio original, una visualización de piano roll, una versión MIDI sintetizada y una superposición de audio/MIDI.
- Los anotadores seleccionan la alineación que mejor coincida con el audio. Si ningún candidato es perfecto, la muestra es rechazada. Los anotadores también distinguen entre fallos causados por un emparejamiento de metadatos incorrecto (canción errónea) frente a problemas de alineación (pulso/tempo erróneo).

Contribuciones Clave

Conjunto de Datos MulTTiPop: Una colección de 572 segmentos (3.5 horas) de música pop comercial emparejados con transcripciones MIDI multitrack alineadas temporalmente.
Diversidad: El conjunto de datos cubre 374 canciones únicas y 263 artistas desde la década de 1930 hasta la de 2000, abarcando 101 géneros (ej. Rock, New Wave, Motown). Esto supera significativamente la diversidad de géneros de RWC-Pop.
Verdad de Campo de Audio Comercial: A diferencia de los conjuntos de datos sintéticos, MulTTiPop proporciona la verdad de campo para grabaciones comerciales totalmente producidas, abordando la brecha "de lo sintético a lo real" en la AMT.
Protocolo de Evaluación: El conjunto de datos se divide en conjuntos de desarrollo (169 segmentos) y de prueba (403 segmentos), estratificados por artista para evitar la fuga de datos. Los autores recomiendan explícitamente usar MulTTiPop solo para evaluación, no para entrenamiento, debido a su tamaño y restricciones de derechos de autor.

Resultados

Los autores evaluaron dos modelos de estado del arte en AMT, MT3 y YourMT3+, en el conjunto de prueba de MulTTiPop:

Desempeño: Ambos modelos funcionaron deficientemente en comparación con sus resultados en otros benchmarks (ej. MusicNet, GuitarSet).
- YourMT3+ logró el mejor Onset F1 de 37.87% (Armónico-Percusivo) y 25.29% (Exacto).
- MT3 logró un Onset F1 de 36.83% (Armónico-Percusivo) y 28.42% (Exacto).
Análisis Cualitativo:
- Los modelos tuvieron dificultades con la música de textura densa, fallando a menudo en la producción de transcripciones multitrack coherentes.
- MT3 tendió a aferrarse a una o dos partes de una canción, resultando en transcripciones inconexas y etiquetado de instrumentos inconsistente.
- YourMT3+ mostró mejor consistencia, pero omitió partes de instrumentos y careció de matices rítmicos. También identificó erróneamente líneas vocales (a menudo etiquetándolas como saxofón), lo cual no se reflejó bien en las métricas "Exactas".
Conclusión: Los bajos puntajes indican que existe un "espacio sustancial para la mejora" en los sistemas actuales de AMT cuando se aplican a la música pop multitrack del mundo real.

Significado y Reivindicaciones

El artículo posiciona a MulTTiPop como un benchmark necesario para abordar el estancamiento de la AMT en el pop comercial. Su principal importancia radica en:

Cerrar la Brecha: Proporcionar el primer conjunto de datos de este tipo que vincula audio comercial con MIDI multitrack completo, permitiendo una evaluación rigurosa de los modelos destinados al uso en el mundo real.
Revelar Limitaciones: Demostrar que los modelos actuales, incluso aquellos entrenados con datos multitrack sintéticos (Slakh2100), fallan al generalizar a grabaciones comerciales, resaltando la necesidad de mejores datos de entrenamiento o arquitecturas.
Muestreo Representativo: Ofrecer una muestra diversa de casos de uso de la música popular occidental para la AMT multitrack.

Limitaciones y Advertencias:
Los autores señalan explícitamente un sesgo occidental en el conjunto de datos, ya que el material de origen (TheoryTab/HookTheory) es principalmente estadounidense y de tendencia occidental. En consecuencia, afirman que MulTTiPop refleja el desempeño en el "canon de la música popular occidental" en lugar de la música global. Además, debido al pequeño tamaño del conjunto de datos y a la naturaleza de las etiquetas (audio comercial protegido por derechos de autor), los autores aconsejan estrictamente no utilizar MulTTiPop para entrenar modelos generativos.