MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation

Imagina un mundo donde puedes tomar tu canción favorita y transformarla instantáneamente en un remix de un estilo completamente nuevo—tal vez convirtiendo una balada triste en un himno de rock animado—mientras mantienes la melodía y la letra originales perfectamente intactas. Este es el sueño de la "Generación de Canciones Cover", una rama de la inteligencia artificial que intenta enseñar a las computadoras a ser camaleones musicales. Para hacer esto, la IA necesita entender dos cosas muy diferentes al mismo tiempo: la "música" (la tonada, el ritmo, las notas) y las "palabras" (los sonidos específicos que componen el lenguaje, como la diferencia entre una "b" y una "p"). Piensa en ello como hornear un pastel donde tienes que seguir una receta estricta para el sabor (la letra) mientras improvisas simultáneamente un nuevo estilo de decoración (la música). Si la IA acierta con la decoración pero falla con el sabor, podrías terminar con un pastel de chocolate que sabe a limón. Durante mucho tiempo, la IA fue buena con la decoración pero terrible con el sabor, deformando a menudo las palabras de tal manera que se convertían en galimatías.

Este artículo presenta un nuevo sistema llamado MPEcho que soluciona este problema enseñando a la IA a escuchar los "pequeños bloques de construcción" del habla, no solo las palabras grandes. Los investigadores se dieron cuenta de que para lograr que la letra sea correcta, la computadora necesita saber exactamente cuándo comienza y termina cada sonido diminuto, de forma muy similar a un director de orquesta que sabe exactamente cuándo un violinista debe tocar una sola nota. Para lograr esto, construyeron una herramienta especial llamada Phonsa, que actúa como un transcriptor superpreciso, escuchando a un cantante y escribiendo el tiempo exacto de cada sonido de la canción. Al combinar esta sincronización superprecisa con la melodía, MPEcho puede generar nuevas canciones cover donde las palabras son claras y la tonada es fiel. Los resultados muestran que este enfoque reduce drásticamente el número de errores que comete la IA al cantar, bajando la tasa de error de casi la mitad de todas las palabras a menos de una quinta parte, demostando que prestar atención a los detalles minúsculos del sonido es el secreto para hacer que la IA cante mejor.

El Problema: Cuando la IA Canta, Balbucea

La generación de canciones cover es un equilibrio delicado. Quieres que la IA mantenga la melodía central y la letra exacta de una canción de referencia, pero que cambie el estilo, los instrumentos y la voz. Los intentos anteriores, como un modelo llamado SongEcho, intentaron resolver esto alimentando a la IA con el "pitch" (qué tan alto o bajo es el tono de las notas) y una etiqueta simple que solo decía "cantando" o "no cantando".

Imagina intentar decirle a un amigo que cante una canción solo tarareando la melodía y diciendo "estoy cantando ahora" o "no estoy cantando ahora". ¡Eso no es muy útil! La IA podría adivinar la melodía, pero no tenía idea de qué palabras cantar o cuándo cambiar de un sonido al siguiente. ¿El resultado? La IA a menudo cantaba la tonada correcta pero deformaba la letra, convirtiendo "Hello" en "Helo" o "Halo". De hecho, el método antiguo cometía errores en aproximadamente el 45.62% de las palabras. Eso es como intentar leer un menú donde la mitad de los artículos están mal escritos.

La Solución: Una Nueva Forma de Escuchar y Cantar

Los autores, liderados por Wei-Jaw Lee e Yi-Hsuan Yang, se dieron cuenta de que para arreglar la letra, necesitaban tomar prestado un truco de un campo diferente llamado Síntesis de Voz de Canto (SVS). La SVS se utiliza normalmente para hacer que un robot cante una canción específica a partir de una partitura, y es muy buena en ello porque conoce el tiempo exacto de cada sonido diminuto (fonema).

Construyeron MPEcho, un nuevo marco de trabajo que añade un "codificador de fonemas" y un "regulador de longitud" al sistema.

• El Codificador de Fonemas: En lugar de solo saber que "está ocurriendo el canto", la IA ahora recibe una lista de cada sonido individual (como /h/, /e/, /l/, /o/) y exactamente cuánto debe durar cada uno.
• El Regulador de Longitud: Actúa como un metrónomo para las palabras, estirando o encogiendo los sonidos para que encajen perfectamente en la línea de tiempo musical.

Pero había un inconveniente: para enseñar esto a MPEcho, necesitaban una biblioteca masiva de canciones donde cada sonido ya estuviera cronometrado perfectamente. Tal dato no existía. Así que construyeron Phonsa.

Phosa es como un traductor mágico. Toma la grabación de un cantante y escribe automáticamente los tiempos exactos de inicio y fin de cada sonido en la canción. Está basado en una famosa herramienta de voz llamada Whisper, pero fue ajustada específicamente para el canto. Utiliza un sistema de atención "por fragmentos" (pensando en piezas pequeñas y superpuestas) y añadió tokens especiales para "respiraciones" y "límites" para manejar la naturaleza desordenada y emocional del canto.

Los Resultados: Del Galimatías a Letras Claras

El equipo probó su nuevo sistema con un conjunto de datos de más de 1,427 horas de canciones pop y tradicionales chinas. Compararon MPEcho contra el antiguo modelo SongEcho y algunas otras variaciones.

1. La Magia del Tiempo: Cuando usaron Phonsa para darle a MPEcho la sincronización precisa de los fonemas, el número de errores de palabras (llamado Tasa de Error de Fonemas, o PER) cayó drásticamente.

   • Modelo Antiguo (SongEcho): Cometía errores en el 45.62% de las palabras.
   • Nuevo Modelo (MPEcho): Cometía errores en solo el 18.65% de las palabras.
   • Ese es un avance masivo, convirtiendo un balbuceo confuso en algo que realmente puedes entender.

2. El Punto Dulce: Descubrieron que usar solo la melodía no era suficiente (las palabras seguían siendo desordenadas), y usar solo la sincronización de los fonemas tampoco era bueno (la melodía se volvía extraña). Pero cuando combinaron ambos —dándole a la IA la tonada y la sincronización precisa del sonido— el resultado fue lo mejor de ambos mundos. La canción sonaba musical y la letra era clara.

3. El Estilo "Jam" vs. "SVS": También probaron una forma diferente de organizar los sonidos (llamada "estilo Jam", que agrupa los sonidos por palabra) frente a su nuevo "estilo SVS" (agrupando por sonido individual). El estilo SVS funcionó mucho mejor. El "estilo Jam" era como intentar dar direcciones diciendo "ve a la siguiente calle", mientras que el "estilo SVS" era como decir "gira a la izquierda en la casa roja, luego a la derecha en el buzón azul". La precisión adicional ayudó a la IA a no perderse.

4. Opinión Humana: Finalmente, pidieron a personas reales que escucharan las canciones. Los oyentes calificaron las canciones de MPEcho con puntuaciones más altas en consistencia melódica, naturalidad vocal y calidad general. Curiosamente, los oyentes humanos parecieron apreciar la claridad de las letras incluso más que las métricas de la computadora, demostrando que las palabras claras hacen que la experiencia de escucha sea mucho mejor.

Qué Significa Esto

Este artículo sugiere que si quieres que una IA genere canciones completas que suenen humanas y canten claramente, no puedes simplemente mirar el panorama general (la melodía y las palabras). Tienes que hacer zoom y comprender los detalles diminutos de un segundo de cómo se producen los sonidos. Al combinar lo mejor de la generación musical con la precisión de la síntesis de voz, MPEcho demuestra que la IA finalmente puede cantar las letras correctamente mientras sigue sonando como un artista creativo.

Los investigadores señalan cuidadosamente que este sistema actualmente funciona mejor con cantantes individuales y chino mandarín. Sugieren que el trabajo futuro podría explorar hacerlo funcionar con múltiples cantantes, diferentes idiomas e incluso más expresiones emocionales. Pero por ahora, han descifrado el código para crear canciones cover de IA que no solo suenan bien, sino que realmente tienen sentido.