💻 computer science

LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training

LeVo 2 es un marco híbrido de LLM-Difusión que logra la generación de canciones completas, estables, melódicas y controlables mediante el empleo de un enfoque de modelado jerárquico y un programa de postentrenamiento progresivo guiado por la estética para resolver el compromiso entre la planificación semántica global y el refinamiento acústico específico de la pista.

Autores originales: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Publicado 2026-06-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Enseñando a un Robot a Escribir un Éxito Musical

Imagina que quieres enseñarle a un robot a escribir una canción de larga duración desde cero. El robot debe hacer tres cosas difíciles al mismo tiempo:

Planificar la canción: Decidir la melodía, el ritmo y cómo encajan la voz y los instrumentos.
Escribir los detalles: Asegurarse de que el cantante suene humano y la guitarra suene nítida, no robótica.
Seguir instrucciones: Si pides una "canción folk triste sobre la lluvia", realmente debe sonar así, no como una canción de rock alegre.

Los modelos de IA anteriores tenían dificultades porque intentaban hacer todo esto en un solo paso gigante y desordenado. O bien acertaban con el plan pero la calidad del sonido era pobre, o el sonido era excelente pero la canción no tenía sentido.

LeVo 2 es un nuevo sistema que resuelve esto actuando como un director de orquesta maestro y un equipo de músicos especializados trabajando juntos.

1. La Arquitectura: El Director y los Músicos

En lugar de un solo cerebro intentando hacerlo todo, LeVo 2 divide el trabajo en dos capas, como un General y una Unidad de Fuerzas Especiales.

El General (LM Semántico Mixto): Esta parte mira el panorama general. No se preocupa por los detalles minúsculos de las cuerdas de la guitarra todavía. En su lugar, planifica el "esqueleto" de la canción: la melodía, el tempo y dónde va el estribillo. Crea un plan "mixto" que asegura que la voz y los instrumentos se lleven bien entre sí.
Las Fuerzas Especiales (LM Específico de Pista): Una vez que el General tiene el plan, este equipo toma el control. Observan el plan y rellenan los detalles de alta definición. Un grupo se enfoca puramente en hacer que la voz suene perfecta, mientras que otro grupo se enfoca en hacer que los instrumentos suenen perfectos. Trabajan en paralelo, para que no se estorben entre sí.
El Ingeniero de Sonido (Codec de Música): Finalmente, un tercer componente toma las notas del General y de las Fuerzas Especiales y las convierte en ondas de audio reales y de alta calidad que puedes escuchar.

La Analogía: Piensa en la construcción de una casa. El General dibuja los planos (donde van las paredes). Las Fuerzas Especiales son los pintores y electricistas que añaden los detalles finos (el color de la pintura, el cableado). El Ingeniero de Sonido es la cuadrilla de construcción que realmente construye la casa para que puedas vivir en ella.

2. El Entrenamiento: Una Escuela de Tres Etapas para Músicos

Los autores se dieron cuenta de que no puedes simplemente lanzar a un robot a un estudio de música y esperar que sea bueno de inmediato. Crearon una escuela de entrenamiento de tres etapas guiada por un "Juez de Música Automatizado".

Etapa 1: La Clase de Teoría Musical (Pre-entrenamiento)
El robot escucha miles de canciones. Pero no cualquier canción, sino que utiliza un sistema automatizado para calificarlas. Aprende primero de las canciones del "Top 5%". Aprende las reglas de la música (melodía, ritmo) y tiene una idea de qué es lo que suena "bien". Esto es como enseñar a un estudiante mostrándole solo los grandes éxitos de todos los tiempos.
Etapa 2: El Simulacro de Disciplina (Post-entrenamiento Progresivo)
Ahora el robot conoce la teoría musical, pero aún puede cometer errores, como cantar las palabras incorrectas o ignorar tus instrucciones.
- Primero, practica el Ajuste Fino Supervisado (SFT): Solo practica con las mejores canciones para lograr una calidad alta.
- Luego, realiza el DPO Offline: Esto es como un entrenador estricto. El robot genera muchas versiones de una canción, y el entrenador elige la que sigue mejor la letra y la que más se parece al prompt (instrucción). El robot aprende a dejar de "alucinar" (inventar palabras falsas) y a empezar a escuchar.
- Finalmente, realiza un DPO Semi-Online: El robot comienza a generar sus propias canciones nuevas y aprende de sus propias mejoras, elevando su creatividad artística sin perder su disciplina.
Etapa 3: La Clase Magistral (Extensión Modular)
El General (el planificador) ahora es perfecto y está congelado (no cambia). Las Fuerzas Especiales (el equipo de detalles) reciben un entrenamiento extra. Practican cómo tomar un boceto tosco y convertirlo en una grabación de alta fidelidad y claridad cristalina. Esto asegura que las voces y los instrumentos suenen ricos y detallados.

3. La "Guía Estética"

Una innovación clave en este artículo es el Marco de Evaluación Estética Musical Automatizada. Imagina un robot juez que escucha una canción y le da una puntuación de "Musicalidad".

Durante el entrenamiento, este juez etiqueta las canciones con "Niveles de Musicalidad" (por ejemplo, "Nivel Superior", "Promedio", "Bajo").
El robot aprende que cuando ve la etiqueta "Nivel Superior", debe intentar generar algo increíble.
Esto ayuda al robot a entender por qué algunas canciones son mejores que otras, en lugar de simplemente copiarlas a ciegas.

4. Los Resultados: ¿Qué tan bueno es?

Los autores probaron LeVo 2 contra otros modelos de código abierto e incluso contra algunos sistemas comerciales famosos (como Suno y Mureka).

Mejor que el código abierto: LeVo 2 superó a todos los demás modelos de código abierto en casi todas las categorías, incluyendo melodía, arreglo y calidad de sonido.
Rivalizando con los profesionales: Se acercó mucho al rendimiento de los mejores sistemas comerciales, que suelen mantener sus secretos ocultos.
Seguimiento de instrucciones: Fue muy bueno cantando la letra correcta y coincidiendo con el estado de ánimo (emoción) que pediste, reduciendo significamente las "alucinaciones" donde la IA inventa palabras sin sentido.

Resumen

LeVo 2 es una nueva forma de hacer música con IA. En lugar de un solo cerebro intentando hacerlo todo a la vez, utiliza un equipo jerárquico (un planificador y especialistas en detalles) y una escuela de entrenamiento paso a paso que enseña a la IA a primero entender la teoría musical, luego aprender a seguir reglas y, finalmente, pulir el sonido hasta la perfección. El resultado es un sistema que puede generar canciones completas, coherentes y de alta calidad que suenan sorprendentemente humanas.

Resumen Técnico: LeVo 2

Planteamiento del Problema

La generación de canciones de larga duración presenta un compromiso estructural fundamental en los sistemas existentes basados en modelos de lenguaje. Los enfoques que utilizan el modelado de tokens mixtos (predicción simultánea de voz y acompañamiento) preservan la coordinación entre la voz y los instrumentos, pero oscurecen los detalles acústicos específicos de cada pista debido al enmascaramiento mutuo y a vocabularios discretos restringidos. Por el contrario, las estrategias de predicción de doble pista mejoran la fidelidad acústica, pero aumentan drásticamente la longitud de la secuencia, debilitando las capacidades de planificación global y dificultando el mantenimiento de la coherencia estructural a largo plazo.

Además, el campo se ve limitado por la escasez de datos de alta calidad y anotaciones ruidosas. Los métodos de alineación de preferencias existentes suelen sufrir conflictos de gradiente al optimizar simultáneamente múltiples objetivos (por ejemplo, controlabilidad frente a musicalidad), lo que conduce a un efecto de promedio que limita el límite superior de las capacidades individuales. Adicionalmente, la dependencia de conjuntos de datos de preferencia estáticos y fuera de línea restringe el rendimiento del modelo a las capacidades de los generadores de datos y hace que el entrenamiento sea susceptible al reward hacking.

Metodología

LeVo 2 aborda estos desafíos mediante un marco híbrido de LLM-Difusión que emplea un modelado de representación jerárquico y un paradigma de entrenamiento desacoplado guiado por la estética.

1. Arquitectura Jerárquica (LeLM)

El núcleo del sistema es el Modelo de Lenguaje LeVo (LeLM), que separa la planificación semántica global del refinamiento acústico específico de cada pista:

LM Semántico Mixto: Un Transformer de solo decodificador que predice tokens mixtos. Estos tokens actúan como una "cadena de pensamiento pseudo-explícita" (pseudo-chain-of-thought), capturando información estructural de alto nivel (melodía, ritmo, tempo) y asegurando la armonía global entre voz e instrumentos sin expandir la longitud de la secuencia.
LM Específico de Pista: Un módulo ligero que opera en paralelo, condicionado por los estados ocultos del LM Semántico Mixto. Predice los tokens de voz y de acompañamiento por separado para recuperar detalles acústicos finos. Para proporcionar un contexto exhaustivo, se emplea un mecanismo de patrón de retardo (delay pattern), que permite al modelo acceder a estados ocultos futuros del planificador semántico durante la predicción de doble pista.
Codec de Música: Un decodificador basado en difusión que reconstruye los tokens de doble pista predichos en formas de onda de alta fidelidad y larga duración. Utiliza un codificador pre-entrenado (MuEncoder) y cuantificadores vectoriales (VQ) especializados para discretizar el audio en tokens.

2. Paradigma de Entrenamiento de Tres Etapas Guiado por la Estética

LeVo 2 introduce un esquema de entrenamiento novedoso que inyecta prioridades musicales y desacopla los objetivos de optimización:

Etapa 1: Pre-entrenamiento Condicionado por la Estética:
- El LM Semántico Mixto se entrena en datos a gran escala utilizando un marco de evaluación estética musical automatizado. Este marco asigna condiciones de "nivel de musicalidad" (por ejemplo, Top 5%, 5-25%) a los datos de entrenamiento basadas en puntuaciones de calidad predichas.
- Esto permite que el modelo aprenda el conocimiento acústico y semántico central a partir de datos ruidosos y de cola larga, estableciendo un prior de musicalidad que permite una Guía Libre de Clasificador (CFG) consciente de la musicalidad durante la inferencia.
- Se incluye música puramente instrumental para fortalecer el modelado del acompañamiento.
Etapa 2: Post-entrenamiento Progresivo Desacoplado:
- Ajuste Fino Supervisado (SFT): Filtra los datos al 0.5% superior de las puntuaciones estéticas para establecer una base de generación de alta calidad y estrechar la distribución de salida.
- DPO Fuera de Línea a Gran Escala: Se enfoca en la controlabilidad. Utilizando 150,000 letras y prompts diversos, el modelo se alinea para reducir las alucinaciones líricas y mejorar la consistencia con el prompt (género, emoción, instrumentos).
- DPO Semi-En Línea de Bucle Cerrado: Se enfoca en la musicalidad. Un generador actualizado periódicamente muestrea nuevos datos para crear pares de preferencia, impulsando al modelo más allá de los límites de los conjuntos de datos estáticos fuera de línea y previniendo el reward hacking mediante validación híbrida.
Etapa 3: Extensión Modular Condicionada por la Estética:
- Los pesos del LM Semántico Mixto alineado se congelan. El LM Específico de Pista se entrena exclusivamente para refinar los detalles acústicos.
- Se emplea una estrategia de aumentación acústica: los tokens mixtos se reconstruyen en audio de baja calidad (mediante pasos de difusión limitados) y se vuelven a tokenizar. Esto obliga al LM Específico de Pista a aprender cómo recuperar y suplementar los matices acústicos finos.

Contribuciones Clave

Modelado de Representación Jerárquica: Una arquitectura novedosa que desacopla la planificación semántica global (LM Semántico Mixto) del refinamiento acústico por pista (LM Específico de Pista), resolviendo el compromiso entre coherencia estructural y fidelidad acústica sin una explosión en la longitud de la secuencia.
Entrenamiento Guiado por la Estética: La introducción de un marco de evaluación estética musical automatizado para asignar condiciones de nivel de musicalidad durante el pre-entrenamiento, proporcionando priors de musicalidad antes de la alineación de preferencias.
Post-entrenamiento Progresivo Desacoplado: Una estrategia de alineación de tres etapas (SFT $\to$ DPO fuera de línea para controlabilidad $\to$ DPO semi-en línea para musicalidad) que mitiga los conflictos de gradiente y evita las limitaciones de los conjuntos de datos estáticos fuera de línea.
Extensión Modular con Aumentación Acústica: Una fase de entrenamiento especializada para el LM Específico de Pista que utiliza la corrupción acústica intencionada para mejorar la capacidad del modelo de restaurar detalles finos.

Resultados

Evaluaciones extensas demuestran que LeVo 2 supera significativamente a las líneas base de código abierto existentes y se acerca a los sistemas comerciales líderes:

Evaluación Subjetiva: En una prueba de Puntuación Media de Opinión (MOS) de seis dimensiones con profesionales de la música, LeVo 2 superó a todos los modelos de código abierto (YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo) en Musicalidad General, Melodía, Arreglo, Estructura, Calidad de Sonido Vocal y Calidad de Sonido de Acompañamiento.
Comparación Comercial: LeVo 2 se aproxima al rendimiento de sistemas propietarios como Suno v5 y Mureka v8 en métricas como Melodía (6.12 vs. 6.38), Arreglo (6.42 vs. 6.55) y Calidad de Sonido de Acompañamiento (7.10 vs. 7.11). Notablemente, supera a MiniMax Music 2.5+ en todas las métricas de escucha subjetiva.
Evaluación Objetiva: LeVo 2 logró la menor Tasa de Error de Fonemas (PER) entre los sistemas de código abierto (8.55%), lo que indica una alineación lírica superior. También alcanzó la mayor puntuación de control de emoción (8.72) entre todos los sistemas evaluados, incluidos los comerciales.
Estudios de Ablación: Los experimentos confirmaron que eliminar la arquitectura jerárquica, la guía estética o las etapas de post-entrenamiento progresivo conduce a una degradación significativa del rendimiento, validando la necesidad de cada componente.

Significado

El artículo afirma que LeVo 2 representa un avance significativo en la generación de canciones automatizada al abordar con éxito los compromisos estructurales inherentes a los modelos anteriores. Al separar la optimización de la controlabilidad y la musicalidad en etapas distintas y utilizar una arquitectura jerárquica, el marco mitiga los conflictos de gradiente y maximiza el límite superior de rendimiento del modelo. Los autores postulan que LeVo 2 demuestra que las arquitecturas de código abierto pueden acercarse a los estándares comerciales en la generación de canciones de larga duración, particularmente cuando son guiadas por priors estéticos y estrategias de entrenamiento desacopladas. La publicación de los pesos del modelo y el código tiene como objetivo facilitar la investigación adicional en la generación de música de alta fidelidad y controlable.