💻 computer science

LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training

O LeVo 2 é um framework híbrido de LLM-Difusão que alcança a geração de canções completas estáveis, melodiosas e controláveis ao empregar uma abordagem de modelagem hierárquica e um cronograma de pós-treinamento progressivo, guiado pela estética, para resolver o compromisso entre o planejamento semântico global e o refinamento acústico específico da faixa.

Autores originais: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Publicado 2026-06-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Ensinando um Robô a Escrever um Hit

Imagine que você quer ensinar um robô a escrever uma música completa do zero. O robô precisa fazer três coisas difíceis ao mesmo tempo:

Planejar a música: Decidir a melodia, o ritmo e como os vocais e os instrumentos se encaixam.
Escrever os detalhes: Garantir que o cantor soe humano e que a guitarra soe nítida, não robótica.
Seguir instruções: Se você pedir uma "canção folk triste sobre chuva", ela deve realmente soar assim, não como um rock alegre.

Modelos de IA anteriores tinham dificuldades porque tentavam fazer tudo isso em um único passo gigante e bagunçado. Ou eles acertavam o plano, mas a qualidade do som era ruim, ou o som era ótimo, mas a música não fazia sentido.

LeVo 2 é um novo sistema que resolve isso agindo como um maestro mestre e uma equipe de músicos especializados trabalhando juntos.

1. A Arquitetura: O Maestro e os Músicos

Em vez de um único cérebro tentando fazer tudo, o LeVo 2 divide o trabalho em duas camadas, como um General e uma Unidade de Forças Especiais.

O General (Mixed Semantic LM): Esta parte olha para o panorama geral. Ele não se preocupa com os detalhes minúsculos das cordas da guitarra ainda. Em vez disso, planeja o "esqueleto" da música: a melodia, o tempo e onde fica o refrão. Ele cria um plano "misto" que garante que os vocais e os instrumentos se deem bem.
As Forças Especiais (Track-Specific LM): Assim que o General tem o plano, esta equipe assume o controle. Eles olham para o plano e preenchem os detalhes em alta definição. Um grupo foca puramente em fazer os vocais soarem perfeitos, enquanto outro grupo foca em fazer os instrumentos soarem perfeitos. Eles trabalham em paralelo, para que não atrapalhem uns aos outros.
O Engenheiro de Som (Music Codec): Finalmente, um terceiro componente pega as notas do General e das Forças Especiais e as transforma em ondas de áudio reais e de alta qualidade que você pode ouvir.

A Analogia: Pense em construir uma casa. O General desenha as plantas (onde as paredes ficam). As Forças Especiais são os pintores e eletricistas que adicionam os detalhes finos (a cor da tinta, a fiação). O Engenheiro de Som é a equipe de construção que realmente constrói a casa para que você possa morar nela.

2. O Treinamento: Uma Escola de Música em Três Etapas

Os autores perceberam que você não pode simplesmente jogar um robô em um estúdio de música e esperar que ele seja bom imediatamente. Eles criaram uma escola de treinamento de três estágios guiada por um "Juiz de Música Automatizado".

Estágio 1: A Aula de Teoria Musical (Pré-treinamento)
O robô ouve milhares de músicas. Mas não quaisquer músicas — ele usa um sistema automatizado para dar notas a elas. Ele aprende primeiro com os "5% melhores" das músicas. Ele aprende as regras da música (melodia, ritmo) e entende o que é um "som bom". Isso é como ensinar um aluno mostrando apenas os maiores sucessos de todos os tempos.
Estágio 2: O Treino de Disciplina (Pós-treinamento Progressivo)
Agora o robô conhece a teoria musical, mas ainda pode cometer erros, como cantar as palavras erradas ou ignorar suas instruções.
- Primeiro, ele pratica o Ajuste Fino Supervisionado (SFT): Ele pratica apenas nas músicas absolutamente melhores para elevar a qualidade.
- Em seguida, ele faz o DPO Offline: Isso é como um treinador rigoroso. O robô gera muitas versões de uma música, e o treinador escolhe aquela que segue melhor a letra e aquela que mais se parece com o comando (prompt). O robo aprende a parar de "alucinar" (inventar palavras falsas) e a começar a ouvir.
- Por fim, ele faz o DPO Semi-Online: O robô começa a gerar suas próprias músicas novas e aprende com suas próprias melhorias, elevando sua criatividade artística sem perder a disciplina.
Estágio 3: A Masterclass (Extensão Modular)
O General (o planejador) agora está perfeito e congelado (não é mais alterado). As Forças Especiais (a equipe de detalhes) recebem treinamento extra. Elas praticam transformar um esboço bruto em uma gravação cristalina e de alta fidelidade. Isso garante que os vocais e os instrumentos soem ricos e detalhados.

3. O "Guia Estético"

Uma inovação fundamental neste artigo é o Framework de Avaliação Estética Musical Automatizada. Imagine um robô juiz que ouve uma música e dá uma nota para a "Musicalidade".

Durante o treinamento, este juiz etiqueta as músicas com "Níveis de Musicalidade" (ex: "Nível Superior", "Médio", "Baixo").
O robô aprende que, quando vê a etiqueta "Nível Superior", deve tentar gerar algo incrível.
Isso ajuda o robô a entender por que algumas músicas são melhores do que outras, em vez de apenas copiá-las cegamente.

4. Os Resultados: Quão Bom é?

Os autores testaram o LeVo 2 contra outros modelos de código aberto e até alguns sistemas comerciais famosos (como Suno e Mureka).

Melhor que o código aberto: O LeVo 2 superou todos os outros modelos de código aberto em quase todas as categorias, incluindo melodia, arranjo e qualidade de som.
Rivalizando com os profissionais: Ele chegou muito perto do desempenho dos principais sistemas comerciais, que geralmente mantêm seus segredos guardados.
Seguindo instruções: Foi muito bom em cantar a letra correta e combinar com o clima (emoção) que você pediu, reduzindo significamente as "alucinações" onde a IA inventa palavras sem sentido.

Resumo

LeVo 2 é uma nova forma de fazer música com IA. Em vez de um único cérebro tentando fazer tudo de uma vez, ele utiliza uma equipe hierárquica (um planejador e especialistas em detalhes) e uma escola de treinamento passo a passo que ensina a IA a primeiro entender a teoria musical, depois aprender a seguir regras e, finalmente, polir o som até a perfeição. O resultado é um sistema que pode gerar músicas completas, coerentes e de alta qualidade que soam surpreendentemente humanas.

Resumo Técnico: LeVo 2

Declaração do Problema

A geração de canções de longa duração apresenta um compromisso estrutural fundamental nos sistemas existentes baseados em modelos de linguagem. Abordagens que utilizam modelagem de tokens mistos (prevendo vocais e acompanhamento simultaneamente) preservam a coordenação entre voz e instrumento, mas obscurecem detalhes acústicos específicos de cada trilha devido ao mascaramento mútuo e vocabulários discretos restritos. Por outro lado, estratégias de predição de trilhas duplas melhoram a fidelidade acústica, mas aumentam drasticamente o comprimento da sequência, enfraquecendo as capacidades de planejamento global e dificultando a manutenção da coerência estrutural de longo prazo.

Além disso, o campo é limitado pela escassez de dados de alta qualidade e anotações ruidosas. Os métodos de alinhamento de preferência existentes frequentemente sofrem de conflitos de gradiente ao otimizar simultaneamente múltiplos objetivos (por exemplo, controlabilidade vs. musicalidade), levando a um efeito de média que limita o limite superior das capacidades individuais. Adicionalmente, a dependência de conjuntos de dados de preferência estáticos e offline restringe o desempenho do modelo às capacidades dos geradores de dados e torna o treinamento suscetível ao reward hacking.

Metodologia

O LeVo 2 aborda esses desafios através de um framework híbrido de LLM-Difusão que emprega modelagem de representação hierárquica e um paradigma de treinamento desacoplado e guiado por estética.

1. Arquitetura Hierárquica (LeLM)

O núcleo do sistema é o LeVo Language Model (LeLM), que separa o planejamento semântico global do refinamento acústico específico de cada trilha:

LM Semântico Misto: Um Transformer do tipo decoder-only que prevê tokens mistos. Esses tokens servem como uma "pseudo-cadeia de pensamento" (pseudo-chain-of-thought), capturando informações estruturais de alto nível (melodia, ritmo, tempo) e garantindo a harmonia global entre voz e instrumento sem expandir o comprimento da sequência.
LM Específico de Trilha: Um módulo leve que opera em paralelo, condicionado aos estados ocultos do LM Semântico Misto. Ele prevê os tokens de vocal e de acompanhamento separadamente para recuperar detalhes acústicos finos. Para fornecer um contexto abrangente, um mecanismo de padrão de atraso (delay pattern) é empregado, permitindo que o modelo acesse estados ocultos futuros do planejador semântico durante a predição de trilha dupla.
Codec de Música: Um decodificador baseado em difusão reconstrói os tokens de trilha dupla previstos em formas de onda de alta fidelidade e longa duração. Ele utiliza um codificador pré-treinado (MuEncoder) e quantizadores vetoriais (VQs) especializados para discretizar o áudio em tokens.

2. Paradigma de Treinamento em Três Estágios Guiado por Estética

O LeVo 2 introduz um cronograma de treinamento inovador que injeta priors de musicalidade e desacopla os objetivos de otimização:

Estágio 1: Pré-treinamento Condicionado por Estética:
- O LM Semântico Misto é treinado em dados de larga escala usando um framework de avaliação de estética musical automatizado. Este framework atribui condições de "nível de musicalidade" (ex: Top 5%, 5-25%) aos dados de treinamento com base em pontuações de qualidade previstas.
- Isso permite que o modelo aprenda o conhecimento acústico e semântico central a partir de dados ruidosos de cauda longa (long-tail), estabelecendo um prior de musicalidade, o que possibilita o uso de Guia Livre de Classificador (CFG) consciente da musicalidade durante a inferência.
- Música puramente instrumental é incluída para fortalecer a modelagem do acompanhamento.
Estágio 2: Pós-treinamento Progressivo Desacoplado:
- Ajuste Fino Supervisionado (SFT): Filtra os dados para o top 0,5% das pontuações estéticas para estabelecer uma linha de base de geração de alta qualidade e estreitar a distribuição de saída.
- DPO Offline de Larga Escala: Foca na controlabilidade. Usando 150.000 letras e prompts diversos, o modelo é alinhado para reduzir alucinações líricas e melhorar a consistência do prompt (gênero, emoção, instrumentos).
- DPO Semi-Online de Ciclo Fechado: Foca na musicalidade. Um gerador atualizado periodicamente amostra novos dados para criar pares de preferência, levando o modelo além dos limites dos conjuntos de dados estáticos offline e prevenindo o reward hacking através de validação híbrida.
Estágio 3: Extensão Modular Condicionada por Estética:
- Os pesos do LM Semântico Misto alinhado são congelados. O LM Específico de Trilha é treinado exclusivamente para refinar detalhes acústicos.
- Uma estratégia de aumento acústico é empregada: os tokens mistos são reconstruídos em áudio de baixa qualidade (via passos limitados de difusão) e re-tokenizados. Isso força o LM Específico de Trilha a aprender como recuperar e suplementar nuances acústicas finas.

Principais Contribuições

Modelagem de Representação Hierárquica: Uma arquitetura inovadora que desacopla o planejamento semântico global (LM Semântico Misto) do refinamento acústico específico de trilha (LM Específico de Trilha), resolvendo o compromisso entre coerência estrutural e fidelidade acústica sem explosão no comprimento da sequência.
Treinamento Guiado por Estética: A introdução de um framework de avaliação de estética musical automatizado para atribuir condições de nível de musicalidade durante o pré-treinamento, fornecendo priors de musicalidade antes do alinhamento de preferência.
Pós-treinamento Progressivo Desacoplado: Uma estratégia de alinhamento em três estágios (SFT $\to$ DPO Offline para controlabilidade $\to$ DPO Semi-Online para musicalidade) que mitiga conflitos de gradiente e evita as limitações de conjuntos de dados estáticos offline.
Extensão Modular com Aumento Acústico: Uma fase de treinamento especializada para o LM Específico de Trilha que utiliza corrupção acústica intencional para aumentar a capacidade do modelo de restaurar detalhes finos.

Resultados

Avaliações extensas demonstram que o LeVo 2 supera significativamente os baselines de código aberto existentes e se aproxima de sistemas comerciais líderes:

Avaliação Subjetiva: Em um teste de Pontuação Média de Opinião (MOS) de seis dimensões envolvendo profissionais de música, o LeVo 2 superou todos os modelos de código aberto (YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo) em Musicalidade Geral, Melodia, Arranjo, Estrutura, Qualidade Sonora Vocal e Qualidade Sonora de Acompanhamento.
Comparação Comercial: O LeVo 2 aproxima-se do desempenho de sistemas proprietários como Suno v5 e Mureka v8 em métricas como Melodia (6,12 vs. 6,38), Arranjo (6,42 vs. 6,55) e Qualidade Sonora de Acompanhamento (7,10 vs. 7,11). Notavelmente, ele supera o MiniMax Music 2.5+ em todas as métricas de audição subjetiva.
Avaliação Objetiva: O LeVo 2 alcançou a menor Taxa de Erro de Fonema (PER) entre os sistemas de código aberto (8,55%), indicando um alinhamento lírico superior. Também alcançou a maior pontuação de controle de emoção (8,72) entre todos os sistemas avaliados, incluindo os comerciais.
Estudos de Ablação: Experimentos confirmaram que remover a arquitetura hierárquica, o guia estético ou os estágios de pós-treinamento progressivo leva a uma degradação significativa do desempenho, validando a necessidade de cada componente.

Significância

O artigo afirma que o LeVo 2 representa um avanço significativo na geração de canções automatizadas ao abordar com sucesso os compromissos estruturais inerentes aos modelos anteriores. Ao separar a otimização de controlabilidade e musicalidade em estágios distintos e utilizar uma arquitetura hierárquica, o framework mitiga conflitos de gradiente e maximiza o limite superior de desempenho do modelo. Os autores postulam que o LeVo 2 demonstra que arquiteturas de código aberto podem se aproximar dos padrões comerciais na geração de canções completas, particularmente quando guiadas por priors estéticos e estratégias de treinamento desacopladas. O lançamento dos pesos e do código do modelo visa facilitar novas pesquisas em geração de música de alta fidelidade e controlável.