💻 computer science

LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training

LeVo 2 è un framework ibrido LLM-Diffusion che realizza la generazione di brani completi stabili, melodiosi e controllabili impiegando un approccio di modellazione gerarchica e un programma di post-training progressivo guidato dall'estetica per risolvere il compromesso tra la pianificazione semantica globale e il raffinamento acustico specifico del brano.

Autori originali: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Pubblicato 2026-06-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Insegnare a un robot come scrivere una hit musicale

Immagina di voler insegnare a un robot come scrivere una canzone completa partendo da zero. Il robot deve fare tre cose difficili contemporaneamente:

Pianificare la canzone: Decidere la melodia, il ritmo e come la voce e gli strumenti si incastrano tra loro.
Scrivere i dettagli: Assicurarsi che il cantante sembri umano e che la chitarra sia nitida, non robotica.
Seguire le istruzioni: Se chiedi una "canzone folk triste sulla pioggia", deve suonare davvero così, non come un pezzo rock allegro.

I modelli IA precedenti faticavano perché cercavano di fare tutto questo in un unico passaggio gigante e disordinato. O riuscivano a creare il piano giusto ma la qualità del suono era scarsa, oppure il suono era ottimo ma la canzone non aveva senso.

LeVo 2 è un nuovo sistema che risolve questo problema agendo come un direttore d'orchestra esperto e un team di musicisti specializzati che lavorano insieme.

1. L'architettura: Il Direttore e i Musicisti

Invece di un unico cervello che cerca di fare tutto, LeVo 2 divide il lavoro in due livelli, come un Generale e una Unità delle Forze Speciali.

Il Generale (Mixed Semantic LM): Questa parte guarda il quadro generale. Non si preoccupa ancora dei piccoli dettagli delle corde della chitarra. Invece, pianifica lo "scheletro" della canzone: la melodia, il tempo e dove va il ritornello. Crea un piano "misto" che assicura che la voce e gli strumenti vadano d'accordo tra loro.
Le Forze Speciali (Track-Specific LM): Una volta che il Generale ha il piano, questo team prende il comando. Guardano il piano e riempiono i dettagli in alta definizione. Un gruppo si concentra esclusivamente sul rendere perfetta la voce, mentre un altro gruppo si concentra sul rendere perfetti gli strumenti. Lavorano in parallelo, in modo da non intralciarsi a vicenda.
L'Ingegnere del Suono (Music Codec): Infine, un terzo componente prende le note del Generale e delle Forze Speciali e le trasforma in vere onde audio di alta qualità che puoi ascoltare.

L'analogia: Pensa alla costruzione di una casa. Il Generale disegna le planimetrie (dove vanno le pareti). Le Forze Speciali sono i pittori ed elettricisti che aggiungono i dettagli raffinati (il colore della vernice, il cablaggio). L'Ingegnere del Suono è la squadra di costruzione che effettivamente costruisce la casa affinché tu possa viverci.

2. L'addestamento: Una scuola di musica in tre fasi

Gli autori si sono resi conto che non si può semplicemente buttare un robot in uno studio di registrazione e aspettarsi che sia bravo immediatamente. Hanno creato una scuola di addestramento in tre fasi guidata da un "Giudice Musicale Automatizzato".

Fase 1: La classe di Teoria Musicale (Pre-training)
Il robot ascolta migliaia di canzoni. Ma non qualsiasi canzone: utilizza un sistema automatizzato per valutarle. Impara prima dai brani del "Top 5%". Impara le regole della musica (melodia, ritmo) e capisce cosa significa "suonare bene". È come insegnare a uno studente mostrando solo i più grandi successi di tutti i tempi.
Fase 2: L'esercitazione di disciplina (Progressive Post-Training)
Ora il robot conosce la teoria musicale, ma potrebbe ancora commettere errori, come cantare le parole sbagliate o ignorare le tue istruzioni.
- Prima, pratica il Fine-Tuning Supervisionato (SFT): si esercita solo sulle canzoni assolutamente migliori per ottenere un'alta qualità.
- Successivamente, esegue il DPO Offline: questo è come un coach severo. Il robot genera molte versioni di una canzone, e il coach sceglie quella che segue meglio il testo e quella che somiglia di più al prompt. Il robot impara a smettere di "allucinare" (inventare parole false) e a iniziare ad ascoltare.
- Infine, esegue un DPO Semi-Online: il robot inizia a generare le proprie nuove canzoni e impara dai propri miglioramenti, spingendo la sua creatività artistica senza perdere la disciplina.
Fase 3: La Masterclass (Estensione Modulare)
Il Generale (il pianificatore) è ora perfetto ed è congelato (non viene più modificato). Le Forzze Speciali (il team dei dettagli) ricevono un addestramento extra. Praticano nel trasformare uno schizzo grezzo in una registrazione cristallina e ad alta fedeltà. Questo assicura che le voci e gli strumenti siano ricchi e dettagliati.

3. La "Guida Estetica"

Un'innovazione chiave di questo paper è l'Automated Music Aesthetic Evaluation Framework (Framework di Valutazione Estetica Musicale Automatizzata). Immagina un robot giudice che ascolta una canzone e le dà un punteggio per "Musicalità".

Durante l'addestramento, questo giudice etichetta le canzoni con "Livelli di Musicalità" (es. "Livello Top", "Media", "Bassa").
Il robot impara che quando vede l'etichetta "Livello Top", deve cercare di generare qualcosa di straordinario.
Questo aiuta il robot a capire perché alcune canzoni sono migliori di altre, invece di limitarsi a copiarle ciecamente.

4. I Risultati: Quanto è bravo?

Gli autori hanno testato LeVo 2 contro altri modelli open-source e persino contro alcuni famosi sistemi commerciali (come Suno e Mureka).

Meglio dell'open-source: LeVo 2 ha battuto tutti gli altri modelli open-source in quasi tutte le categorie, inclusi melodia, arrangiamento e qualità del suono.
Al livello dei professionisti: Si è avvicinato molto alle prestazioni dei migliori sistemi commerciali, che solitamente tengono segreti i loro metodi.
Seguire le istruzioni: È stato molto bravo a cantare le parole corrette e a rispettare l'umore (emozione) richiesto, riducendo significativamente le "allucinazioni" in cui l'IA inventa parole senza senso.

Riassunto

LeVo 2 è un nuovo modo per creare musica con l'IA. Invece di un unico cervello che cerca di fare tutto insieme, utilizza un team gerarchico (un pianificatore e specialisti dei dettagli) e una scuola di addestramento passo dopo passo che insegna all'IA prima di comprendere la teoria musicale, poi di imparare a seguire le regole e infine di rifinire il suono fino alla perfezione. Il risultato è un sistema in grado di generare canzoni complete, coerenti e di alta qualità che suonano sorprendentemente umane.

Riepilogo Tecnico: LeVo 2

Problematica

La generazione di brani completi presenta un fondamentale compromesso strutturale nei sistemi esistenti basati su modelli linguistici. Gli approcci che utilizzano la modellazione a token misti (predizione simultanea di voce e accompagnamento) preservano la coordinazione tra voce e strumenti, ma oscurano i dettagli acustici specifici delle tracce a causa del mascheramento reciproco e di vocabolari discreti ristretti. Al contrario, le strategie di predizione a doppia traccia migliorano la fedeltà acustica ma aumentano drasticamente la lunghezza della sequenza, indebolendo le capacità di pianificazione globale e rendendo difficile il mantenimento della coerenza strutturale a lungo termine.

Inoltre, il campo è limitato dalla scarsità di dati di alta qualità e annotazioni rumorose. I metodi esistenti di allineamento delle preferenze soffrono spesso di conflitti di gradiente quando ottimizzano simultaneamente molteplici obiettivi (ad esempio, controllabilità vs. musicalità), portando a un effetto di mediazione che limita il limite superiore delle singole capacità. Inoltre, la dipendenza da dataset di preferenze statici ed offline limita le prestazioni del modello alle capacità dei generatori dei dati e rende l'addestramento suscettibile al reward hacking.

Metodologia

LeVo 2 affronta queste sfide attraverso un framework ibrido LLM-Diffusion che impiega una modellazione della rappresentazione gerarchica e un paradigma di addestramento slegato e guidato dall'estetica.

1. Architettura Gerarchica (LeLM)

Il cuore del sistema è il LeVo Language Model (LeLM), che separa la pianificazione semantica globale dal raffinamento acustico specifico per traccia:

Mixed Semantic LM: Un Transformer decoder-only che predice token misti. Questi token fungono da "pseudo-catena di pensiero" (pseudo-chain-of-thought), catturando informazioni strutturali di alto livello (melodia, ritmo, tempo) e garantendo l'armonia globale tra voce e strumenti senza espandere la lunghezza della sequenza.
Track-Specific LM: Un modulo leggero che opera in parallelo, condizionato dagli stati latenti del Mixed Semantic LM. Esso predice separatamente i token vocali e quelli di accompagnamento per recuperare dettagli acustici fini. Per fornire un contesto completo, viene impiegato un meccanismo di pattern di ritardo (delay pattern), che consente al modello di accedere agli stati latenti futuri del pianificatore semantico durante la predizione a doppia traccia.
Music Codec: Un decoder basato su diffusione ricostruisce i token a doppia traccia predetti in forme d'onda ad alta fedeltà e di piena durata. Utilizza un encoder pre-addestrato (MuEncoder) e quantizzatori vettoriali (VQ) specializzati per discretizzare l'audio in token.

2. Paradigma di Addestramento in Tre Fasi Guidato dall'Estetica

LeVo 2 introduce un programma di addestramento innovativo che inietta prior musicali e slegata gli obiettivi di ottimizzazione:

Fase 1: Pre-addestramento Condizionato dall'Estetica:
- Il Mixed Semantic LM è addestrato su dati su larga scala utilizzando un framework di valutazione automatica dell'estetica musicale. Questo framework assegna condizioni di "livello di musicalità" (ad esempio, Top 5%, 5-25%) ai dati di addestramento in base ai punteggi di qualità predetti.
- Ciò consente al modello di apprendere le conoscenze acustiche e semantiche fondamentali da dati rumorosi e a coda lunga, stabilendo al contempo un prior di musicalità, abilitando la Classifier-Free Guidance (CFG) consapevole della musicalità durante l'inferenza.
- La musica puramente strumentale è inclusa per rafforzare la modellazione dell'accompagnamento.
Fase 2: Post-addestramento Progressivo Slegato:
- Supervised Fine-Tuning (SFT): Filtra i dati nel top 0,5% dei punteggi estetici per stabilire una linea di base di generazione di alta qualità e restringere la distribuzione dell'output.
- DPO Offline su Larga Scala: Si concentra sulla controllabilità. Utilizzando 150.000 testi e prompt diversificati, il modello viene allineato per ridurre le allucinazioni liriche e migliorare la coerenza con il prompt (genere, emozione, strumenti).
- DPO Semi-Online a Ciclo Chiuso: Si concentra sulla musicalità. Un generatore aggiornato periodicamente campiona nuovi dati per creare coppie di preferenza, spingendo il modello oltre i limiti dei dataset offline statici e prevenendo il reward hacking attraverso una validazione ibrida.
Fase 3: Estensione Modulare Condizionata dall'Estetica:
- I pesi del Mixed Semantic LM allineato vengono congelati. Il Track-Specific LM viene addestrato esclusivamente per raffinare i dettagli acustici.
- Viene impiegata una strategia di aumentazione acustica: i token misti vengono ricostruiti in audio di bassa qualità (tramite passi di diffusione limitati) e nuovamente tokenizzati. Questo costringe il Track-Specific LM a imparare come recuperare e integrare le sfumature acustiche fini.

Contributi Chiave

Modellazione della Rappresentazione Gerarchica: Un'architettura innovativa che slegata la pianificazione semantica globale (Mixed Semantic LM) dal raffinamento acustico specifico per traccia (Track-Specific LM), risolvendo il compromesso tra coerenza strutturale e fedeltà acustica senza esplosione della lunghezza della sequenza.
Addestramento Guidato dall'Estetica: L'introduzione di un framework di valutazione automatica dell'estetica musicale per assegnare condizioni di livello di musicalità durante il pre-addestramento, fornendo prior di musicalità prima dell'allineamento delle preferenze.
Post-addestramento Progressivo Slegato: Una strategia di allineamento in tre fasi (SFT $\to$ DPO offline per la controllabilità $\to$ DPO semi-online per la musicalità) che mitiga i conflitti di gradiente ed evita i limiti dei dataset offline statici.
Estensione Modulare con Aumentazione Acustica: Una fase di addestramento specializzata per il Track-Specific LM che utilizza la corruzione acustica intenzionale per migliorare la capacità del modello di ripristinare i dettagli fini.

Risultati

Valutazioni estese dimostrano che LeVo 2 supera significativamente i baseline open-source esistenti e si avvicina ai sistemi commerciali leader:

Valutazione Soggettiva: In un test MOS (Mean Opinion Score) a sei dimensioni coinvolgente professionisti della musica, LeVo 2 ha superato tutti i modelli open-source (YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo) in termini di Musicalità Complessiva, Melodia, Arrangiamento, Struttura, Qualità Sonora Vocale e Qualità Sonora dell'Accompagnamento.
Confronto Commerciale: LeVo 2 si avvicina alle prestazioni di sistemi proprietari come Suno v5 e Mureka v8 in metriche come Melodia (6,12 vs 6,38), Arrangiamento (6,42 vs 6,55) e Qualità Sonora dell'Accompagnamento (7,10 vs 7,11). Notevolmente, supera MiniMax Music 2.5+ in tutte le metriche di ascolto soggettivo.
Valutazione Obiettiva: LeVo 2 ha ottenuto il più basso Tasso di Errore Fonetico (PER) tra i sistemi open-source (8,55%), indicando un superiore allineamento lirico. Ha inoltre raggiunto il più alto punteggio di controllo dell'emozione (8,72) tra tutti i sistemi valutati, inclusi quelli commerciali.
Studi di Ablazione: Gli esperimenti hanno confermato che la rimozione dell'architettura gerarchica, della guida estetica o delle fasi di post-addestramento progressivo porta a un significativo degrado delle prestazioni, validando la necessità di ogni componente.

Significato

L'articolo sostiene che LeVo 2 rappresenti un avanzamento significativo nella generazione automatica di canzoni, affrontando con successo i compromessi strutturali inerenti ai modelli precedenti. Separando l'ottimizzazione della controllabilità e della musicalità in fasi distinte e utilizzando un'architettura gerarchica, il framework mitiga i conflitti di gradiente e massimizza il limite superiore delle prestazioni del modello. Gli autori sostengono che LeVo 2 dimostri che le architetture open-source possono avvicinarsi agli standard commerciali nella generazione di brani completi, in particolare quando guidate da prior estetici e strategie di addestramento slegate. Il rilascio dei pesi del modello e del codice è inteso a facilitare ulteriore ricerca nella generazione musicale ad alta fedeltà e controllabile.