💻 computer science

LeVo 2: Stable and Melodious Song Generation via Hierarchical Representation Modeling and Progressive Post-Training

LeVo 2 is een hybride LLM-Diffusie-framework dat stabiele, melodieuze en controleerbare volledige liedjes genereert door een hiërarchische modelleringsaanpak en een progressief, esthetisch gestuurd post-training schema te hanteren om de afweging tussen globale semantische planning en trackspecifieke akoestische verfijning op te lossen.

Oorspronkelijke auteurs: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shun Lei, Huaicheng Zhang, Dapeng Wu, Yaoxun Xu, Lishi Zuo, Wei Tan, Hangting Chen, Guangzheng Li, Jianwei Yu, Zhiyong Wu, Dong Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren een Hit te Schrijven

Stel je voor dat je een robot wilt leren om vanaf nul een volledig liedje te schrijven. De robot moet drie moeilijke dingen tegelijk doen:

Het liedje plannen: Bepalen wat de melodie, het ritme en hoe de zang en instrumenten bij elkaar passen.
De details uitwerken: Zorgen dat de zanger menselijk klinkt en de gitaar helder is, en niet robotachtig.
Instructies opvolgen: Als je vraagt om een "droevig folkliedje over regen", moet het ook echt zo klinken, en niet als een vrolijk rocknummer.

Eerdere AI-modellen hadden moeite omdat ze probeerden dit allemaal in één grote, rommelige stap te doen. Ze kregen ofwel het plan goed maar de geluidskwaliteit slecht, of het geluid was geweldig maar het liedje maakte nergens zin van.

LeVo 2 is een nieuw systeem dat dit oplost door te fungeren als een meesterdirigent en een team van gespecialiseerde muzikanten die samenwerken.

1. De Architectuur: De Dirigent en de Muzikanten

In plaats van één brein dat alles probeert te doen, splitst LeVo 2 de taak op in twee lagen, zoals een Generaal en een Special Forces Unit.

De Generaal (Mixed Semantic LM): Dit deel kijkt naar het grote plaatje. Het maakt zich nog geen zorgen over de kleine details van de gitaarsnaren. In plaats daarvan plant het de "skeletstructuur" van het liedje: de melodie, het tempo en waar het refrein komt. Het creëert een "gemengd" plan dat ervoor zorgt dat de zang en de instrumenten goed met elkaar samengaan.
De Special Forces (Track-Specific LM): Zodra de Generaal het plan heeft, neemt dit team het over. Zij kijken naar het plan en vullen de high-definition details in. Eén groep focust puur op het perfect maken van de zang, terwijl een andere groep zich richt op het perfect maken van de instrumenten. Ze werken parallel, zodat ze elkaar niet in de weg zitten.
De Geluidstechnicus (Music Codec): Ten slotte neemt een derde component de noten van de Generaal en de Special Forces en zet deze om in daadwerkelijke, hoogwaardige audiofrequenties waar je naar kunt luisteren.

De Analogie: Denk aan het bouwen van een huis. De Generaal tekent de blauwdrukken (waar de muren komen te staan). De Special Forces zijn de schilders en elektriciens die de fijne details toevoegen (de kleur van de verf, de bedrading). De Geluidstechnicus is de bouwploeg die het huis daadwerkelijk bouwt zodat je erin kunt wonen.

2. De Training: Een Drie-fasen School voor Muzikanten

De auteurs realiseerden zich dat je een robot niet zomaar in een muziekstudio kunt gooien en verwachten dat hij direct goed is. Ze creëerden een driestaps-trainingsschool geleid door een "Geautomatiseerde Muziekrechter".

Fase 1: De Muziektheorieles (Pre-training)
De robot luistert naar duizenden liedjes. Maar niet zomaar welke liedjes — het gebruikt een geautomatiseerd systeem om ze te beoordelen. Hij leert eerst van de "Top 5%" van de liedjes. Hij leert de regels van de muziek (melodie, ritme) en krijgt een gevoel bij wat "goed" klinkt. Dit is als een student lesgeven door hem alleen de grootste hits aller tijden te laten zien.
Fase 2: De Discipline-oefening (Progressive Post-Training)
Nu kent de robot muziektheorie, maar hij kan nog steeds fouten maken, zoals het verkeerde woorden zingen of instructies negeren.
- Eerst oefent hij met Supervised Fine-Tuning (SFT): Hij oefent alleen op de absoluut beste liedjes om de kwaliteit hoog te krijgen.
- Daarna doet hij Offline DPO: Dit is als een strenge coach. De robot genereert veel versies van een liedje, en de coach kiest de versie die de tekst het beste volgt en het meest lijkt op de prompt. De robot leert om te stoppen met "hallucineren" (nepwoorden verzinnen) en begint te luisteren.
- Ten slotte doet hij Semi-Online DPO: De robot begint zijn eigen nieuwe liedjes te genereren en leert van zijn eigen verbeteringen, waardoor hij zijn artistieke creativiteit verhoogt zonder zijn discipline te verliezen.
Fase 3: De Masterclass (Modular Extension)
De Generaal (de planner) is nu perfect en is bevroren (wordt niet meer aangepast). De Special Forces (het detailteam) krijgen extra training. Ze oefenen met het omzetten van een ruwe schets in een kristalheldige, high-fidelity opname. Dit zorgt ervoor dat de zang en de instrumenten rijk en gedetailleerd klinken.

3. De "Esthetische Gids"

Een belangrijke innovatie in dit paper is het Automated Music Aesthetic Evaluation Framework. Stel je een robotrechter voor die naar een liedje luistert en er een score voor geeft op basis van "Musicaliteit".

Tijdens de training labelt deze rechter liedjes met "Musicaliteitstiers" (bijv. "Top Tier", "Gemiddeld", "Laag").
De robot leert dat wanneer hij de "Top Tier" tag ziet, hij iets geweldigs moet genereren.
Dit helupt de robot te begrijpen waarom sommige liedjes beter zijn dan andere, in plaats van ze alleen maar blindelings te kopiëren.

4. De Resultaten: Hoe goed is het?

De auteurs hebben LeVo 2 getest tegen andere open-source modellen en zelfs tegen enkele beroemde commerciële systemen (zoals Suno en Mureka).

Beter dan open-source: LeVo 2 versloeg bijna alle andere open-source modellen in bijna alle categorieën, inclus\n bij melodie, arrangement en geluidskwaliteit.
Rivaliserend met de professionals: Het kwam heel dicht in de buurt van de prestaties van de top commerciële systemen, die hun geheimen meestal verborgen houden.
Instructies opvolgen: Het was erg goed in het zingen van de juiste teksten en het matchen van de stemming (emotie) die je vroeg, wat de "hallucinaties" waarbij AI onzinnige woorden verzint, aanzienlijk verminderde.

Samenvatting

LeVo 2 is een nieuwe manier om AI-muziek te maken. In plaats van één brein dat alles tegelijk probeert te doen, gebruikt het een hiërarchisch team (een planner en detailspecialisten) en een stapsgewijze trainingsschool die de AI leert om eerst muziektheorie te begrijpen, dan te leren regels te volgen, en tot slot de klank tot perfectie te polijsten. Het resultaat is een systeem dat volledige, coherente en hoogwaardige liedjes kan genereren die verrassend menselijk klinken.

Technische Samenvatting: LeVo 2

Probleemstelling

Het genereren van volledige liedjes vormt een fundamentele structurele afruil in bestaande taalmodel-gebaseerde systemen. Benaderingen die gebruikmaken van mixed-token modeling (het gelijktijdig voorspellen van zang en begeleiding) behouden de coördinatie tussen zang en instrumenten, maar vertroebelen de trackspecifieke akoestische details door wederzijdse maskering en beperkte discrete vocabulaire. Daarentegen verbeteren strategieën voor dual-track voorspelling de akoestische getrouwheid, maar vergroten ze de sequentielengte drastisch, wat het vermogen tot globale planning verzwakt en het behoud van langetermijnstructurele coherentie bemoeilijkt.

Bovendien wordt het veld beperkt door een schaarste aan hoogwaardige data en ruisgevoelige annotaties. Bestaande methoden voor voorkeursafstemming (preference alignment) lijden vaak aan gradiëntconflicten wanneer ze gelijktijdig verschillende doelstellingen optimaliseren (bijv. controleerbaarheid versus muzikaliteit), wat leidt tot een gemiddelde werking die de bovengrens van individuele capaciteiten beperkt. Daarnaast beperkt de afhankelijkheid van statische, offline voorkeursdatasets de prestaties van het model tot de capaciteiten van de datageneratoren en maakt het de training gevoelig voor reward hacking.

Methodologie

LeVo 2 pakt deze uitdagingen aan via een hybride LLM-Diffusie framework dat gebruikmaakt van hiërarchische representatiemodellering en een ontkoppeld, esthetisch gestuurd trainingsparadigma.

1. Hiërarchische Architectuur (LeLM)

De kern van het systeem is het LeVo Language Model (LeLM), dat globale semantische planning scheidt van trackspecifieke akoestische verfijning:

Mixed Semantic LM: Een decoder-only Transformer die mixed tokens voorspelt. Deze tokens dienen als een "pseudo-chain-of-thought", die hoogwaardige structurele informatie vastlegt (melodie, ritme, tempo) en globale harmonie tussen zang en instrumenten waarborgt zonder de sequentielengte te vergroten.
Track-Specific LM: Een lichtgewicht module die parallel opereert, geconditioneerd op de verborgen toestanden (hidden states) van de Mixed Semantic LM. Het voorspelt zang- en begeleidingstokens afzonderlijk om fijnmazige akoestische details te herstellen. Om een uitgebreide context te bieden, wordt een delay pattern mechanisme toegepast, waardoor het model toegang heeft tot toekomstige verborgen toestanden van de semantische planner tijdens de dual-track voorspelling.
Music Codec: Een diffusie-gebaseerde decoder reconstrueert de voorspelde dual-track tokens naar volledige, hoogwaardige waveforms. Het maakt gebruik van een vooraf getrainde encoder (MuEncoder) en gespecialiseerde Vector Quantizers (VQs) om audio te discretiseren in tokens.

2. Esthetisch Gestuurd Drie-Stappen Trainingsparadigma

LeVo 2 introduceert een nieuw trainingsschema dat muzikale priors injecteert en optimalisatiedoelstellingen ontkoppelt:

Fase 1: Esthetisch Geconditioneerde Pre-training:
- De Mixed Semantic LM wordt getraind op grootschalige data met behulp van een geautomatiseerd framework voor de evaluatie van muziekesthetiek. Dit framework wijst "musicality-tier" condities toe (bijv. Top 5%, 5-25%) aan trainingsdata op basis van voorspelde kwaliteitsscores.
- Dit stelt het model in staat om kernakoestische en semantische kennis te leren van ruisgevoelige, long-tail data, terwijl een prior voor muzikaliteit wordt vastgesteld, wat musicality-aware Classifier-Free Guidance (CFG) tijdens inferentie mogelijk maakt.
- Zuivere instrumentale muziek is inbegrepen om de modellering van begeleiding te versterken.
Fase 2: Ontkoppelde Progressieve Post-training:
- Supervised Fine-Tuning (SFT): Filtert data tot de top 0,5% van de esthetische scores om een hoogwaardige generatie-baseline te vestigen en de outputdistributie te vernauwen.
- Grootschalige Offline DPO: Richt zich op controleerbaarheid. Met behulp van 150.000 diverse teksten en prompts wordt het model afgestemd om lyrische hallucinaties te verminderen en de prompt-consistentie (genre, emotie, instrumenten) te verbeteren.
- Closed-Loop Semi-Online DPO: Richt zich op musicaliteit. Een periodiek bijgewerkte generator samplet nieuwe data om voorkeursparen te creëren, waardoor het model verder gaat dan de grenzen van statische offline datasets en reward hacking wordt voorkomen door middel van hybride validatie.
Fase 3: Esthetisch Geconditioneerde Modulaire Uitbreiding:
- De gewichten van de afgestemde Mixed Semantic LM worden bevroren. De Track-Specific LM wordt uitsluitend getraind om akoestische details te verfijnen.
- Er wordt een akoestische augmentatiestrategie toegepast: mixed tokens worden gereconstrueerd naar audio van lage kwaliteit (via beperkte diffusiestappen) en opnieuw getokenized. Dit dwingt de Track-Specific LM om te leren hoe fijnmazige akoestische nuances te herstellen en aan te vullen.

Belangrijkste Bijdragen

Hiërarchische Representatiemodellering: Een nieuwe architectuur die globale semantische planning (Mixed Semantic LM) ontkoppelt van trackspecifieke akoestische verfijning (Track-Specific LM), waardoor de afruil tussen structurele coherentie en akoestische getrouwheid wordt opgelost zonder explosie van de sequentielengte.
Esthetisch Gestuurde Training: De introductie van een geautomatiseerd framework voor de evaluatie van muziekesthetiek om musicality-tier condities toe te wijzen tijdens pre-training, wat muzikale priors biedt vóór de voorkeursafstemming.
Ontkoppelde Progressieve Post-training: Een driefasen afstemmingsstrategie (SFT $\to$ Offline DPO voor controleerbaarheid $\to$ Semi-Online DPO voor musicaliteit) die gradiëntconflicten mitigeert en de beperkingen van statische offline datasets vermijdt.
Modulaire Uitbreiding met Akoestische Augmentatie: Een gespecialiseerde trainingsfase voor de Track-Specific LM die intentionele akoestische corruptie gebruikt om het vermogen van het model te verbeteren bij het herstellen van fijnmazige details.

Resultaten

Uit extensieve evaluaties blijkt dat LeVo 2 de bestaande open-source baselines en benaderingen van toonaangevende commerciële systemen aanzienlijk overtreft:

Subjectieve Evaluatie: In een zesdimensionale Mean Opinion Score (MOS) test met muziekprofessionals, overtrof LeVo 2 alle open-source modellen (YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo) op het gebied van Algemene Musicaliteit, Melodie, Arrangement, Structuur, Vocale Geluidskwaliteit en Begeleidingsgeluidskwaliteit.
Commerciële Vergelijking: LeVo 2 nadert de prestaties van propriëtaire systemen zoals Suno v5 en Mureka v8 in metrieken zoals Melodie (6.12 vs. 6.38), Arrangement (6.42 vs. 6.55) en Begeleidingsgeluidskwaliteit (7.10 vs. 7.11). Opvallend genoeg overtreft het MiniMax Music 2.5+ op alle subjectieve luistermetrieken.
Objectieve Evaluatie: LeVo 2 behaalde de laagste Phoneme Error Rate (PER) onder de open-source systemen (8,55%), wat duidt op superieure lyrische uitlijning. Het behaalde ook de hoogste Emotie-controle score (8,72) van alle geëvalueerde systemen, inclus bij commerciële systemen.
Ablatie-studies: Experimenten bevestigden dat het verwijderen van de hiërarchische architectuur, de esthetische sturing of de progressieve post-training fasen leidt tot significante prestatieverslechtering, wat de noodzaak van elk onderdeel valideert.

Betekenis

Het artikel beweert dat LeVo 2 een belangrijke vooruitgang betekent in automatische liedgeneratie door succesvol de structurele afruilen aan te pakken die inherent zijn aan eerdere modellen. Door de optimalisatie van controleerbaarheid en musicaliteit in afzonderlijke fasen te splitsen en een hiërarchische architectuur te gebruiken, mitigeert het framework gradiëntconflicten en maximaliseert het de prestatie-bovengrens van het model. De auteurs stellen dat LeVo 2 aantoont dat open-source architecturen de commerciële standaarden kunnen benaderen in volledige liedgeneratie, met name wanneer ze worden gestuurd door esthetische priors en ontkoppelde trainingsstrategieën. De release van de modelgewichten en code is bedoeld om verder onderzoek naar hoogwaardige, controleerbare muziekgeneratie te faciliteren.