Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

Probleemstelling

Grote Taalmodellen (LLMs) tonen veelbelovende resultaten in het genereren van melodieën op basis van teksten (lyric-to-melody). Echter, modellen die uitsluitend zijn getraind met Supervised Fine-Tuning (SFT) vertonen vaak een fenomeen dat de auteurs "constraint violation" noemen. Deze modellen produceren melodieën die muzikaal onwaarschijnlijk zijn, met problemen zoals:

• Slechte ritmische structuur.
• Ongeschikte zangregisters (buiten het bereik van een gemiddelde menselijke stem).
• Monotone toonladders.
• Fouten in de uitlijning tussen tekst en noten.

Bestaande oplossingen zoals Reinforcement Learning from Human Feedback (RLHF) zijn effectief maar zeer complex, rekenintensief en afhankelijk van dure menselijke annotatie. Er is behoefte aan een schaalbaar, kosteneffectief alternatief dat muzikale principes kan inbouwen zonder menselijke tussenkomst.

Methodologie

De auteurs stellen een nieuw uitlijningskader voor dat LLM's traint om aan regelgebaseerde muzikale constraints te voldoen. Het proces bestaat uit drie fasen (zoals afgebeeld in Figuur 1 van het paper):

1. Supervised Fine-Tuning (SFT):
   Een vooraf getrainde LLM wordt eerst gefinetuned op een groot corpus van gekoppelde tekst-melodie-paren. Dit geeft het model de basisvaardigheid om tekst om te zetten naar een symbolische melodie-notatie (bestaande uit syllabe, MIDI-pitch en duur).

2. Generatie van Preferentie-data (Zonder Menselijke Annotatie):
   In plaats van menselijke beoordelingen te vragen, gebruiken de auteurs een set van vijf gedefinieerde regels om de output van het SFT-model automatisch te evalueren. Hieruit wordt een voorkeursdataset gegenereerd:

   • Gekoppelde data (Paired): Een "winnaar" (regels gehandhaafd) en een "verliezer" (regels geschonden) voor dezelfde prompt.
   • Ongekoppelde data (Unpaired): Alleen "verliezers" voor prompts waarbij het SFT-model geen enkele regel-conforme melodie kon genereren.

3. Sequentiële Uitlijning (Sequential Alignment):
   Het model ondergaat een twee-staps optimalisatieproces:

   • Direct Preference Optimization (DPO): Toegepast op de gekoppelde data om het model te leren de "winnaar" te prefereren boven de "verliezer".
   • Kahneman-Tversky Optimization (KTO): Toegepast op de ongekoppelde negatieve data om het model specifiek te straffen voor het genereren van ongewenste output, zonder dat er een positief voorbeeld nodig is.

De vijf regelgebaseerde constraints:

• Format Constraint: De output moet correct parsbaar zijn in het symbolische formaat.
• Lyric Constraint: De gegenereerde melodie moet exact overeenkomen met de invoer-tekst (geen gemiste of extra woorden).
• Note Constraint (Monotonie): Beperking op het aantal opeenvolgende identieke noten om monotonie te voorkomen.
• Duration Constraint (Ritme): Noten moeten binnen een perceptueel geldig tijdsbestek vallen, met een specifieke regel voor de duur van de laatste noot.
• Register Constraint (Zangbereik): Alle noten moeten binnen een typisch menselijk zangbereik vallen (bijv. C4 tot C6).

Belangrijkste Bijdragen

1. Een uitgebreide set regels: Definities van vijf fundamentele muzikale principes die gericht zijn op veelvoorkomende fouten in generatieve modellen.
2. Volledig geautomatiseerde pipeline: Een methode om een grote voorkeursdataset te genereren zonder menselijke annotatie, door regels te gebruiken om SFT-outputs te evalueren.
3. Sequentiële strategie: Een innovatieve combinatie van DPO en KTO die het model leert van zowel gepaarde voorkeuren als ongekoppelde negatieve voorbeelden, wat leidt tot robuustere uitlijning.

Resultaten

De methode werd getest op zowel Engelse als Chinese datasets en vergeleken met state-of-the-art baselines (zoals SongMASS, TeleMelody, SongComposer).

• Objectieve Metrieken: Het voorgestelde model presteerde consistent beter in Pitch Distribution Similarity (PD) en Duration Distribution Similarity (DD), en had de laagste Melody Distance (MD). Dit duidt op een betere overeenkomst met menselijk gecomponeerde muziek qua toonhoogte en ritme.
• Subjectieve Metrieken (MOS): In een Mean Opinion Score-test (beoordeeld door muzikanten) behaalde het model een score van 3.42, wat significant hoger is dan alle baselines en zeer dicht bij de "Ground Truth" (3.50) ligt.
• Ablatie-studies: De combinatie van SFT + DPO + KTO bleek superieur aan het gebruik van alleen DPO of alleen KTO.
• Regel-overschrijdingen: Figuur 2 toont aan dat de volledige methode de frequentie van overtredingen van alle vijf de regels drastisch verlaagt ten opzichte van het SFT-baseline.

Betekenis en Conclusie

Dit paper valideert dat regelgebaseerde uitlijning een schaalbaar en kosteneffectief alternatief is voor menselijke feedback (RLHF) bij het trainen van gespecialiseerde generatieve modellen. Door muzikale kennis te codificeren in deterministische regels, kunnen LLM's worden getraind om muzikaal plausibele en esthetisch aantrekkelijke melodieën te genereren zonder de kosten en complexiteit van menselijke annotatie.

De studie toont aan dat het combineren van DPO en KTO op automatisch gegenereerde data leidt tot modellen die niet alleen statistisch beter presteren, maar ook door menselijke experts worden waargenomen als bijna menselijk van kwaliteit. Dit opent de deur voor betere interactieve stemagenten en creatieve hulpmiddelen voor muzikanten.