💬 NLP

A novel LSTM music generator based on the fractional time-frequency feature extraction

In dit artikel wordt een nieuw AI-systeem voorgesteld dat de fractionele Fourier-transformatie gebruikt voor het extraheren van spectrale kenmerken en een LSTM-netwerk inzet om hoogwaardige muziek te genereren die vergelijkbaar is met menselijk gecomponeerde muziek.

Oorspronkelijke auteurs: Li Ya, Chen Wei, Li Xiulai, Yu Lei, Deng Xinyi, Chen Chaofan

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Li Ya, Chen Wei, Li Xiulai, Yu Lei, Deng Xinyi, Chen Chaofan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een muzikale chef-kok bent die een nieuw gerecht wil bedenken, maar in plaats van ingrediënten uit de koelkast te halen, gebruikt je een super-intelligente robot die de "geest" van muziek kan proeven en nabootsen.

Dit artikel beschrijft precies zo'n robot: een AI-muziekgenerator die leert om nieuwe, prachtige muziek te componeren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Muziek is meer dan alleen geluid

Muziek is niet statisch; het verandert voortdurend in tijd en toonhoogte. Standaard computerprogramma's kijken vaak alleen naar het geluid als een rechte lijn (tijd) of als een statisch plaatje (frequentie). Maar muziek is dynamisch, net als een dansende vlag in de wind.

2. De Oplossing: Twee Superkrachten

De auteurs van dit artikel hebben twee slimme technieken gecombineerd om de robot slimmer te maken:

De "Magische Spiegel" (FrFT - Fractional Fourier Transform):
Stel je voor dat je een muziekstuk bekijkt door een gewone lens. Je ziet de tijd (wanneer een noot klinkt) en de frequentie (hoe hoog of laag de noot is). Maar wat als je die lens een beetje zou kantelen? Dan zie je iets nieuws: een combinatie van beide.
De Fractional Fourier Transform (FrFT) is precies die kantelbare lens. In plaats van alleen naar de tijd of alleen naar de frequentie te kijken, kijkt de robot naar de muziek vanuit een tussenliggend perspectief. Hierdoor kan hij de subtiele, lokale details van de muziek "zien" die andere methoden missen. Het is alsof je een schilderij niet alleen van voren bekijkt, maar ook schuin, waardoor je de diepte en textuur beter begrijpt.
De "Geheugen-Expert" (LSTM - Long Short-Term Memory):
Nu de robot de muziek in die speciale "kantelbare" vorm heeft gezien, moet hij er iets mee doen. Hier komt de LSTM-neural network om de hoek kijken.
Een LSTM is een soort computerhersenen die uitstekend is in patronen herkennen in tijd. Denk aan het onthouden van een verhaal: als je een verhaal hoort, onthoud je niet alleen het laatste woord, maar ook wat er 10 minuten geleden gebeurde, zodat je de context begrijpt.
Deze LSTM "luistert" naar de door de FrFT onthulde patronen en leert: "Als er nu een snelle noot komt, volgt er waarschijnlijk een rustige noot, net als in de klassieke muziek die we eerder hebben gehoord."

3. Hoe het proces werkt (Stap voor Stap)

De Input (Het Inlezen): De robot neemt een bestaand muziekstuk (bijvoorbeeld een piano-sonate) en leest het als een digitaal signaal.
De Transformatie (De Magische Spiegel): Het signaal gaat door de FrFT-masjinerie. Hier wordt de muziek "ontleed" in een realistisch en een imaginaire deel (klinkt wiskundig, maar stel je voor als de "schaduw" en het "licht" van de muziek). Dit geeft een veel rijker beeld van de muziek dan normaal.
Het Leren (De Geheugen-Expert): De robot kijkt naar deze rijke beelden en traint zijn LSTM-geheugen. Hij leert de regels van de muziek: hoe melodieën zich gedragen, hoe ritmes werken en hoe akkoorden oplossen.
Het Maken (De Creatie): Als de robot klaar is met leren, kan hij nieuwe muziek maken. Hij voert een nieuwe reeks "geheugen-acties" uit, voorspelt welke noot er als volgende moet komen, en bouwt zo een compleet nieuw liedje op.
De Output (Het Resultaat): De voorspellingen worden weer omgezet naar een geluidsbestand dat je kunt beluisteren.

4. Wat zeggen de resultaten?

De auteurs hebben hun robot getraind met duizenden piano-stukken (het GiantMIDI-Piano dataset).

De test: Ze lieten de robot muziek maken en vergeleken het met de originele stukken.
Het resultaat: De "fout" in de voorspelling was extreem klein. De muziek die de AI maakte klonk bijna niet te onderscheiden van menselijk gemaakte muziek. Het was alsof de robot de "ziel" van de piano-muziek had begrepen.

Waarom is dit belangrijk?

Voor Musici: Het is een onuitputtelijke bron van inspiratie. Je kunt een AI vragen: "Maak een jazzstuk dat klinkt als een regenachtige zondag," en hij levert iets nieuws op.
Voor Onderwijs: Het helpt studenten om te begrijpen hoe muziektheorie werkt in de praktijk.
Voor de Toekomst: Het bewijst dat AI niet alleen kan kopiëren, maar ook creatief kan zijn door de complexe, verborgen patronen in kunst te begrijpen.

Kortom: Dit artikel beschrijft hoe je een computer leert muziek te "voelen" door eerst naar de muziek te kijken vanuit een nieuw, schuin perspectief (FrFT) en hem vervolgens te leren de lange termijn-patronen te onthouden (LSTM). Het resultaat is een digitale componist die net zo goed kan spelen als een mens.

Probleemstelling

De huidige kunstmatige intelligentie (AI) voor muziekcompositie staat voor uitdagingen op het gebied van creativiteit en authenticiteit. Bestaande diep-leringsmodellen neigen vaak om de trainingsset te imiteren zonder echte creatieve innovatie te tonen. Bovendien hebben traditionele methoden moeite met het effectief modelleren van niet-stationaire signalen (zoals muziek), waarbij zowel tijds- als frequentie-informatie cruciaal is. Er is behoefte aan systemen die niet alleen de structuur van muziek kunnen begrijpen, maar ook nieuwe, hoogwaardige composities kunnen genereren die qua stijl en complexiteit vergelijkbaar zijn met menselijk gecomponeerde muziek.

Methodologie

Het artikel stelt een nieuwe architectuur voor die twee kerncomponenten combineert: de Fractionele Fourier-transformatie (FrFT) voor kenmerkextractie en Long Short-Term Memory (LSTM) netwerken voor sequentiegeneratie.

Kenmerkextractie met FrFT:
- In plaats van alleen het tijdsdomein of het standaard frequentiedomein te gebruiken, maakt het systeem gebruik van de FrFT. Dit is een generalisatie van de traditionele Fourier-transformatie die signalen analyseert in een "fractioneel domein".
- De FrFT roteert de tijd-frequentie-as in het tijd-frequentievlak, wat een flexibele representatie van niet-stationaire signalen mogelijk maakt.
- Het muzieksignaal wordt getransformeerd naar dit fractionele domein. Het resulterende complexe signaal wordt opgesplitst in een reëel deel en een imaginair deel.
- Deze twee delen worden genormaliseerd en vormen de input voor het neurale netwerk. Dit zorgt voor een diepere ontleding van de lokale structuur van het muzieksignaal.
Generatie met LSTM:
- Een multi-layer LSTM-netwerk wordt getraind om de patronen in de FrFT-geëxtraheerde kenmerken te leren.
- De LSTM is gekozen vanwege zijn vermogen om lange-termijn afhankelijkheden in sequentiële data (zoals muzieknoten) te onthouden en het probleem van het verdwijnen van gradiënten te omzeilen.
- Het netwerk voert een voorspelling uit op basis van de verborgen laag-kenmerken en real-time input. Het leert de verdeling van de data en genereert nieuwe reeksen die overeenkomen met de stijl van de trainingsdata.
Verwerkingsstroom:
- Input: MIDI-bestanden worden gelezen en omgezet naar een signaal.
- Transformatie: FrFT wordt toegepast (met parameter $\alpha = 0.05$ ) om het signaal naar het fractionele domein te brengen.
- Training: Het LSTM-netwerk (4 lagen, verborgen laaggrootte 256) wordt getraind op de gesplitste reële en imaginaire delen met een Mean Squared Error (MSE) als verliesfunctie.
- Output: De voorspellingen worden genormaliseerd, samengevoegd tot een complex signaal en via de Inverse FrFT (IFrFT) teruggezet naar het tijdsdomein om een nieuw audio-signaal (WAV/MIDI) te genereren.

Kernbijdragen

Integratie van FrFT in Muziekgeneratie: Het artikel introduceert voor het eerst (in deze context) het gebruik van FrFT voor het extraheren van tijd-frequentie kenmerken specifiek voor AI-muziekgeneratie, wat een flexibeler signaalrepresentatie biedt dan traditionele methoden zoals STFT.
Hybride Architectuur: Een nieuw systeem dat FrFT combineert met LSTM om zowel de lokale structuur van het signaal (via FrFT) als de sequentiële afhankelijkheden (via LSTM) effectief te modelleren.
Ablatie-studie: De auteurs voeren een vergelijking uit tussen hun methode en een baseline (zonder FrFT). De resultaten tonen aan dat het gebruik van FrFT de prestaties significant verbetert.

Resultaten

De experimenten zijn uitgevoerd met de GiantMIDI-Piano dataset (een collectie van solo-pianomuziek).

Trainingsprestaties: Het model convergeerde succesvol na 30 epochs. De verlieswaarden (MSE) daalden stabiel.
Vergelijking met Baseline:
- De baseline-methode (LSTM zonder FrFT) bereikte een signaal-verlieswaarde van 0,0351.
- De voorgestelde methode (FrFT + LSTM) bereikte een verlieswaarde van 0,0155.
- Dit betekent een aanzienlijke verbetering in de nauwkeurigheid van de voorspelling.
Visuele Validatie: Grafieken tonen dat de gegenereerde golfformules (rode lijnen, na IFrFT) een zeer hoge overeenkomst vertonen met de originele muzieksignalen (blauwe lijnen), zowel in het trainings- als testset. Zowel het reële als het imaginaire deel van het signaal werden nauwkeurig voorspeld.
Kwaliteit: De gegenereerde muziek wordt beschreven als van hoge kwaliteit en vergelijkbaar met menselijk gecomponeerde muziek.

Betekenis en Toekomstperspectief

Deze studie demonstreert dat de combinatie van geavanceerde signaalverwerking (FrFT) en diep leren (LSTM) een veelbelovende richting is voor AI-muziekcompositie.

Creativiteit: Het systeem kan nieuwe muziekstijlen genereren en biedt inspiratie voor componisten.
Educatie: Het kan worden ingezet in muziekonderwijs om studenten te helpen theorie en vaardigheden te begrijpen door geautomatiseerde oefeningen en demonstraties te genereren.
Toepassingen: Potentiële toepassingen omvatten het schrijven van muziek, het genereren van live begeleiding en het synthetiseren van soundtracks voor games.

De auteurs concluderen dat hoewel het systeem al veelbelovend is, er nog verder onderzoek nodig is om de systemen te verfijnen, maar het markeert een belangrijke stap in de ontwikkeling van creatieve AI-systemen.