⚡ electrical engineering

MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music

Dit artikel introduceert MIDI-RAE-JEPA, een zelfgesuperviseerd framework dat een Swin Transformer V2-encoder combineert met toonhoogte- en tijdverschuivings-equivariante doelstellingen om hiërarchische, semantisch rijke representaties van symbolische muziek te leren die uitblinken in downstream-taken zoals emotieclassificatie en hoogwaardige generatieve modellering mogelijk maken.

Oorspronkelijke auteurs: Scott H. Hawley

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Scott H. Hawley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om muziek te begrijpen, niet alleen door naar de geluidsgolven te luisteren, maar door de bladmuziek zelf te lezen. In de wereld van kunstmatige intelligentie is dit als het leren aan een computer om een kaart van muzikale noten te lezen. Meestal leert AI door miljoenen foto's van katten of honden te bekijken, waarbij het leert dat een "kat" een kat is, of deze nu ingezoomd of uitgezoomd is. Maar muziek is anders. Als je inzoomt op een stuk bladmuziek, zie je niet zomaar een grotere noot; je ziet een heel ander ritme of een heel andere toonhoogte. De regels die werken voor foto's, breken bij muziek af.

Om dit op te lossen, gebruiken wetenschappers een slimme truc genaamd "self-supervised learning" (zelf-gesuperviseerd leren). In plaats van een menselijke docent in te huren om elke enkele noot te labelen, laten ze de AI een spelletje "invul de gaten" spelen. Ze verbergen delen van de muziek en vragen de AI om te raden wat er ontbreekt. Als de AI correct kan raden, betekent dit dat het de verborgen regels heeft geleerd van hoe muziek is opgebouwd. De grote vraag die dit artikel aanpakt is: Kunnen we een AI leren de structuur van muziek te begrijpen—hoe een kleine melodie in een groot lied past—zonder het ooit één enkel gelabeld voorbeeld te tonen? En als we dat doen, kan die AI dan zijn eigen muziek schrijven die goed klinkt?

Maak kennis met MIDI-RAE-JEPA, een nieuw AI-systeem ontworpen om de geheime taal van symbolische muziek te leren (muziek geschreven als digitale instructies, zoals een piano roll). Denk aan een piano roll als een gigantisch, binair rooster: 128 vierkantjes breed voor elke mogelijke pianotoon, en 128 vierkantjes hoog voor de tijd. Een zwart vierkantje betekent dat een noot wordt gespeeld; een wit vierkantje betekent stilte. Het doel van dit project was om een AI te leren naar deze roosters te kijken en de diepe, hiërarchische relaties van muziek te begrijpen—hoe een enkele noot een frase opbouwt, hoe frases secties opbouwen, en hoe secties een heel lied opbouwen.

De onderzoekers bouwten een systeem dat werkt als een muzikale detective. Ze gebruikten een speciaal type AI-architectuur genaamd een Swin Transformer V2, wat een soort vergrootglazen is die naar de muziek kijken op verschillende niveaus van detail, van minuscule enkele noten tot de hele liedstructuur. Maar de echte magie zit in hoe ze het hebben geleerd. In plaats van alleen ontbrekende noten te raden, leerden ze de AI een spel van "muzikale vertaling".

Stel je voor dat je een melodie hebt. Als je die melodie een paar noten omhoog verschuift (toonhoogteverschuiving) of in de tijd naar voren verschuift (tijdverschuiving), blijft de structuur van de muziek hetzelfde, ook al zijn de noten anders. De AI werd getraind om te herkennen dat deze verschoven versies gerelateerd zijn. Als je een lied een toon omhoog verschuift, zou de interne "vingerafdruk" van dat lied slechts een klein beetje verschuiven. Als je het een hele octaaf omhoog verschuift, zou de vingerafdruk veel verder weg moeten bewegen. Dit wordt equivariante genoemd. Het is als het leren aan een kind dat een rode bal nog steeds een rode bal is, of hij nu op de vloer ligt of op de tafel; de AI leert dat een muzikaal idee nog steeds hetzelfde idee is, zelfs als het in een andere toonsoort of op een ander moment is.

Om er zeker van te zijn dat de AI de antwoorden niet simpelweg memoriseerde of in de war raakte, voegden de onderzoekers een paar vangnetten toe. Ze gebruikten een "masked embedding predictor", wat lijkt op het afdekken van delen van de bladmuziek en de AI vragen wat eronder zit op basis van de rest van het lied. Ze voegden ook een speciale regel toe genaamd SIGReg om te voorkomen dat de AI lui werd en voor elk lied hetzelfde antwoord gaf (een probleem dat bekend staat als "collapse").

De resultaten waren verrassend succesvol. Wanneer ze de hersenen van de AI bevroren (stopten met het leren van iets nieuws) en een eenvoudige decoder eraan koppelden, kon het systeem de originele piano roll met ongelooflijke nauwkeurigheid reconstrueren, met een score van een F1 van 0,995. Dat is bijna perfect. Dit betekent dat de AI de essentie van de muziek werkelijk heeft gevangen in haar interne geheugen.

Maar de echte test was generatie. De onderzoekers namen deze interne "vingerafdruk"-representaties en voedden ze aan een generatief model (een type AI dat nieuwe dingen creëert). Wanneer ze het model een specifieke muzikale excerpt gaven om op te "conditioneren", genereerde de AI nieuwe muziek die overeenkwam met het toonhoogtebereik (hoe hoog of laag de noten zijn) en de ritmische dichtheid (hoe druk of sober de noten zijn) van het origineel. Als ze het een mismatch-conditie gaven, maakte de AI nog steeds muziek die aannemelijk klonk, maar ongerelateerd was aan de prompt. Dit suggereert dat de AI niet alleen kopieert; het begrijpt de stijl en structuur van de input.

Het artikel testte ook of deze geleerde representaties konden helpen bij andere taken. Ze probeerden de interne vingerafdrukken van de AI te gebruiken om de emotie van een lied te raden (zoals "blij" of "verdrietig"). De resultaten suggereren dat deze methode beter werkt dan oudere, simpelere technieken (zoals een Haar scattering transform), wat bewijst dat de AI iets muzikaal betekenisvols heeft geleerd zonder expliciet over emoties te zijn onderwezen.

De auteurs zijn echter voorzichtig met het claimen dat ze alles hebben opgelost. Ze merken op dat hoewel de "fijnere" niveaus van hun AI (die naar kleine details kijken) erg goed zijn in het vastleggen van specifieke noten en ritmes, de "grovere" niveaus (die naar het grotere plaatje kijken) nog niet helemaal hebben geleerd om duidelijke, interpreteerbare muzikale abstracties vast te leggen. Het systeem is een sterk bewijs van concept, dat laat zien dat het combineren van equivariante (begrip van verschuivingen) met hiërarchisch leren (begrip van schalen van detail) een levensvatbaar pad vooruit is. Het suggereert dat we AI-assistenten kunnen bouwen die naar een muzikaal idee luisteren en de structuur ervan begrijpen genoeg om te helpen bij het verfijnen van een compositie, maar we zijn nog steeds bezig om de AI de volledige, abstracte architectuur van een symfonie volledig te laten vatten.

Kortom, dit artikel laat zien dat door een AI te leren de regels van muzikale verschuivingen en schalen te respecteren, we een systeem kunnen creëren dat muziek diepgaand begrijpt, genoeg om het te reconstrueren en nieuwe, aannemelijke muziek te genereren op basis van specifieke muzikale stemmingen. Het is een stap naar een AI die muziek niet alleen imiteert, maar ook echt haar grammatica begrijpt.

Technische Samenvatting: MIDI-RAE-JEPA

Probleemstelling

Het artikel behandelt het gebrek aan rijke, zelfgesuperviseerde interne representaties voor symbolische muziek die de hiërarchische, multiscale aard ervan vastleggen. Hoewel grote multimodale taalmodellen bestaan, presteren zij slecht op taken van muziekbegrip. Bovendien zijn standaard zelfgesuperviseerde leerdoelen (SSL) ontworpen voor natuurlijke afbeeldingen (bijv. de crop-and-resize strategie van DINOv2) semantisch problematisch voor piano roll-representaties. Het "inzoomen" op een piano roll voegt aangrenzende halve tonen samen en vervormt de ritmische structuur, in tegen tegenstelling tot de vloeiende schaalinvariantie die bij foto's wordt gevonden. Het doel is om een domeinspecifieke aanpak te ontwikkelen die hiërarchische representaties van symbolische muziek leert (gecodeerd als piano roll-afbeeldingen) die in staat zijn om zowel discriminatieve taken als hoogwaardige generatie te ondersteunen zonder end-to-end fine-tuning.

Methodologie

Datarepresentatie

Het systeem werkt op de POP909 dataset, waarbij 8-maten segmenten worden gerenderd als 128 × 128 binaire piano roll-afbeeldingen. De horizontale as vertegenwoordigt tijd (64 achtste noten stappen), en de verticale as vertegenwoordigt toonhoogte (alle 128 MIDI-toonhoogtes). De trainingspijplijn maakt gebruik van willekeurige cropping met pitch en time transpositie augmentatie om de effectieve trainingsvariëteit uit te breiden.

Architectuur

De kern van het systeem is een Hiërarchische Swin Transformer V2 encoder met zes stadia. Het verwerkt de input met verschoven vensters (shifted windows) voor self-attention, waarbij de downsampling 2× per stadium is terwijl de embedding dimensie verdubbelt. De architectuur produceert embeddings op meerdere resoluties, van fijnmazige lokale details (Level 5) tot grove globale context (Level 0).

Trainingsdoelen

De encoder wordt puur getraind op zelfgesuperviseerde doelen, waarbij drie hoofdcomponenten worden gecombineerd:

Equivariantie Verlies ( $L_{equiv}$ ): In plaats van alle verschoven views naar identieke embeddings te dwingen (wat tot instorting leidt), dwingt het model een target embedding afstand af die proportioneel is aan de verschuivingsmagnitude.
- Mechanisme: Twee views ( $x_1$ en $x_2$ ) worden gecreëerd door de originele crop te verschuiven in pitch en tijd. De loss minimaliseert het gekwadrateerde verschil tussen de Euclidische afstand van de embeddings en een target afstand die geschaald is door de verschuivingsmagnitude ( $\alpha \sqrt{d} \|\hat{\delta}\|$ ).
- Effect: Dit moedigt het model aan om temporele en toonhoogte-relaties te internaliseren, waardoor wordt gewaarborgd dat grotere verschuivingen resulteren in proportioneel meer afstandelijke embeddings.
Masked Embedding Predictor (MEP) & LeJEPA: Volgens het LeJEPA-framework probeert een lichtgewicht predictor netwerk gemaskeerde patch embeddings te reconstrueren vanuit de volledige context-representatie van de student, gebruikmakend van stabiele targets gegenereerd door een Exponential Moving Average (EMA) teacher. Dit zorgt ervoor dat het model voorspellende representaties van muzikale context over de hiërarchie leert.
Regularisatie en Factorisatie:
- SIGReg: Chunked Sketched Isotropic Gaussian Regularization wordt toegepast om representatie-instorting te voorkomen en een isotrope Gaussische prior af te dwingen, wat theoretisch optimaal is voor downstream taken.
- Soft Factorization Loss ( $L_{fact}$ ): Een nieuw verliesterm stimuleert pitch-shift en time-shift richtingen om geometrisch orthogonaal te zijn in de latente ruimte. Het gebruikt cosine similarity op augmentatie-verschilvectoren om parallelle, anti-parallelle of orthogonale relaties af te dwingen, afhankelijk van het type verschuiving, zonder specifieke richtingen voor te schrijven.

Decoder en Generatief Model

Decoder: Een gespiegelde Swin hiërarchie met een Feature Pyramid Network (FPN) reconstrueert de piano roll vanuit de bevroren encoder embeddings. Deze wordt getraind met binary cross-entropy.
Generatief Model: Een Flow Matching model opereert in de pixelruimte, geconditioneerd op de encoder embeddings. Om de dimensionaliteit te beheren, ondergaan de embeddings PCA (waarbij 95% van de variantie behouden blijft), met de gemiddelde toonhoogte die expliciet wordt toegevoegd om registerinformatie te bewaren. Er wordt een Multi-Level Dropout schema toegepast om ongeconditioneerde, gedeeltelijk geconditioneerde en volledig geconditioneerde generatie mogelijk te maken.

Belangrijkste Bijdragen

Eerste Hiërarchische JEPA voor Symbolische Muziek: Het artikel presenteert de eerste hiërarchische JEPA-gebaseerde aanpak voor symbolische muziek, die equivariantie-doelen, LeJEPA en een Swin V2 encoder combineert.
Volledige RAE Pijplijn: Het demonstreert een volledige Representation Autoencoder (RAE) pijplijn voor muziek, waarbij wordt aangetoond dat bevroren encoder embeddings hoogwaardige reconstructie, conditionele generatie en downstream classificatie ondersteunen.
Meetbare Equivariantie: De auteurs bieden empirische validatie dat embedding afstanden monotoon toenemen met de pitch en time shift magnitude, wat de meetbare equivariantie bevestigt.
Nieuwe Verliesfuncties: De introductie van een gladde, delta-geschaalde equivariantie loss en een soft factorisatie loss die geometrische orthogonaliteit tussen pitch en time richtingen in de latente ruimte stimuleert.
Haalbaarheid op Consumentenhardware: Alle experimenten werden uitgevoerd op consumenten-GPU's (bijv. RTX 4090), wat aantoont dat deze complexe SSL-training geen grootschalige compute-clusters vereist.

Resultaten

Equivariantie en Factorisatie

Equivariantie: Embedding afstanden nemen monotoon toe met de verschuivingsmagnitude, reikend voorbij de nominale patch grootte van elk hiërarchie niveau.
Factorisatie: De soft factorisatie loss stelt succesvol geometrische relaties vast waarbij cross-type verschuivingen (pitch vs. tijd) bijna orthogonaal zijn ( $|\cos| < 0.02$ ), en same-type verschuivingen parallel of anti-parallel zijn.

Downstream Taken

Emotie Classificatie: Op de EMOPIA dataset presteerden linear probes getraind op de bevroren embeddings (specifiek op Level 3) beter dan zowel een Haar scattering transform baseline als een DINOv2 baseline over alle metrieken heen (4-klasse, Arousal en Valence).
Structuur Probes: Fijnere niveaus (L4/L5) codeerden nootdichtheid sterk ( $R^2 > 0.98$ ), terwijl grovere niveaus bredere context vastlegden. De cross-song gelijkenis nam monotoon af van coarse naar fine levels, wat duidt op toenemende discriminabiliteit.

Reconstructie en Generatie

Reconstructie: De decoder bereikte een F1 score van 0.995 op de hold-out testdata, wat bevestigt dat de SSL-doelstelling de encoder dwingt voldoende informatie te behouden voor nauwkeurige reconstructie.
Conditionele Generatie: Het flow matching model produceerde generaties die nauw aansloten bij het pitch register en de ritmische dichtheid van het conditionerende fragment. Mismatched of ongeconditioneerde conditionering leidde tot muzikaal plausibele maar ongerelateerde outputs.
Validiteit van Conditionering: Analyse van de conditioning projectie norm toonde aan dat het model leert om geschudde (niet-informatieve) conditioning signalen te negeren terwijl het stabiele gewichten behoudt voor valide conditionering.

Betekenis en Claims

Het artikel claimt dat equivariantie-gebaseerde SSL-doelen, wanneer gecombineerd met voldoende fijnmazige encoder capaciteit, een levensvatbaar pad bieden naar semantisch rijke, generatief nuttige representaties van symbolische muziek.

Belangrijke conclusies zijn:

De paradigma van het gebruik van bevroren pre-trained representaties voor zowel discriminatie als generatie (RAE) werkt succesvol door naar het domein van symbolische muziek.
De geleerde representaties leggen muzikaal betekenisvolle structuren vast (toonhoogte intervallen, ritmische perioden) zonder dat fine-tuning nodig is voor downstream taken.
De aanpak vermijdt de semantische valkuilen van beeld-gebaseerde SSL op piano rolls door gebruik te maken van translatie invariantie in plaats van schaal invariantie.
Hoewel de fijnere niveaus van de hiërarchie lokale details effectief vastleggen, merkt het artikel op dat het vastleggen van "duidelijk interpreteerbare muzikale abstracties" op de grovere niveaus een openstaand probleem blijft voor toekomstig werk.

De auteurs concluderen dat deze methode een fundament biedt voor toekomstig werk met betrekking tot het uitbreiden van deze benaderingen naar audio spectrogrammen, het opschalen naar grotere datasets en het verkennen van rijkere downstream taken zoals arrangement of begeleidingsgeneratie.