💻 computer science

Equivariant Music Transformer

Dit artikel introduceert de Equivariant Music Transformer (EMT), een model dat equivariantie naar tijdsverschuivingen en toonhoogte-transposities afdwingt door middel van zelf-distillatie en hulp-regularisatie, waardoor de beperkingen van standaard transformers die er niet in slagen de translationele symmetrieën van muziek te vatten worden overwonnen en superieure generatieve prestaties en representatiekwaliteit wordt aangetoond.

Oorspronkelijke auteurs: Zixun Guo, Simon Dixon

Gepubliceerd 2026-08-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zixun Guo, Simon Dixon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar je favoriete nummer luistert. Als iemand diezelfde melodie afspeelt maar deze een paar seconden later laat beginnen, of als een zanger alle noten in zijn stem iets hoger zingt, herken je het nog steeds direct als dezelfde tune. Je brein raakt niet in de war; het begrijpt dat de relatie tussen de noten is wat ertoe doet, en niet de exacte tijd of toonhoogte. Dit vermogen om patronen te herkennen ondanks verschuivingen is een superkracht van de menselijke perceptie. In de wereld van kunstmatige intelligentie proberen wetenschappers computers hetzelfde te leren. Ze bouwen "muziektransformatoren", die lijken op superintelligente digitale componisten die leren door miljoenen partituren te lezen. Er is echter een addertje onder het gras: hoewel deze computers groter en slimmer worden, lijken ze deze superkracht te vergeten. In plaats van de muzikale relaties te begrijpen, beginnen ze de exacte noten en timing uit het hoofd te leren als een papegaai, waardoor ze de melodie niet meer herkennen wanneer deze is verschoven. Dit artikel duikt in de vraag waarom dat gebeurt en bouwt een nieuw soort AI die daadwerkelijk leert luisteren zoals een mens dat doet.

De onderzoekers achter deze studie, Zixun Guo en Simon Dixon, ontdekten iets verrassends en een beetje verontrustends over hoe deze muziek-AI-modellen leren. Ze ontdekten dat naarmate deze modellen groter worden en langer trainen, ze eigenlijk slechter worden in het herkennen van verschoven muziek. Het is alsof een student die voor een toets studeert, begint met het memoriseren van de exacte paginanummers van de antwoorden in plaats van de concepten te leren; wanneer de toetsvragen naar een andere pagina zijn verplaatst, faalt de student. De auteurs noemen dit een gebrek aan "equivariantie". In eenvoudige termen betekent equivariantie dat als je de input verschuift (zoals een melodie in toonhoogte omhoog beweegt), het interne begrip van de computer op precies dezelfde manier moet verschuiven. Maar hun analyse toonde aan dat standaard muziektransformatoren deze verschoven versies van hetzelfde liedje mappen op volkomen verschillende, onverbonden ideeën in hun geheugen. Hoe groter het model werd, hoe meer het leek te lijken op het verspillen van zijn hersencapaciteit aan het memoriseren van absolute patronen in plaats van het vastleggen van de gedeelde muzikale structuren die muziek tot muziek maken.

Om dit op te lossen, bedachten het team de Equivariant Music Transformer (EMT). Denk aan dit nieuwe model als een student die gedwongen wordt om met een speciale regel te studeren: "Als je een melodie leert, moet je ook leren deze te herkennen wanneer deze is verschoven." Ze deden dit door een speciale "huiswerkopdracht" aan het model toe te voegen. Naast de normale taak om de volgende noot in een liedje te voorspellen, kreeg het model ook de opdracht om naar een verschoven versie van het liedje te kijken en ervoor te zorgen dat het interne begrip overeenkwam met het origineel, maar dan verschoven. Het is als het leren van een kind om fiets te rijden, niet alleen op een recht pad, maar ook op een pad dat naar links is verschoven, wat het dwingt om balans te begrijpen in plaats van alleen de weg te onthouden.

De resultaten waren indrukwekkend. Het nieuwe EMT-model werd niet alleen beter in het herkennen van verschoven muziek; het werd ook een betere componist in het algemeen. Door het model te dwingen om verschoven versies van liedjes aan elkaar te koppelen, gebruikte het zijn "hersencapaciteit" efficiënter. In plaats van voor elke mogelijke toonhoogte- of timingverschuiving een aparte versie van een liedje te leren, leerde het de kernstructuur die voor al deze versies geldt. Wanneer de onderzoekers dit testten tegen andere topmodellen, inclusief sommige die veel groter waren, won de EMT. Het produceerde muziek die vloeiender en aangenamer was, zelfs wanneer de startprompt in tijd of toonhoogte was verschoven. Terwijl de oudere modellen in de war zouden raken en rommelige, incoherente muziek zouden generen wanneer de prompt werd verschoven, behield de EMT de controle en handhaafde het een hoge kwaliteit.

De studie sugggeert dat het simpelweg groter maken van AI-modellen niet het antwoord is om ze slimmer te maken bij muziek; zonder specifieke regels om ze over deze muzikale symmetrieën te leren, worden ze gewoon beter in het memoriseren van de verkeerde dingen. De auteurs ontdekten dat het combineren van hun nieuwe "shift-aware" trainingsmethode met enkele slimme manieren om data aan het model te voeren (genaamd feature engineering), de beste resultaten opleverde. Kortom, ze bewezen dat om een AI te bouwen die muziek werkelijk begrijpt, we het moeten leren om te luisteren naar de relaties tussen noten, en niet alleen naar de noten zelf. De code en demo's voor dit nieuwe model zijn online beschikbaar, een uitnodiging voor iedereen die nieuwsgierig is om het verschil te horen tussen een computer die een liedje onthoudt en een die het begrijpt.

Technische Samenvatting: Equivariant Music Transformer (EMT)

1. Probleemstelling

Mensen bezitten een aangeboren vermogen om muzikale passages te herkennen, ongeacht temporele verschuivingen (onset-vertragingen) of toonhoogte-transposities. Deze perceptuele invariantie komt overeen met het concept van equivariantie: een transformatie in de inputruimte moet een voorspelbare, overeenkomstige transformatie in de outputrepresentatieruimte produceren.

De auteurs brengen echter een kritiek gebrek aan bij standaard symbolische muziektransformers aan het licht. Ondanks hun succes in next-token voorspelling, slagen deze modellen er niet in om equivariantie te handhaven. Naarmate modellen in omvang toenemen of langer worden getraind, worden ze progressief minder equivariant. In plaats van gedeelde muzikale structuren te leren, lijken standaard transformers steeds meer capaciteit toe te wijzen aan het memoriseren van absolute patronen (specifieke tokenposities en toonhoogtes). Als gevolg hiervan worden muzikaal equivalente inputs (bijv. een melodie en een getransponeerde versie daarvan) naar verre, ongecorreleerde representaties in de latente ruimte gemapt, wat leidt tot gedegradeerde prestaties wanneer het model geconfronteerd wordt met verschoven inputs.

Bestaande benaderingen om dit aan te pakken vertrouwden op:

Feature engineering op inputniveau: Muziek coderen met behulp van relatieve attributen (bijv. Fundamental Music Embedding).
Modificaties in de latente ruimte: Het opnemen van relatieve positie-embeddings.
Data-augmentatie: Trainen op verschoven versies van de data.

Het artikel betoogt dat deze methoden geen equivariantie afdwingen op het modelniveau en dat standaard next-token voorspellingsdoelstellingen alleen onvoldoende zijn om de translationele symmetrieën van muziek te vatten.

2. Methodologie

De auteurs stellen de Equivariant Music Transformer (EMT) voor, een generatieve transformer-architectuur die equivariantie afdwingt via zelf-distillatie door gezamenlijk twee doelstellingen te optimaliseren.

Architectuur en Verliesfunctie

Het model bestaat uit een hoofdvertakking en een hulpvertakking met gedeelde gewichten:

Hoofdvertakking (Next-Token Predictie): Standaard autoregressieve training met Cross-Entropy verlies ( $L_{NTP}$ ) om de volgende token $x_t$ te voorspellen gegeven de sequentie $x_0 \dots x_{t-1}$ .
Hulpvertakking (Equivariantie Regularisatie):
- Een willekeurige muzikale transformatie $T$ (bestaande uit toonhoogte- en temporele verschuivingen) wordt toegepast op de inputsequentie $x$ om $T(x)$ te creëren.
- De transformer met gedeelde gewichten verwerkt $T(x)$ om output-waarschijnlijkheden $p^T$ te genereren.
- Indien het model equivariant is, zou $p^T$ identiek moeten zijn aan de oorspronkelijke voorspelling $p$ , maar dan verschoven door $T$ .
- De auteurs passen de inverse transformatie $T^{-1}$ toe op $p^T$ en berekenen de KL-divergentie tussen de oorspronkelijke voorspellingen (waarbij de stop-gradient is toegepast) en de verschoven voorspellingen:
  $L_{equiv} = \frac{1}{t} \sum_{i=1}^{t} KL(\text{sg}(p_i) \parallel T^{-1}(p^T_i))$
- De stop-gradient operatie zorgt ervoor dat de hoofdvertakking fungeert als een stabiel anker, waardoor de verschoven vertakking wordt gedwongen zich af te stemmen op het huidige begrip van het onverschoven model van de onverschoven data.

De totale doelstelling is een gewogen som:
$L_{total} = L_{NTP} + \lambda L_{equiv}$

Architecturale Modificaties

EMT is gebouwd op de Moonbeam architectuur [9], die al feature-level equivariantie bevat via Fundamental Music Embedding (FME) en Multi-dimensional Relative Attention (MRA). Belangrijke modificaties zijn:

Het voorspellen van absolute onsets (in plaats van relatieve) en het samenvoegen van octaaf/toonklasse-tokens om eenvoudige toepassing van transformaties over de input/output-ruimten te faciliteren.
Het vervangen van de GRU-decoder door een token-delay patroon om lokale inter-afhankelijkheden te vangen.
Het toevoegen van input-embeddings in plaats van concatenatie om de expressiviteit te vergroten.

3. Belangrijkste Bijdragen

Empirisch Bewijs over Schaling: Het artikel levert het eerste empirische bewijs dat equivariantie niet ontstaat door schaling. Standaard symbolische muziektransformers die alleen getraind zijn met next-token voorspellingsverlies, worden progressief minder equivariant naarmate ze groter worden of langer trainen, waarbij ze prioriteit geven aan het memoriseren van absolute patronen boven structurele generalisatie.
Equivariant Music Transformer (EMT): De introductie van een model-level regularisatieverlies dat equivariantie afdwingt via zelf-distillatie. Deze benadering blijkt een sterkere regularisator te zijn dan alleen input-level feature engineering of data-augmentatie.
Dubbele Verbetering: De hulp-equivariantieverlies werkt als een gunstige regularisator die niet alleen leidt tot latente representaties die in lijn zijn met de menselijke perceptie (equivariant), maar ook de generatieve capaciteit verbetert, wat blijkt uit lagere next-token voorspellingsverliezen.
Complementariteit: De studie toont aan dat model-level regularisatie complementair is aan feature-level equivariantie (FME + MRA), waarbij de combinatie de beste resultaten oplevert.

4. Experimentele Resultaten

Objectieve Evaluatie

Generatieve Capaciteit: EMT behaalde de laagste validatie cross-entropy verlies ( $L_{NTP}$ ) van alle interne varianten, waarmee het superieur was aan modellen die alleen met data-augmentatie of alleen met feature-level equivariantie werden getraind.
Equivariantie Metrieken: EMT vertoonde superieure prestaties in $L_{equiv}$ $L_{e q u i v}$ , Top-1 matching nauwkeurigheid en Top-5 Jaccard gelijkenis vergeleken met de baselines.
- Schalings-trend: Baseline-modellen (Anticipatory Music Transformer) vertoonden een duidelijke degradatie in equivariantie naarmate de modelgrootte toenam (Small $\to$ Medium $\to$ Large) en de trainingsstappen toenamen (100k $\to$ 800k).
- Effectiviteit van Regularisatie: Modellen met model-level regularisatie (EMT) behielden of verbeterden hun equivariantie gedurende de training, terwijl ongeregulariseerde modellen degradeerden. Data-augmentatie alleen bood een zwakkere generalisatie naar ongeziene verschuivingen vergeleken met de expliciete verliesfunctie.

Subjectieve Evaluatie (Luistertest)

Robuustheid: In een Mean Opinion Score (MOS) test met 14 deelnemers behield EMT een consistente kwaliteit onder muzikaal verschoven prompts (toonhoogte-transpositie $\pm$ 6 semitonen, onset-verschuiving tot 1s).
Degradatie: Het baseline-model (Anticipatory) vertoonde een significante daling in "smoothness" en "enjoyment" scores wanneer het werd geprompt met verschoven inputs ( $\Delta$ MOS van respectievelijk 0.58 en 0.73), waarbij het vaak aanvankelijk incoherente voortzettingen genereerde. EMT vertoonde minimale degradatie ( $\Delta$ MOS van 0.20 en 0.30).
Onvoorwaardelijke Kwaliteit: Ondanks dat het $\sim$ 1.3 keer kleiner is dan de baseline, bereikte EMT een vergelijkbare onvoorwaardelijke generatiekwaliteit (unshifted enjoyment scores: 3.02 vs 2.98).

5. Betekenis en Claims

Het artikel claimt dat standaard taalmodellering methoden alleen onvoldoende zijn om de translationele symmetrieën die inherent zijn aan muziek te vangen. De auteurs stellen dat specifieke inductieve biases vereist zijn om betere muziekrepresentaties te produceren.

De betekenis van dit werk ligt in het aantonen dat:

Equivariantie geen emergente eigenschap is van grootschalige autoregressieve training; het moet expliciet worden afgedwongen.
Model-level regularisatie (via verliesfuncties) een effectievere en beter generaliseerbare strategie is voor het afdwingen van equivariantie dan data-augmentatie of feature engineering alleen.
Het afdwingen van equivariantie niet ten koste gaat van de generatieve prestaties; in plaats daarvan leidt het tot een efficiënter gebruik van de modelcapaciteit, wat resulteert in zowel betere structurele robuustheid als verbeterde generatieve kwaliteit.

De auteurs concluderen dat EMT muziekrepresentaties produceert die dichter bij de menselijke perceptie liggen en een robuuste oplossing biedt voor symbolische muziekgeneratie onder variabele inputcondities.