⚡ electrical engineering

Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

Dit artikel introduceert een hiërarchisch zelfgesuperviseerd wereldmodel voor symbolische muziek dat rijke, meerschaalige representaties leert zonder labels om zowel diep muzikaal begrip als efficiënte, controleerbare generatie mogelijk te maken voor mensgerichte collaboratieve co-creatie-agenten.

Oorspronkelijke auteurs: Scott H. Hawley

Gepubliceerd 2026-08-06

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Scott H. Hawley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een muziekproducent te zijn. Je wilt niet dat hij simpelweg liedjes kopieert en plakt of een nieuwe hit schrijft die precies klinkt als alles wat er al is. Je wilt een medewerker – iemand die naar je rommelige muzikale ideeën luistert, de "vibe" begrijpt en suggesties doet zonder het stuur over te nemen. Dit is de wereld van AI-muziekco-creatie, een veld waarin wetenschappers proberen machines te bouwen die muziek kunnen "horen" zoals mensen dat doen: niet alleen als een stroom geluidsgolven, maar als een gestructureerde taal van noten, akkoorden en ritmes.

Om dit te doen, gebruiken onderzoekers vaak World Models (wereldmodellen). Denk aan een wereldmodel als een mentale kaart. Als je je ogen sluit en je een kamer voorstelt, weet je dat als je naar voren loopt, de muur dichterbij komt; als je naar links draait, verschijnt de deur. Een wereldmodel leert deze regels door te voorspellen wat er hierna gebeurt. In muziek probeert een wereldmodel te voorspellen hoe een melodie verandert als je hem een toon hoger plaatst of in de tijd naar voren beweegt. Het paper dat je nu gaat lezen, pakt een specifieke uitdaging aan: hoe bouw je een model dat muziek diep genoeg begrijpt om een behulpzame partner te zijn, maar simpel genoeg is om op een gewone computer te draaien zonder dat er een enorme, dure supercomputer nodig is. Het doel is niet om de menselijke artiest te vervangen, maar om de ultieme "AI Rick Rubin" te zijn – een producent die weet wat hij leuk vindt en dat kan verwoorden, zelfs als hij zelf geen instrument kan spelen.

De "AI Rick Rubin": Een Muzikale Partner die Luistert

Dit paper introduceert een nieuw soort AI die ontworpen is om een collaboratieve muzikale partner te zijn. In plaats van te proberen een virtuoze muzikant te zijn die alles voor je speelt, is dit systeem gebouwd om een "goede luisteraar" en een "suggestiegever" te zijn. De auteur noemt het een "AI Rick Rubin", verwijzend naar de beroemde muziekproducent die bekend staat om zijn uitspraak dat hij nauwelijks instrumenten bespeelt, maar een ongelooflijk gehoor heeft voor wat goed klinkt. Het doel is om een AI te creëren die luistert naar de muzikale ideeën van een mens, de structuur begrijpt en feedback of nieuwe muzikale fragmenten biedt, terwijl de mens de controle over het creatieve proces stevig in handen houdt.

De "Oren": Leren de Muziek te Voelen

Het eerste deel van het systeem zijn de "Oren". De meeste AI-muziekmodellen worden getraind als studenten die een toets maken: ze krijgen duizenden liedjes gevoerd met labels die hen vertellen: "Dit is een C-majeur akkoord," of "Dit is een droevig nummer." Maar de auteur wilde dat zijn AI zelfstandig zou leren, zonder een leraar die vertelt waar het naar moet kijken.

Ze bouwden een hiërarchisch zelf-gesuperviseerd wereldmodel. Stel je voor dat je naar een piano roll kijkt (een visueel rooster waar noten blokken zijn). De AI kijkt naar een klein vierkantje van dit rooster. Vervolgens stelt de AI zich voor dat het dat vierkantje een klein beetje naar rechts verschuift (de tijd vooruit in de tijd) of omhoog (de toonhoogte hoger). De taak van de AI is om te voorspellen hoe het nieuwe vierkantje eruit zou zien op basis van het oude vierkantje. Door dit "raad het verschil"-spel miljoenen keren te spelen, leert de AI de interne regels van muziek. De AI leert dat noten vaak specifieke patronen volgen in de tijd en dat akkoorden specifieke relaties hebben in toonhoogte, allemaal zonder ooit te hebben geleerd wat de namen van die akkoorden zijn.

Het model is gebouwd als een piramide van lagen. De onderste lagen zien de kleine details, zoals individuele noten en hoe snel ze worden gespeeld. De bovenste lagen zien het grote plaatje, zoals de algemene vorm van een muzikale frase of de structuur van het nummer. De onderzoekers ontdekten dat de AI zichzelf op deze manier natuurlijk organiseert: de "fijne" lagen zijn goed in het herkennen van de dichtheid van noten, terwijl de "grove" lagen uitstekend zijn in het begrijpen waar een muzikale frase begint en eindigt.

Wat de AI daadwerkelijk "Hoort"

Het team testte wat hun AI daadwerkelijk heeft geleerd door het brein te bevriezen en het eenvoudige vragen te stellen. Ze ontdekten dat de AI een echt "gevoel" voor muziek had ontwikkeld:

Tijd en Structuur: De AI kon van nature het verschil zien tussen een kort muzikaal idee en een lang idee, en het kon de grenzen van muzikale frases herkennen door simpelweg naar de patronen te kijken.
Harmonie (Het lastige deel): Interessant genoeg leerde de AI niet automatisch specifieke akkoorden te identificeren (zoals "G majeur") door alleen het "raad het verschil"-spel te spelen. Het had een beetje hulp nodig. Toen de onderzoekers een klein beetje supervisie toevoegden (het tonen van enkele voorbeelden van akkoorden), schoot het vermogen van de AI om harmonie te begrijpen omhoog. Het ging van nauwelijks akkoorden herkennen naar heel goed in het zijn ervan, en het leerde zelfs de "toonsoort" van een nummer (de muzikale thuisbasis) te identificeren met een hoge nauwkeurigheid, ook al was het nooit expliciet geleerd wat een toonsoort is.

Dit suggereert dat hoewel de AI de vorm van muziek zelfstandig kan leren, het een kleine duw nodig heeft om de specifieke namen van muzikale concepten zoals akkoorden te leren.

De "Mond": Suggesties Doen

Zodra de AI heeft "geluisterd" en de muziek heeft begrepen, moet hij ook terugspreken. Dit is de "Mond". In plaats van een heel nieuw nummer vanaf nul te schrijven, is de AI ontworpen om de gaten in te vullen. Stel je voor dat een mens een masker tekent over een gedeelte van een piano roll en zegt: "Vul dit in." De AI gebruikt een techniek genaamd flow matching om nieuwe noten te genereren die perfect in de lege ruimte passen.

In tegen afhankelijk van oudere AI-modellen die veel tijd nodig hebben om stap voor stap een nummer te "dromen", stroomt dit model vloeiend van ruis naar muziek. Het is ongelooflijk snel. Op een standaard computerprocessor (CPU) kan het een muzikale suggestie genereren in ongeveer 2,8 seconden. Als je een nieuwere Apple-computer hebt, duurt het slechts 0,6 seconde. Deze snelheid is cruciaal omdat het betekent dat een mens een realtime gesprek met de AI kan voeren, waarbij ideeën direct worden uitgeprobeerd zonder te hoeven wachten tot een trage computer bij is.

Het systeem is ook flexibel. Je kunt de AI vertellen om alleen de melodie te veranderen terwijl de akkoorden hetzelfde blijven, of om het hele gedeelte te herschrijven. Dit doet de AI door delen van zijn begrip tijdens het generatieproces te "vervallen", waardoor het creatiever of strikter kan zijn, afhankelijk van wat de gebruiker wil.

Waarom dit ertoe doet

Het paper benadrukt dat dit systeem niet bedoeld is om menselijke muzikanten te vervangen. Het is gebouwd om te draaien op toegankelijke hardware (zoals een laptop), zodat muzikanten zonder dure grafische kaarten het ook kunnen gebruiken. Het respecteert de menselijke autonomie: de AI doet suggesties, maar de mens beslist of deze worden gebruikt. De auteur demonstreert dit met een interactieve live-demo waarbij gebruikers op een piano roll kunnen tekenen en de AI in realtime de gaten kunnen zien invullen.

Kortom, dit paper presenteert een nieuwe manier voor AI om muziek te begrijpen. Door een model te leren hoe muziek verandert wanneer deze in de tijd of toonhoogte wordt verschoven, hebben de onderzoekers een systeem gecreëerd dat de muzikale structuur kan "voelen". Met een klein beetje hulp om akkoordnamen te leren, wordt het een krachtig, snel en collaboratief hulpmiddel voor songwriters, dat fungeert als een digitale producent die goed luistert en ideeën voorstelt, waarbij de uiteindelijke creatieve beslissingen in menselijke handen blijven.

Technische Samenvatting: Muzikale Co-Creatie Agenten helpen goed 'luisteren'

Probleemstelling
Het paper behandelt de uitdaging van het bouwen van collaboratieve muzikale agenten die menselijke autonomie ondersteunen in plaats van vervangen. Huidige audio-taalmodellen presteren vaak minder goed op specifieke muzikale taken vergeleken met kleinere, gerichte modellen, en ze hebben moeite om muzikale structuren expliciet te articuleren. Bovendien worden representatieleer en generatie traditioneel gezien als een afruil: modellen die geoptimaliseerd zijn voor reconstructie missen vaak semantisch betekenisvolle latente ruimtes, terwijl modellen die geoptimaliseerd zijn voor discriminatie vaak niet voldoen aan hoogwaardige generatie. De auteur streeft naar een systeem met "oren" die in staat zijn tot een rijke, hiërarchische begrip en een "mond" die in staat is tot controleerbare generatie, terwijl er wordt voldaan aan strikte technische beperkingen voor toegankelijkheid (met name tijdige inferentie op CPU-only runtimes).

Methodologie
Het voorgestelde systeem, genaamd MIDI-RAE-JEPA-SON (MRJS), hanteert een Representation AutoEncoder (RAE) paradigma gecombineerd met een Joint-Embedding Predictive Architecture (JEPA).

Input Representatie: Het model werkt puur op symbolische MIDI-data die gevisualiseerd is als piano-roll afbeeldingen (128×128 pixels, binaire aanwezigheid van noten). Dit laat velocity en performantie-nuances achterwege ten gunste van structurele intentie, wat het gebruik van visuele architecturen vergemakkelijkt.
Encoder Architectuur: Een hiërarchische Swin V2 encoder (2,55 miljoen parameters) verwerkt de piano-roll afbeeldingen. In tegenstelling tot standaard autoencoders wordt deze encoder getraind met geen reconstructie-objectief en wordt deze vervolgens bevroren. Het produceert multi-level embeddings (L0–L5) zonder de input-dimensionaliteit significant te comprimeren (16.384 pixels $\to$ 16.128 floats), waarbij de data wordt geherstructureerd in een betekenisvolle geometrie in plaats van een kleinere latente ruimte.
Zelfgesuperviseerde Trainingsdoelstellingen: De encoder wordt getraind met een gecombineerde verliesfunctie toegepast op niveau:
- Equivariantie Verlies ( $L_{equiv}$ ): Dwingt af dat de afstand tussen embeddings van verschoven crops (tijd en toonhoogte) proportioneel is aan de verschuivingsgrootte, om het instorten van verschuivings-invariantie te voorkomen.
- Distributional Regularizer ( $L_{SIGReg}$ ): Een LeJEPA-stijl isotrope Gaussische regularisatie met de Epps–Pulley test om representatieve instorting te voorkomen zonder een EMA-teacher.
- Masked Embedding Prediction ( $L_{MEP}$ ): Een I-JEPA stijl verlies waarbij een hulp-predictor gemaskeerde teacher-embeddings afleidt uit de volledige context van de student.
- Soft Factorization Loss ( $L_{fact}$ ): Moedigt aan dat pitch en tijd verschuivings-verschilvectoren zich in specifieke geometrische relaties verhouden (parallel, anti-parallel, orthogonaal) afhankelijk van het type augmentatie.
Generatieve "Mond": In plaats van een getrainde decoder gebruikt het systeem een conditionele flow-matching model dat opereert in de pixelruimte. Het genereert muziek door te stromen vanuit ruis, geconditioneerd op de via PCA gereduceerde embeddings van de input van de gebruiker.
- Inpainting: Het systeem ondersteunt grafische prompting. Door ruimtelijke dropout toe te passen op het conditionering-signaal op de door de gebruiker getekende maskerlocaties, vult het flow-model gaten in op basis van de omliggende context zonder dat een gespecialiseerde inpainting sampler nodig is.
- Controle: De sterkte van de guidance en per-niveau conditioning dropout stellen gebruikers in staat om te controleren hoe ver variaties afwijken van het origineel, variërend van herschrijven op noteniveau tot volledige passage-generatie.

Belangrijkste Bijdragen

Hiërarchisch Wereldmodel voor Muziek: Het paper demonstreert dat een hiërarchische Swin V2 encoder, uitsluitend getraind op symbolische piano-roll afbeeldingen met JEPA-stijl doelstellingen, een rijke, multi-schaal representatie van muziek kan leren zonder muziektheoretische labels.
Ontkoppeling van Representatie en Generatie: Door het RAE-paradigma te adopteren, laat de auteur zien dat discriminatieve representatieleer en hoogwaardige generatie effectief gekoppeld kunnen worden zonder de traditionele afruil, door een flow-matching model als een aparte generatieve head te gebruiken.
CPU-Geoptimaliseerde Pipeline: Het systeem is ontworpen voor CPU-executie, waarbij suggesties in 2,8 seconden worden gegenereerd op een standaard CPU (of 0,6s op Apple MPS), wat het toegankelijk maakt voor muzikanten zonder high-end GPU's.
Expliciete vs. Emergente Structuur: De studie onthult dat temporele en frase-structuren natuurlijk emergeren uit zelfgesuperviseerde doelstellingen, terwijl harmonische inhoud (akkoorden, toonsoorten) expliciete supervisie vereist om lineair decodeerbaar te worden.

Resultaten

Probing Embeddings: Lineaire probes op bevroren embeddings tonen aan dat muzikale eigenschappen decodeerbaar zijn op niveaus die overeenkomen met hun tijdschaal: frasegrenzen worden het best gedetecteerd op grove niveaus (L0–L2), terwijl noten-densiteit en harmonische details te vinden zijn op fijne niveaus (L4–L5).
Impact van Supervisie:
- Ongesuperviseerd (MRJS): Bereikt een sterke noten-densiteit ( $R^2 \approx 0,93$ ) en cross-song separatie. Echter, gezamenlijke akkoord-reconstructie is laag (.18) en toonsoort-detectie ligt nabij toeval (.16).
- Met Akkoord-supervisie: Het toevoegen van een kleine akkoord-supervisie head verbetert het harmonische begrip aanzienlijk. Gezamenlijke akkoord-reconstructie stijgt naar .54, en toonsoort-detectie (nooit direct gesuperviseerd) springt naar .70. Deze supervisie verschuift de harmonische informatie ook naar grovere, meer abstracte niveaus (L2–L3).
- Vergelijking: Het model presteert beter dan een DINOv2 baseline op specifieke muzikale taken (bijv. frase-grens detectie, chroma recovery) terwijl het competitief blijft op algemene beeldstatistieken.
Generatiekwaliteit: Het flow-matching model reproduceert doelvensters met een pixel F1-score van 0,996. Bij inpainting-taken herstelt het succesvol de noten-densiteit (bijv. 96% herstel met fijne-niveau dropout) en genereert het variaties die passen binnen de omliggende muzikale context.
Prestaties: De pipeline draait efficiënt op CPU, waarbij het encoderen ongeveer 8,6 ms duurt en het samplen ongeveer 3,8 s (2,8 s op volledige CPU), wat voldoet aan de "tijdige" ontwerpbeperking voor interactief gebruik.

Betekenis
Het paper positioneert het systeem als een instrument voor een "AI Rick Rubin" — een collaboratieve agent die aandachtig luistert naar de ideeën van een artiest en verbale feedback of beperkte muzikale suggesties biedt, maar de uiteindelijke implementatie aan de mens laat. Door te bewijzen dat hiërarchische zelfgesuperviseerde wereldmodellen muzikale structuur kunnen leren zonder labels, en dat deze representaties de controleerbare generatie via flow matching kunnen aansturen, biedt het werk een pad voor AI die menselijke creativiteit versterkt in plaats van deze te automatiseren. De auteur benadrukt dat het vermogen van het systeem om op CPU te draaien het een praktisch, toegankelijk hulpmiddel maakt voor songwriters en producenten die de volledige controle over hun creatieve proces willen behouden.