Noise-to-Notes: Diffusion-based Generation and Refinement for Automatic Drum Transcription

Dit paper introduceert Noise-to-Notes (N2N), een generatief diffusion-framework dat automatisch drumtranscriptie herdefinieert als een conditionele generatieve taak en door middel van een Annealed Pseudo-Huber loss en features van muziek-foundationmodellen nieuwe state-of-the-art prestaties bereikt.

De kern

Stel je voor dat je een drumtrack hoort en je wilt precies weten welke drum er op welk moment is geslagen, en hoe hard. Dit noemen we "automatische drumtranscriptie". Vroeger probeerden computers dit te doen door simpelweg te kijken naar het geluid en te raden: "Oh, dat klinkt als een basdrum!" Maar dat werkte niet altijd goed, vooral als het geluid ingewikkeld was of als de drumstokken van een ander merk waren.

De auteurs van dit paper, Michael Yeung en zijn team van Sony, hebben een nieuwe, slimme manier bedacht om dit op te lossen. Ze noemen hun systeem N2N (van Noise-to-Notes, ofwel "Van Ruis naar Noten").

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Van een detective naar een kunstenaar (Generatief vs. Discriminatief)

Stel je voor dat een oude computer een detective is. Die kijkt naar een geluidsopname en probeert te bewijzen: "Dit is een basdrum, dat is een snare." Als het geluid verstoord is, raakt de detective in de war.

N2N is echter meer zoals een kunstenaar die een schilderij restaureren.
In plaats van alleen te kijken naar het geluid, begint N2N met een canvas dat volledig vol zit met statische ruis (zoals het witte ruisje op een oude TV). De kunstenaar kijkt naar het geluid (de "conditie") en begint langzaam de ruis weg te werken, stap voor stap, totdat er een perfect drumpartituur uit komt.

• De kracht: Omdat het een kunstenaar is, kan hij ook delen van het schilderij invullen die ontbreken (bijvoorbeeld als een deel van de opname stil is), of zelfs een compleet nieuwe drumtrack bedenken als er helemaal geen geluid is. Dit noemen ze "inpainting" of "generatie".

2. Het probleem met de "hardheid" van de drums

Drumnoten hebben twee eigenschappen:

1. Wanneer wordt er geslagen? (Ja/Nee, een knopje dat aan of uit gaat).
2. Hoe hard wordt er geslagen? (Van zacht tot hard, een schaal van 0 tot 127).

Voor een computer is het lastig om deze twee tegelijkertijd te leren. Het is alsof je iemand vraagt om tegelijkertijd een zwart-wit foto te maken én de kleurintensiteit van elke pixel te bepalen. Als je de computer te streng straft voor kleine foutjes in de hardheid, vergeet hij wanneer de drum moet slaan, en andersom.

De oplossing: Ze hebben een nieuwe "strafregelsysteem" bedacht (de Annealed Pseudo-Huber loss).

• De analogie: Stel je voor dat je een kind leert fietsen. Aan het begin (wanneer het nog wankelt) geef je het kind een zachte duw als het scheef gaat (zoals een zachte straf). Naarmate het kind beter wordt, maak je de regels strenger voor de hardheid van de trappen, maar blijf je soepel over de richting. Dit systeem helpt de computer om zowel het moment als de kracht perfect te leren zonder in de war te raken.

3. De "Super-oog" van de computer (MFM)

Tot nu toe keken computers alleen naar het geluid als een spectrogram (een soort sonogram, een visuele weergave van geluid). Maar drumgeluiden lijken vaak op elkaar, en als je een drum opneemt in een grote zaal versus een kleine studio, klinkt het heel anders. De computer raakt dan in de war.

N2N gebruikt een extra hulpmiddel: een Music Foundation Model (MFM).

• De analogie: Stel je voor dat de spectrogram de computer laat kijken naar de vorm van de drum. De MFM is als een muziekliefhebber die de ziel van het geluid begrijpt. Hij weet: "Ah, dit klinkt als een echte drum in een studio, niet als een synthesizer."
  Door deze "muziekliefhebber" mee te nemen, kan de computer veel beter drummen herkennen, zelfs als ze in een heel andere omgeving zijn opgenomen dan waarvoor de computer is getraind. Het maakt het systeem veel robuuster.

4. Waarom is dit zo cool?

• Flexibiliteit: Je kunt het systeem gebruiken om een onvolledige opname te "repareren" (inpainting). Als iemand een deel van de opname heeft weggeknipt, kan N2N het ontbrekende stukje logisch invullen.
• Snelheid vs. Kwaliteit: Je kunt kiezen: wil je een snelle, ruwe transcriptie (snel, maar misschien niet perfect) of een langzamere, super-nauwkeurige versie waarbij het systeem de noten nog een paar keer "oppoetst"?
• Recordbrekend: In tests bleek N2N beter te zijn dan alle vorige systemen, zelfs die van de beste concurrenten. Het is de eerste keer dat een "kunstenaar" (generatief model) een "detective" (discriminatief model) heeft verslagen in het vertalen van muziek.

Kort samengevat:
Deze paper introduceert een slimme AI die drumgeluiden niet alleen "luistert", maar ze "ontdekt" door te beginnen met ruis en die stap voor stap om te vormen naar een perfect drumpartituur. Door een slimme leerstrategie en een extra "muzikaal inzicht" (de MFM), kan deze AI drummen herkennen die voor andere systemen onmogelijk waren, en kan hij zelfs ontbrekende muziek invullen alsof hij een echte muzikant is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Noise-to-Notes: Diffusion-Based Generation and Refinement for Automatic Drum Transcription" in het Nederlands.

Probleemstelling

Automatische drumtranscriptie (ADT) is traditioneel geformuleerd als een discriminatieve taak: het voorspellen van drumgebeurtenissen (onsets) en dynamiek (velocity) op basis van audiospectrogrammen. Hoewel er methoden zijn ontwikkeld om gemengde drumaudio te verwerken, presteren deze systemen vaak slecht bij complexe configuraties en generaliseren ze niet goed naar buitenstaande datasets (out-of-domain).

De uitdagingen zijn:

1. Gebrek aan harmonische structuur: Drum-spectrogrammen missen duidelijke harmonische patronen en hebben veel overlap in tijd en frequentie tussen instrumenten.
2. Variabiliteit: De spectrale kenmerken van hetzelfde druminstrument kunnen sterk variëren afhankelijk van de geluidsbron en productiemethoden.
3. Beperkingen van discriminatieve modellen: Bestaande modellen (voornamelijk CRNN's) kampen met overfitting en hebben moeite om zowel onsets (binair) als velocity (continu) gelijktijdig en nauwkeurig te optimaliseren.

Methodologie: Noise-to-Notes (N2N)

De auteurs herdefiniëren ADT als een conditionele generatieve taak en introduceren Noise-to-Notes (N2N), een framework dat gebruikmaakt van diffusiemodellen.

1. Generatieve Formulering:
In plaats van direct een label te voorspellen, transformeert N2N audio-geconditioneerd Gaussisch ruis naar drumgebeurtenissen (onsets en velocity). Het model wordt getraind om een schoon transcriptie ($x_0$) te reconstrueren uit een versie met ruis ($x_t$), conditioned op audio-features en tijdstappen.

2. Loss-functie: Annealed Pseudo-Huber (APH):
Een grote uitdaging bij diffusiemodellen is het gezamenlijk optimaliseren van binaire onsets en continue velocity-waarden. Een standaard Mean Squared Error (MSE) loss leidt ertoe dat onsets de training domineren, wat de velocity-predictie schaadt.

• De auteurs introduceren de Annealed Pseudo-Huber loss.
• Deze loss-functie schakelt tijdens het trainen dynamisch om van MSE (aan het begin) naar Mean Absolute Error (MAE) (aan het einde).
• Dit zorgt voor een soepele interpolatie en voorkomt dat grote fouten in de velocity de training blokkeren, terwijl het toch nauwkeurige onsets behoudt.

3. Architectuur en Features:

• Encoder: Het model gebruikt een Transformer-encoder die twee soorten features verwerkt:
  • Log mel-spectrogrammen: Voor lage-level akoestische informatie.
  • Muziek Foundation Model (MFM) features: Geëxtraheerd uit het MERT model. Deze bevatten hoge-level semantische informatie die helpt bij het onderscheiden van drumcomponenten met vergelijkbare spectrale kenmerken maar verschillende oorsprong.
• Decoder: Een Transformer-decoder (gebaseerd op EDGE-architectuur) die gebruikmaakt van FiLM (Feature-wise Linear Modulation) lagen en Cross-Attention om de audio-features en tijdstap-informatie te integreren.
• Dropout-strategie: Om het model robuust te maken voor "inpainting" (het invullen van ontbrekende audio) en "unconditional generation" (genereren zonder audio), worden spectrogram- en MFM-features gedeeltelijk of volledig gedropt tijdens het trainen en vervangen door een geleerde null-embedding.

Kernbijdragen

1. Eerste generatieve ADT-model: N2N is het eerste model dat drumtranscriptie als een generatief proces met diffusiemodellen benadert.
2. Annealed Pseudo-Huber Loss: Een nieuwe loss-functie die effectieve gezamenlijke optimalisatie van onsets en velocity mogelijk maakt, wat een knelpunt was in eerdere pogingen.
3. Integratie van MFM-features: Het tonen dat features van Music Foundation Models (zoals MERT) cruciaal zijn voor robuustheid op datasets buiten de trainingsdomeinen (out-of-domain).
4. Flexibiliteit: Het model biedt unieke mogelijkheden zoals inpainting (het genereren van ontbrekende delen van een drumtrack op basis van de context) en unconditional generation (het creëren van nieuwe drumtracks zonder input-audio).

Resultaten

De prestaties zijn geëvalueerd op meerdere benchmarks (E-GMD, IDMT, MDB) en vergeleken met state-of-the-art discriminatieve modellen (zoals OaF Drums en hFT-Transformer).

• State-of-the-Art (SOTA): N2N behaalt de beste resultaten op alle geteste benchmarks. Bijvoorbeeld, op de E-GMD dataset bereikt het een F1-score van 89,68 (onset) en 82,80 (velocity) met 10 sampling-steps, wat beter is dan de beste discriminatieve modellen.
• Robuustheid: Waar eerdere modellen sterk presteren op trainingsdata maar instorten op externe data (bijv. IDMT en MDB), behoudt N2N hoge prestaties. Dit wordt toegeschreven aan de MFM-features die semantische verschillen tussen drumsets kunnen onderscheiden.
• Snelheid vs. Nauwkeurigheid: Er is een waarneembare trade-off. Hoewel N2N bij één stap (1-step) iets langzamer is dan discriminatieve modellen, verbetert de nauwkeurigheid aanzienlijk met meer stappen (5 of 10 stappen). Na ongeveer 10 stappen satureren de prestaties.
• Ablatiestudies:
  • Het gebruik van APH loss verbetert de velocity-predictie aanzienlijk ten opzichte van standaard MSE.
  • Het combineren van spectrogram- en MFM-features levert de beste resultaten op; MFM-features alleen zijn minder effectief voor in-domain data maar essentieel voor out-of-domain generalisatie.

Betekenis en Toekomstperspectief

Dit paper markeert een paradigmaverschuiving in automatische muziektranscriptie. Het bewijst dat generatieve modellen (diffusie) discriminatieve modellen kunnen overtreffen, zelfs voor complexe taken zoals drumtranscriptie.

• Generalisatie: De integratie van MFM-features biedt een oplossing voor het probleem van dataset-bias en verbetert de toepasbaarheid op diverse muziekstijlen en opnames.
• Nieuwe Capabilities: Door ADT als generatief proces te zien, worden nieuwe toepassingen mogelijk, zoals het automatisch aanvullen van beschadigde audio-opnames (inpainting) of het genereren van nieuwe drumpartituren.
• Toekomstig werk: De auteurs plannen om de inferentie-tijd te verkleinen (bijvoorbeeld via distillatie) om de kloof met snellere discriminatieve modellen te dichten, en deze aanpak uit te breiden naar transcriptie van meerdere instrumenten.

Kortom, N2N stelt een nieuwe standaard voor in automatische drumtranscriptie door de kracht van diffusiemodellen te combineren met semantische features uit foundation modellen.