Technische Samenvatting: Lineaire Complexiteit Zelf-Gesuperviseerd Leren voor Muziekbegrip met een Willekeurige Kwantizer

Probleemstelling

Foundation models hebben uitzonderlijke prestaties behaald in Natural Language Processing (NLP) en worden steeds vaker toegepast in Music Information Retrieval (MIR). Echter, deze modellen bevatten doorgaans honderden miljoenen of miljarden parameters, wat ze zeer resource-intensief maakt tijdens zowel training als implementatie. Deze hoge computationele kosten en het grote geheugenspeld vormen een aanzienlijke barrière voor de adoptie in productiesystemen. Hoewel modellen zoals MERT het potentieel van algemene foundation models in MIR hebben aangetoond, is er een kritieke behoefte aan het reduceren van modelgrootte en trainings-/inferentiekosten zonder dat dit ten koste gaat van de prestaties. Bestaande inspanningen om de complexiteit te verminderen richten zich vaak op specifieke domeinen of nauwe taken, waardoor er een gat ontstaat in schaalbare, efficiënte architecturen die zijn afgestemd op brede MIR-toepassingen.

Methodologie

De auteurs stellen een nieuwe architectuur voor die gevestigde spraakherkennings-backbones combineert met alternatieven met lineaire complexiteit en niet-trainbare kwantisatie om een efficiënter foundation model voor muziek te creëren.

Architectuur

De kern van de voorgestelde model is de Branchformer-architectuur, oorspronkelijk ontwikkeld voor spraakherkenning. De Branchformer bestaat uit:

• Convolutional Subsampling: Een initiële laag om de input-dimensionaliteit te reduceren.
• Dual-Branch Blocks: $N$ encoder-blokken waarbij elk blok twee parallelle takken bevat:
  1. Een Multi-head Self-Attention (MSA) tak (of een vervanging daarvan) om globale afhankelijkheden te vangen.
  2. Een Convolutional Gating tak om lokale afhankelijkheden te vangen.
• Concatenatie: De outputs van beide takken worden geconcateneerd, aangezien dit bleek beter presterende resultaten op te leveren dan gewogen averaging.

Lineair Complexiteitsalternatief

Om de kwadratische complexiteit van standaard self-attention met betrekking tot de sequentielengte aan te pakken, vervangen de auteurs de MSA-module door SummaryMixing. SummaryMixing reduceert de computationele complexiteit van kwadratisch naar lineair, waardoor de trainingstijd en het geheugengebruik afnemen terwijl het doel wordt nagestreefd om de prestaties te behouden. De auteurs evalueren zowel Branchformer- als Conformer-backbones, met en zonder de vervanging door SummaryMixing.

Willekeurige Kwantisatie

In plaats van een leerbare kwantizer (zoals een RVQ-VAE gebruikt in MERT) te trainen, maken de auteurs gebruik van een willekeurig kwantisatieproces.

• Mechanisme: De tokenizer bestaat uit een willekeurig gegenereerde codebook en een willekeurig geïnitialiseerde projectiematrix.
• Voordelen: Deze aanpak elimineert de noodzaak om de tokenizer te trainen, wat de trainingstijd en computationele kosten aanzienlijk vermindert. Het voorkomt ook "codebook collapse", een veelvoorkomend probleem in VQ-VAEs waarbij codebook-woorden convergeren naar een enkele vector.
• Proces: De input mel-spectrogram wordt geprojecteerd en toegewezen aan de dichtstbijzijnde token in de willekeurige codebook.

Trainingsdoelen en Masking

Het model wordt vooraf getraind met behulp van een self-supervised learning framework met twee gelijktijdige doelen:

1. Classificatieverlies (Cross-Entropy): Het model voorspelt de discrete tokens gegenereerd door de willekeurige kwantizer.
2. Reconstructieverlies (Mean Squared Error): Het model reconstrueert de originele mel-spectrogram.

Masking Strategie: De input-waveform wordt opgesplitst in segmenten van 400ms. Willekeurige tijd-masking wordt toegepast op 20% van deze segmenten. Het verlies wordt alleen berekend op de gemaskeerde tokens om het model te dwingen contextuele relaties te leren en overfitting te voorkomen.

Datasets

Pre-training werd uitgevoerd op een combinatie van:

• Publieke Datasets: Music4All (910 uur) en FMA-large (900 uur).
• Propriëtaire Dataset: Een gecureerde dataset van ongeveer 200.000 uur muziek, vergelijkbaar in schaal met de private datasets die worden gebruikt door state-of-the-art modellen zoals MERT.

Belangrijkste Bijdragen

1. Eerste Toepassing in MIR: Naar weten van de auteurs is dit de eerste onderzoeksinspanning die de Branchformer-architectuur gecombineerd met SummaryMixing en willekeurige kwantisatie specifiek toepast op het domein van Music Information Retrieval.
2. Efficiëntie zonder Prestatieverlies: De studie toont aan dat het vervangen van multi-head self-attention door SummaryMixing en het gebruik van willekeurige kwantisatie de modelparameters met 8,5% tot 12,3% kan verminderen terwijl concurrerende prestaties behouden blijven.
3. Uitgebreide Evaluatie: In tegen tegenstelling tot eerdere studies die architecturen evalueerden op smalle taken (bijv. beat tracking of akkoordherkenning), evalueert dit werk de modellen over een breed scala aan downstream MIR-taken, waaronder muziek-tagging, toonsoetdetectie, genreclassificatie, emotie-regressie, instrumentclassificatie, toonhoogteclassificatie, vocale techniekdetectie en zangersidentificatie.
4. Reproduceerbaarheid: De auteurs hebben de pre-training uitgevoerd op publiek beschikbare datasets naast hun eigen propriëtaire data en hebben hun code en modellen vrij beschikbaar gesteld om reproduceerbaarheid te faciliteren.

Resultaten

De auteurs hebben hun modellen (Branchformer en Conformer varianten met en zonder SummaryMixing) geëvalueerd tegen een vanilla Branchformer en het state-of-the-art MERT-330 model over diverse downstream-taken.

• Prestaties vs. MERT: De voorgestelde modellen (specifiek BRN▲$att$ en BRN▲$sum$) behaalden resultaten die zeer dicht bij MERT-330 lagen voor de meerderheid van de taken. In specifieke taken, zoals instrumentclassificatie en zangersidentificatie, presteerden de voorgestelde modellen ongeveer 7,5% tot 10% beter dan MERT-330.
• Impact van SummaryMixing: Het vervangen van self-attention door SummaryMixing resulteerde in vergelijkbare of zelfs iets betere prestaties in veel taken (bijv. emotiescore-regressie en genreclassificatie), ondanks het feit dat er minder parameters werden gebruikt (een reductie van tot wel 12,3%).
• Effecten van Datasetgrootte: Modellen getraind op de grote propriëtaire dataset (200k uur) presteerden over het algemeen beter dan die getraind op kleinere publieke datasets, hoewel het prestatieverschil voor veel metrieken vaak binnen enkele procentpunten lag. Er werden echter significante dalingen waargenomen in specifieke taken (bijv. toonsoetdetectie op FMA) bij het gebruik van kleinere datasets, wat suggereert dat datasetgrootte en de aard van de inhoud de generalisatie aanzienlijk beïnvloeden.
• Schaalbaarheid van Modelgrootte: Interessant genoeg observeerden de auteurs dat prestaties niet altijd lineair schalen met het aantal parameters. Kleinere modellen (bijv. BRN△$att$ met ~60M parameters) vertoonden concurrerende resultaten ten opzichte van grotere tegenhangers, en in sommige gevallen leverden verschillende architecturale configuraties betere resultaten op dan eenvoudige parameter-schaling.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage het aantonen van de levensvatbaarheid van lineaire complexiteit zelf-gesuperviseerd leren voor muziekbegrip is. Door de Branchformer-architectuur te combineren met SummaryMixing en willekeurige kwantisatie, laten de auteurs zien dat het mogelijk is om de computationele en geheugenvereisten van foundation models aanzienlijk te verminderen (reductie van de grootte met tot wel 12,3%) zonder hun vermogen om generaliseerbare representaties voor diverse MIR-taken te leren in gevaar te brengen.

De auteurs merken bescheiden op dat hoewel hun modellen state-of-the-art of nabij state-of-the-art resultaten behalen, er ook beperkingen zijn. Ze erkennen dat hun evaluatie, hoewel breed, niet de domeinen zoals audio-matching of cover song recognition besloeg. Ze merken ook op dat uitgebreide hyperparameter-tuning (bijv. alternatieve masking-strategieën of cross-domein training) werd beperkt door de beschikbare computationele middelen. Desalniettemin levert het werk sterk bewijs dat efficiëntere, kleinere foundation models effectief kunnen dienen voor het muziekdomein, wat een pad biedt naar meer toegankelijke en inzetbare muziek-AI-systemen.