Technische Samenvatting: Muziektranscriptie met (Bijna) Geen Supervisie

Probleemstelling

Automatische Muziektranscriptie (AMT) heeft voor piano menselijk niveau van prestaties bereikt door middel van supervised deep learning, maar deze modellen zijn afhankelijk van grote datasets van perfect uitgelijnde audio-partituurparen. Dergelijke data is schaars voor de meeste instrumenten en ensembles vanwege hoge verzamelkosten, het arbeidsintensieve karakter van handmatige uitlijning (waarbij frame-nauwkeurigheid vereist is) en auteursrechtelijke beperkingen. Daarentegen hebben zich in de afgelopen eeuw enorme hoeveelheden ongepaarde audio-opnames en symbolische partituren opgehoopt die echter onbenut blijven voor training. De centrale uitdaging die door dit werk wordt aangepakt, is of deze vrij beschikbare maar ongepaarde databronnen kunnen worden ingezet om hoogwaardige transcriptiemodellen te trainen wanneer gepaarde supervisie beperkt of afwezig is.

Methodologie

De auteurs stellen een cycle-consistent vertaalraamwerk voor dat de kleine hoeveelheid beschikbare gepaarde data behandelt als een "minimaal anker" om het potentieel van een grote pool ongepaarde data te ontsluiten.

Architectuur en Latente Ruimte

• Modale Verschuiving: Het model maakt een mapping tussen CQT (Constant-Q Transform) spectrogrammen ($X_C$) en symbolische partituren ($x_S$). Om de verschuiving van continue spectrogrammen naar discrete gebeurtenissequenties te hanteren, introduceren de auteurs een continue latente ruimte ($Z_S$).
• Voorgetrainde VAE: Symbolische partituren worden gecodeerd in een gladde, differentieerbare latente ruimte met behulp van een voorgetrainde Variational Autoencoder (VAE). De encoder wordt tijdens de transcriptietraining vastgezet.
• Generatoren: Twee generatoren worden getraind:
  1. $G$: Transcribeert CQT-spectrogrammen naar de latente partituurruimte ($X_C \to Z_S$).
  2. $F$: Synthetiseert CQT-spectrogrammen vanuit de latente partituurruimte ($Z_S \to X_C$).

Verliesfuncties

Het trainingsdoel combineert meerdere componenten om stabiliteit en correctheid te waarborgen:

1. Cycle Consistentie: Dwingt af dat het samenvoegen van voorwaartse en achterwaartse mappingen de identiteitsfunctie benadert ($F(G(x_C)) \approx x_C$ en $G(F(z_S)) \approx z_S$). Dit voorkomt dat het model instort, maar is op zichzelf onvoldoende, aangezien het degeneratieve oplossingen toestaat (bijvoorbeeld wereldwijd pitch-verschoven transcripties).
2. Adversariële Verlies: Gebruikt Least Squares GAN (LSGAN) verliesfuncties met discriminators om echte van gegenereerde steekproeven te onderscheiden in beide domeinen.
3. Cycle-bewust Feature Matching: In tegenstelling tot standaard feature matching, waarbij echte en gegenereerde steekproeven worden vergeleken (probleematisch in cross-modale vertaling waar ze zouden moeten verschillen), vergelijkt deze verliesfunctie echte steekproeven met hun binnen hetzelfde domein gereconstrueerde cycle-tegenhangers.
4. Gepaarde Supervisie (Het Anker): Een kleine subset van gepaarde audio-partituurdata wordt gebruikt om directe supervised verliesfuncties ($L_{sup}$) te berekenen. Dit lost de uitlijningsambiguïteit op die inherent is aan cycle consistentie, voorkomt pitch-verschuivingsfouten en verankert de mapping.

Trainingsstrategie

Het totale databudget is vast, terwijl de verhouding tussen gepaarde en ongepaarde data wordt variëerd. In elke stap steekt het model batches uit zowel de ongepaarde pool (voor cycle/adversariële verliesfuncties) als een vaste gepaarde subset (voor supervised verliesfuncties).

Belangrijkste Bijdragen en Bevindingen

1. Ongepaarde Data als Hoogwaardige Bron

De studie toont aan dat ongepaarde data aanzienlijke prestatiewinst oplevert, met name in regimes met weinig middelen waar gepaarde supervisie schaars is.

• Prestatieschaling: Op de MAESTRO-dataset bereikt training met slechts 1,6 uur gepaarde data (verhouding 1:100) een Frame F1 van 66,93. Het toevoegen van ongepaarde data verhoogt dit tot 75,45, waarmee 86,3% van de prestaties van een volledig supervised model wordt hersteld dat is getraind op 161 uur data (87,43 F1).
• Extreme Low-Resource: In een setting met een gepaard-ongepaarde verhouding van 1:1000 verbetert het toevoegen van ongepaarde data de F1 van 47,24 naar 71,37 (+24,13).

2. Instabiliteit van Puur Ongecontroleerde Training

Training met alleen ongepaarde data is zeer instabiel. Hoewel sommige runs convergeren naar redelijke oplossingen, storten andere in in pitch-verschoven toestanden (voorspellen van noten op onjuiste tonhoogtes) die toch voldoen aan de cycle consistentieverliesfunctie. De auteurs tonen aan dat al 1,6 uur gepaarde supervisie voldoende is om deze faalmodi te elimineren en consistente convergentie te garanderen.

3. Modale Asymmetrie

Het artikel onderzoekt welk type ongepaarde data (audio versus partituur) waardevoller is.

• Audio-dominantie: Bij gelijkblijvende budgetten draagt ongepaarde audio sterker bij aan het leerproces dan ongepaarde partituren. Dit suggereert dat akoestische diversiteit een primaire drijver is van het cycle consistentiesignaal, terwijl symbolische dekking alleen minder effectief is.
• Stabiliteit: Het aandeel van de "minderheid"-modus (bijvoorbeeld partituren in een audio-gewogen opstelling) is kritiek. Het vergroten van de minderheid-modus voorkomt traininginstorting en overfitting.

4. Zero-Shot Domeinadaptatie

Het raamwerk maakt effectieve domeinadaptatie mogelijk zonder gepaarde labels voor het doeldomein.

• GuitarSet-resultaten: Door ongelabelde gitaaraudio op te nemen in de trainingspool (naast minimale piano-supervisie), verbetert het model de zero-shot gitaartranscriptie van 54,81 naar 64,81 Frame F1. Dit presteert beter dan een volledig supervised model dat uitsluitend is getraind op piano-data buiten het domein.
• Geen Degradatie In-Domein: Het toevoegen van ongelabelde data van een nieuw instrument verbetert de transcriptie van het nieuwe instrument zonder de prestaties op het oorspronkelijke instrument (piano) te verslechteren.

5. Multi-instrument Generalisatie

In een multi-instrument setting (MusicNet-EM) met slechts 0,47 uur gepaarde data over 11 instrumenten, verbetert het incorporeren van ongepaarde data uit mismatchende bronnen (partituren van MusicNet-EM, audio van het Gardner Museum) zowel single-instrument als multi-instrument transcriptiemetrics aanzienlijk, wat de robuustheid van de methode tegenover distributiemismatch aantoont.

Betekenis en Aanspraken

Het artikel betoogt dat de langdurige overvloed aan ongepaarde audio en symbolische partituren een praktische en grotendeels onbenutte weg biedt naar hoogwaardige transcriptie voor instrumenten waar gelabelde data schaars is.

• Minimaal Anker: De auteurs stellen dat een "minimaal anker" van gepaarde data (zoveel als 1,6 uur) voldoende is om uitlijningsambiguïteiten op te lossen, waardoor het overgrote deel van het trainingsbudget kan worden besteed aan ongepaarde data.
• Paradigmaverschuiving: In tegenstelling tot eerdere methoden die vertrouwen op synthetische labels, pseudo-labeling of expliciete partituuruitlijning, leert deze benadering cross-modale vertaling direct uit voornamelijk ongepaarde data.
• Schaalbaarheid: De resultaten suggereren dat het schalen van ongepaarde data een levensvatbare strategie is om hoogwaardige transcriptie te bereiken, waardoor de afhankelijkheid van dure, handmatig uitgelijnde datasets wordt verminderd.

Het werk claimt niet dat het volledig supervised leren vervangt wanneer grote gepaarde datasets beschikbaar zijn, maar biedt eerder een oplossing voor de "lange staart" van instrumenten en ensembles waar dergelijke data niet bestaat.