Riepilogo Tecnico: MuScriptor – Un Modello Aperto per la Trascrizione Musicale Multi-Strumento

1. Definizione del Problema

La trascrizione musicale automatica (AMT) mira a convertire registrazioni audio in rappresentazioni simboliche (tipicamente MIDI). Sebbene siano stati fatti progressi significativi per scenari a strumento singolo (ad es. pianoforte, chitarra, batteria), la trascrizione multi-strumento generica per mix musicali reali e complessi rimane un collo di bottiglia critico. I modelli allo stato dell'arte esistenti, come MT3 e i suoi derivati, spesso si affidano pesantemente a dati sintetici per l'addestramento. Sebbene questi modelli funzionino bene su set di test sintetici, soffrono di un significativo spostamento di dominio (domain shift) quando applicati a produzioni reali complesse caratterizzate da timbri diversificati, frequenze sovrapposte ed effetti audio (ad es. distorsione). Di conseguenza, gli attuali sistemi di AMT multi-strumento sono spesso troppo soggetti a errori per applicazioni a valle nella musicologia, nella modellazione generativa o nel recupero di informazioni musicali (MIR).

2. Metodologia

2.1 Architettura del Modello

MuScriptor impiega un'architettura Transformer decoder-only, evitando strutture di attenzione gerarchiche o encoder-decoder complesse a favore di un design semplice ma efficace.

• Input: Il modello accetta uno spettrogramma mel di 5 secondi (derivato da audio mono a 16kHz tramite STFT con 2048 nFFT, hop size di 160 e 512 bin mel) e una lista opzionale di strumenti target.
• Condizionamento: La presenza degli strumenti è fornita come segnale di condizionamento globale (la lista degli strumenti dell'intera traccia) piuttosto che come dati locali del segmento. Questi embedding degli strumenti sono concatenati con la proiezione dello spettrogramma per servire come prefisso di condizionamento per il Transformer.
• Tokenizzazione: Le annotazioni delle note sono tokenizzate in modo simile a MT3, mappando 128 strumenti MIDI in 36 sottogruppi basati sulla tassonomia MT3_FULL_PLUS.
• Inferenza: Le trascrizioni vengono generate tramite decodifica autoregressiva. Il sistema supporta il Classifier-Free Guidance (CFG) con un'intensità di $\alpha_{CFG} = 2$ per migliorare la qualità della generazione.

2.2 Strategia dei Dati

La pipeline di addestramento utilizza un approccio in tre fasi che combina dati sintetici e reali:

1. Pre-addestramento Sintetico ($D_{Synth}$): Un dataset di 1,45 milioni di file MIDI viene convertito in audio on-the-fly. La pipeline applica aumenti casuali (pitch shifting, variazioni di tempo, aggiustamenti di velocità, randomizzazione degli strumenti) e sintetizza l'audio utilizzando un pool di oltre 250 soundfont con detuning casuale. Ciò crea una varietà infinita di realizzazioni audio a partire dai dati simbolici.
2. Fine-tuning su Dati Reali ($D_{Real}$): Il modello viene perfezionato su un dataset curato di 170.000 registrazioni musicali reali (circa 11.000 ore) che copre generi diversi, dalla musica classica all'heavy metal. Queste tracce presentano annotazioni di note allineate ottenute tramite sincronizzazione audio-simbolica (utilizzando l'interpolazione lineare e il dynamic time warping).
3. Post-addestramento con Reinforcement Learning ($D_{RL}$): Un piccolo sottoinsieme di 300 tracce di alta qualità verificate manualmente viene utilizzato per il post-addestramento. Il modello impiega un algoritmo Group Relative Policy Optimization (GRPO).
   • Per ogni batch, il modello genera $G=8$ trascrizioni indipendenti.
   • I reward sono calcolati come la somma dei punteggi F1 di Onset, Frame e Offset rispetto alla verità di base (ground truth).
   • Gli advantage sono calcolati normalizzando i reward all'interno del gruppo, e il modello viene aggiornato tramite un obiettivo REINFORCE pesato da questi advantage.

2.3 Metriche di Valutazione

Le prestazioni sono misurate utilizzando le metriche standard MIR della libreria mir_eval:

• Onset F1: Corrispondenza del pitch con una tolleranza di onset di $\pm 50$ ms.
• Offset F1: Include i criteri di onset più una tolleranza di offset di $\max(50\text{ms}, 0.2 \times d_{ref})$.
• Frame F1: Sovrapposizione frame-wise con risoluzione di 62,5 ms.
• Multi F1: La metrica più rigorosa, che richiede la corretta classificazione di pitch, tempo e strumento.
• Nota: Le note sovrapposte dello stesso strumento e pitch vengono rimosse dal set di test prima della valutazione a causa delle limitazioni di tokenizzazione.

3. Contributi Chiave

1. Modello MuScriptor: Il rilascio di un modello di trascrizione multi-strumento general-purpose a pesi aperti (disponibile in dimensioni da 60M a 1,3B di parametri) capace di gestire generi musicali diversificati.
2. Dataset su Larga Scala: La cura di un dataset completo comprendente 170k registrazioni reali con annotazioni allineate e 1,45M di file MIDI sintetici, affrontando la scarsità di dati annotati multi-strumento.
3. Analisi del Pre-addestramento Sintetico: Uno studio comparativo che dimostra come, sebbene i dati sintetici siano insufficienti per una trascrizione general-purpose autonoma, siano altamente efficaci per il pre-addestramento, specialmente quando i dati reali sono scarsi.
4. Allineamento con Reinforcement Learning: L'applicazione di un algoritmo simile a GRPO per allineare il modello con trascrizioni di alta qualità, una tecnica precedentemente inesplorata nella letteratura AMT.
5. Trascrizione Condizionata per Strumento: L'introduzione del condizionamento opzionale degli strumenti, che consente agli utenti di personalizzare l'output (ad es. trascrivere strumenti specifici) e stabilizzare le predizioni attraverso i confini dei segmenti.

4. Risultati Sperimentali

4.1 Fasi di Addestramento e Prestazioni

Gli esperimenti sul modello da 1,3B di parametri (valutato su un set di test tenuto separato $D_{Test}$) mostrano una chiara progressione nelle prestazioni:

• Solo Sintetico: Ottiene un Frame F1 competitivo (51,3) ma un Multi F1 scarso (15,2) e un Onset F1 basso (26,1), confermando il gap di dominio.
• Sintetico + Reale ($D_{Synth} + D_{Real}$): Il fine-tuning sui dati reali produce un enorme miglioramento, portando il Multi F1 a 41,7 e l'Onset F1 a 54,4.
• Pipeline Completa ($D_{Synth} + D_{Real} + D_{RL}$): L'aggiunta del post-addestramento RL aumenta ulteriormente le prestazioni, raggiungendo un Multi F1 di 47,8 e un Onset F1 di 60,4 (con $\alpha_{CFG}=2$).

4.2 Analisi Comparativa

• vs. Stato dell'Arte: MuScriptor supera significativamente il baseline YourMT3+ (un forte modello SOTA) in molteplici dataset di benchmark esterni (ad es. Bach10, Dagstuhl ChoirSet, RWC). Ad esempio, sul Dagstuhl ChoirSet, il Frame F1 passa da 51,0 (YourMT3+) a 80,7 (MuScriptor).
• Impatto del Pre-addestramento Sintetico: L'analisi mostra che il pre-addestramento è più benefico quando i dati reali sono limitati (ad es. usando solo l'1% di $D_{Real}$, il pre-addestramento migliora l'Offset F1 da 9,9 a 33,4). Tuttavia, all'aumentare del volume di dati reali, il guadagno relativo dal pre-addestramento diminuisce, sebbene fornisca ancora un leggero vantaggio con l'uso del 100% dei dati.
• Scaling del Modello: Le prestazioni scalano con la dimensione del modello; il modello da 60M di parametri raggiunge un Frame F1 di 65,7, mentre il modello da 1,3B raggiunge 68,7, suggerendo l'applicabilità a diverse restrizioni di risorse.
• Rappresentazioni di Input: Gli spettrogrammi mel hanno superato rappresentazioni alternative come Magnitude CQT, codec Encodec e embedding MERT, suggerendo che le rappresentazioni più vicine alle proprietà del segnale grezzo siano ottimali per questo compito.

5. Significato e Rivendicazioni

L'articolo afferma che MuScriptor è il primo modello efficace a pesi aperti per la trascrizione musicale multi-strumento attraverso una vasta gamma di generi.

Gli autori sottolineano che, mentre gli approcci precedenti si basavano su raffinamenti architettonici (ad es. attenzione gerarchica, MoE), il loro successo deriva principalmente dalla scala e dal tipo di dati — specificamente la combinazione strategica di pre-addestramento sintetico su larga scala, esteso fine-tuning su dati reali e allineamento basato su RL. Il modello è presentato come uno strumento fondamentale per musicisti, musicologi e ricercatori in ambito MIR e modellazione generativa, abilitando compiti precedentemente ostacolati dalla mancanza di strumenti di trascrizione accurati per mix complessi. Gli autori notano modestamente che rimangono delle limitazioni riguardanti la tokenizzazione di note sovrapposte dello stesso strumento e suggeriscono che il lavoro futuro potrebbe espandere il vocabolario degli strumenti e le dimensioni dei segmenti.