Riepilogo Tecnico: Transcoda

Enunciato del Problema

Il Riconoscimento Musicale Ottico (OMR) affronta un collo di bottiglia critico: la mancanza di dataset su larga scala, annotati, di scansioni reali di spartiti musicali. Questa scarsità costringe i modelli a fare affidamento su dati di addestramento sintetici, che spesso non riescono a catturare la complessità visiva e strutturale delle partiture reali (ad esempio, layout densi, sequenze lunghe e voci interdipendenti). Inoltre, una sfida significativa nell'OMR è la non univocità: una singola partitura visiva può mappare su molteplici codifiche testuali sintatticamente diverse ma semanticamente equivalenti (specificamente nel formato kern di Humdrum). Questa mappatura uno-a-molti introduce un'alta incertezza durante la decodifica, causando il fallimento dei modelli autoregressivi o la produzione di continuazioni non valide. I sistemi esistenti all'avanguardia spesso faticano con questi problemi, richiedendo un numero massiccio di parametri o protocolli di addestramento complessi, pur generando comunque output sintatticamente non validi.

Metodologia

Transcoda è un modello compatto, end-to-end, vision-encoder-decoder (59M di parametri) addestrato esclusivamente su dati sintetici. La sua architettura e la sua pipeline sono progettate attorno a una filosofia data-centric, che dà priorità alla normalizzazione degli obiettivi e alla fedeltà visiva rispetto alla scala del modello.

1. Architettura

• Vision Encoder: Utilizza un backbone preaddestrato ConvNeXt-V2 (27,9M di parametri) con codificazioni posizionali sinusoidali 2D. È disponibile una fase opzionale di pre-addestramento nel dominio specifico utilizzando un Masked Autoencoder Fully Convolutional (FCMAE) su partiture storiche non etichettate per colmare il divario visivo di dominio.
• Ponte di Proiezione: Un MLP a due livelli proietta le caratteristiche visive alla dimensione del decoder.
• Decoder Autoregressivo: Un Transformer Pre-LN a 8 livelli (28,3M di parametri) con 512 dimensioni nascoste, 8 teste di attenzione e Incorporamenti Posizionali Rotativi (RoPE).
• Output: Genera sequenze di token kern (dimensione del vocabolario ~3000) fino a 2048 token.

2. Pipeline Data-Centric

L'innovazione principale risiede nella pipeline di generazione e normalizzazione dei dati, che trasforma corpora simbolici aperti (MusicXML) in dati di addestramento sintetici ad alta fedeltà:

• Normalizzazione dell'Obiettivo: Per eliminare la non univocità della codifica kern, una pipeline deterministica a 21 stadi normalizza tutti gli obiettivi testuali. Questo include:
  • Rimozione delle spine estranee: Rimozione di elementi non di notazione (testi, dinamiche) per focalizzarsi sulla geometria.
  • Allineamento visivo-semantico: Rimozione di elementi solo per la riproduzione (ad esempio, pause di grazia) per garantire che la lunghezza della sequenza sia correlata alla notazione visiva.
  • Ordinamento sintattico dei token: Imposizione di una gerarchia fissa a livello di carattere per i componenti dei token e ordinamento delle note degli accordi per altezza crescente.
  • Riparazione strutturale: Risoluzione di annotazioni contraddittorie (ad esempio, alterazioni conflittuali).
  • Risultato: Ogni partitura visiva mappa su una singola, unica sequenza kern, stabilizzando il compito di apprendimento.
• Rendering Sintetico e Aumento:
  • Utilizza il motore Verovio per renderizzare i kern normalizzati in immagini.
  • Applica l'iniezione di notazione non target (dinamiche, testo di tempo) per addestrare il modello a ignorare simboli irrilevanti per il compito.
  • Simula il degrado dello stadio raster (distorsioni geometriche, texture della carta, sbavature dell'inchiostro, rumore dello scanner) per colmare il divario sim-to-reale senza alterare la verità fondamentale.
• Tokenizzazione Compositiva: Un tokenizzatore BPE personalizzato (3000 token) impone un vincolo di split-spazio rigoroso, impedendo al modello di memorizzare rappresentazioni di accordi fisse e costringendolo a imparare l'assemblaggio compositivo di accordi nuovi.

3. Strategie di Decodifica

• Decodifica Standard: Utilizza la ricerca a fascio per l'ottimizzazione.
• Decodifica Vincolata: Un layer opzionale che utilizza una grammatica GBNF (compilata con xgrammar) e un processore di logits lato Python per imporre la validità formale kern. Ciò garantisce che l'output sia sintatticamente corretto per il rendering a valle, sebbene possa influenzare leggermente la distanza di modifica grezza se l'allineamento visivo non è perfetto.

Contributi Chiave

1. Pipeline di Dati Sintetici: Gli autori propongono il più grande dataset disponibile pubblicamente per l'addestramento OMR, caratterizzato da una pipeline sofisticata che genera partiture sintetiche dense e strutturalmente complesse con degradazione visiva controllata.
2. Normalizzazione come Stabilizzatore: Il documento identifica la non univocità come un collo di bottiglia primario nell'OMR zero-shot. Dimostra che la normalizzazione deterministica dell'obiettivo è il fattore critico per stabilizzare la generazione autoregressiva, superando i benefici dell'aumento della scala del modello.
3. Valutazione Standardizzata: Viene introdotto un nuovo protocollo di valutazione basato sul motore di rendering Verovio, insieme a studi di ablazione che disgiungono la stabilità della modellazione delle sequenze, lo spostamento del dominio visivo e la validità formale.
4. Efficienza delle Prestazioni: Un modello compatto da 59M di parametri, addestrato in 6 ore su una singola GPU, supera le linee di base da miliardi di parametri.

Risultati

Transcoda è stato valutato sia su benchmark sintetici puliti che su scansioni storiche reali (partiture polacche) in un setting zero-shot.

• Benchmark Sintetico (Verovio): Transcoda ha raggiunto un OMR-NED del 18,46%, superando significativamente Legato (43,91%) e SMT++ (92,23%).
• Scansioni Reali (Zero-Shot): Su scansioni storiche polacche, Transcoda ha ridotto il tasso di errore al 63,97% OMR-NED, un miglioramento sostanziale rispetto a SMT++ (80,16%) e Legato (86,73%).
• Risultati dell'Ablazione:
  • La rimozione della normalizzazione dell'obiettivo ha causato un fallimento catastrofico, aumentando l'OMR-NED dal 18,71% all'82,51% sui dati sintetici.
  • La rimozione del degrado visivo o della concatenazione delle partiture (per corrispondere alla densità dell'obiettivo) ha degradato significativamente le prestazioni sulle scansioni reali, evidenziando la necessità di fedeltà sia visiva che strutturale nei dati di addestramento.
  • Il pre-addestramento visivo nel dominio specifico (FCMAE) ha mostrato promesse nel ridurre ulteriormente il divario sim-to-reale.

Significato e Affermazioni

Il documento afferma che la qualità dei dati e la normalizzazione sono le leve dominanti per migliorare le prestazioni OMR, piuttosto che la scala del modello o protocolli di addestramento complessi. Imponendo una forma normale unica per il testo target e simulando rumore visivo realistico, Transcoda ottiene risultati all'avanguardia con una frazione dei parametri e del tempo di addestramento dei sistemi concorrenti.

Gli autori posizionano Transcoda come un passo avanti per la musicologia, fornendo uno strumento potente e open-source in grado di trascrivere manoscritti storici con una maggiore accuratezza rispetto ai metodi esistenti, nonostante le sfide intrinseche del trasferimento zero-shot dai dati sintetici. Riconoscono le limitazioni, in particolare nella gestione della densità estrema dei manoscritti e del disallineamento della matrice strutturale, suggerendo che il lavoro futuro potrebbe richiedere degradazioni raster ancora più complesse o pre-addestramento su scansioni reali fortemente degradate.