Technische Samenvatting: Transcoda

Probleemstelling

Optische Muziekherkenning (OMR) staat voor een kritieke knelpunt: het gebrek aan grote, geannoteerde datasets van echte bladmuziekscans. Deze schaarste dwingt modellen om te vertrouwen op synthetische trainingsdata, die vaak niet in staat is de visuele en structurele complexiteit van echte partituren vast te leggen (bijv. dichte lay-outs, lange sequenties en onderling afhankelijke stemmen). Bovendien is niet-uniekheid een aanzienlijke uitdaging in OMR: één visuele partituur kan corresponderen met meerdere syntactisch verschillende maar semantisch equivalente tekstcoderingen (specifiek in het Humdrum **kern-formaat). Deze één-op-meerdere-mapping introduceert hoge onzekerheid tijdens het decoderen, waardoor autoregressieve modellen falen of ongeldige voortzettingen produceren. Bestaande state-of-the-art-systemen worstelen vaak met deze problemen, waarbij ze enorme aantallen parameters of complexe trainingsprotocollen vereisen, terwijl ze toch syntactisch ongeldige outputs genereren.

Methodologie

Transcoda is een compact, end-to-end vision-encoder-decoder-model (59M parameters) dat uitsluitend is getraind op synthetische data. De architectuur en het proces zijn ontworpen rond een data-centric filosofie, waarbij targetnormalisatie en visuele fideliteit prioriteit hebben boven modelgrootte.

1. Architectuur

• Vision Encoder: Gebruikt een vooringestelde ConvNeXt-V2 backbone (27,9M parameters) met 2D-sinusvormige positionele coderingen. Een optionele pretraining-stap binnen het domein met een Fully Convolutional Masked Autoencoder (FCMAE) op niet-geannoteerde historische partituren is beschikbaar om de visuele domeinkloof te overbruggen.
• Projectiebrug: Een twee-laags MLP projecteert visuele kenmerken naar de decoder-dimensie.
• Autoregressieve Decoder: Een 8-laags Pre-LN Transformer (28,3M parameters) met 512 verborgen dimensies, 8 attention-heads en Rotary Positional Embeddings (RoPE).
• Output: Genereert sequenties van **kern-tokens (woordenschatgrootte ~3000) tot 2048 tokens.

2. Data-Centric Proces

De kerninnovatie ligt in het generatie- en normalisatieproces voor data, dat open symbolische corpora (MusicXML) transformeert in hoogwaardige synthetische trainingsdata:

• Targetnormalisatie: Om de niet-uniekheid van **kern-codering te elimineren, normaliseert een deterministisch proces van 21 stadia alle tekstuele targets. Dit omvat:
  • Verwijdering van overbodige spines: Het verwijderen van niet-notatie-elementen (tekst, dynamiek) om de focus op geometrie te leggen.
  • Visueel-semantische uitlijning: Het verwijderen van alleen voor afspeeldoelen bestemde elementen (bijv. grace-resten) om ervoor te zorgen dat de sequentielengte correleert met visuele notatie.
  • Syntactische token-sortering: Het afdwingen van een vaste hiërarchie op teken-niveau voor token-componenten en het sorteren van akkoordnoten op oplopende toonhoogte.
  • Structurele reparatie: Het oplossen van tegenstrijdige annotaties (bijv. conflicterende toonaanduidingen).
  • Resultaat: Elke visuele partituur correspondeert met één unieke **kern-sequentie, wat de leertaak stabiliseert.
• Synthetische Rendering en Augmentatie:
  • Gebruikt de Verovio-engine om genormaliseerde **kern naar afbeeldingen te renderen.
  • Past injectie van niet-doel-notatie (dynamiek, tempotekst) toe om het model te trainen om aan de taak irrelevante symbolen te negeren.
  • Simuleert degradatie op het rastersniveau (geometrische vervormingen, papierstructuren, inktverloop, scannerruis) om de sim-naar-real-kloof te overbruggen zonder de ground truth te wijzigen.
• Compositional Tokenization: Een aangepaste BPE-tokenizer (3000 tokens) dwingt een strikte split-space-beperking af, waardoor het model wordt verhinderd vaste akkoordrepresentaties te memoriseren en wordt gedwongen om compositie van nieuwe akkoorden te leren.

3. Decoderingsstrategieën

• Standaarddecodering: Gebruikt beam search voor optimalisatie.
• Gedwongen decodering: Een optionele laag die een GBNF-grammatica (gecompileerd met xgrammar) en een logits-processor aan de Python-zijde gebruikt om formele **kern-geldigheid af te dwingen. Dit zorgt ervoor dat de output syntactisch correct is voor downstream-rendering, hoewel dit de ruwe edit-afstand licht kan beïnvloeden als de visuele uitlijning niet perfect is.

Belangrijkste Bijdragen

1. Synthetische Data-pijplijn: De auteurs stellen de grootste openbaar beschikbare dataset voor OMR-training voor, met een geavanceerde pijplijn die dichte, structureel complexe synthetische partituren genereert met gecontroleerde visuele degradatie.
2. Normalisatie als Stabilisator: Het artikel identificeert niet-uniekheid als een primaire bottleneck in zero-shot OMR. Het toont aan dat deterministische targetnormalisatie de kritieke factor is voor het stabiliseren van autoregressieve generatie, en dat dit belangrijker is dan de voordelen van een vergrote modelgrootte.
3. Gestandaardiseerde Evaluatie: Er wordt een nieuw evaluatieprotocol geïntroduceerd, gebaseerd op de Verovio-rendering-engine, samen met ablatiestudies die sequentiemodellering, visuele domeinverschuiving en formele geldigheid van elkaar onderscheiden.
4. Prestatie-efficiëntie: Een compact model van 59M parameters, getraind in 6 uur op één GPU, presteert beter dan baselines met miljarden parameters.

Resultaten

Transcoda werd geëvalueerd op zowel schone synthetische benchmarks als echte historische scans (Poolse partituren) in een zero-shot setting.

• Synthetische Benchmark (Verovio): Transcoda behaalde een OMR-NED van 18,46%, wat significant beter is dan Legato (43,91%) en SMT++ (92,23%).
• Echte Scans (Zero-Shot): Op historische Poolse scans verlaagde Transcoda het foutpercentage tot 63,97% OMR-NED, een aanzienlijke verbetering ten opzichte van SMT++ (80,16%) en Legato (86,73%).
• Ablatiebevindingen:
  • Het verwijderen van targetnormalisatie leidde tot catastrofale uitval, waarbij de OMR-NED op synthetische data steeg van 18,71% naar 82,51%.
  • Het verwijderen van visuele degradatie of het samenvoegen van partituren (om de doeldichtheid te matchen) degradeerde de prestaties op echte scans aanzienlijk, wat de noodzaak benadrukt van zowel visuele als structurele fideliteit in trainingsdata.
  • Visuele pretraining binnen het domein (FCMAE) toonde veelbelovende resultaten in het verder verkleinen van de sim-naar-real-kloof.

Betekenis en Claims

Het artikel claimt dat datakwaliteit en normalisatie de dominante hefbomen zijn voor het verbeteren van OMR-prestaties, en niet modelgrootte of complexe trainingsprotocollen. Door een unieke normale vorm voor de doeltekst af te dwingen en realistische visuele ruis te simuleren, bereikt Transcoda state-of-the-art-resultaten met een fractie van het aantal parameters en de trainingsduur van concurrerende systemen.

De auteurs positioneren Transcoda als een stap voorwaarts voor de muziekwetenschap, en bieden een krachtige, open-source tool die historische manuscripten kan transcriberen met een hogere nauwkeurigheid dan bestaande methoden, ondanks de inherente uitdagingen van zero-shot-overdracht vanuit synthetische data. Ze erkennen beperkingen, met name in het hanteren van extreme manuscriptdichtheid en structurele matrixmisalignering, en suggereren dat toekomstig werk mogelijk nog ingewikkeldere rasterdegradaties of pretraining op sterk gedegradeerde echte scans vereist.