Resumo Técnico: Transcoda

Declaração do Problema

O Reconhecimento Musical Óptico (OMR) enfrenta um gargalo crítico: a falta de conjuntos de dados anotados em grande escala de digitalizações reais de partituras. Essa escassez força os modelos a dependerem de dados de treinamento sintéticos, que frequentemente falham em capturar a complexidade visual e estrutural de partituras reais (por exemplo, layouts densos, sequências longas e vozes interdependentes). Além disso, um desafio significativo no OMR é a não unicidade: uma única partitura visual pode mapear para múltiplas codificações de texto sintaticamente diferentes, mas semanticamente equivalentes (especificamente no formato kern do Humdrum). Esse mapeamento um-para-muitos introduz alta incerteza durante a decodificação, fazendo com que modelos autoregressivos falhem ou produzam continuações inválidas. Sistemas existentes de última linha frequentemente lutam com essas questões, exigindo contagens massivas de parâmetros ou protocolos de treinamento complexos, enquanto ainda geram saídas sintaticamente inválidas.

Metodologia

O Transcoda é um modelo compacto, de ponta a ponta, do tipo codificador-visual-decodificador (59M de parâmetros) treinado exclusivamente com dados sintéticos. Sua arquitetura e pipeline são projetados em torno de uma filosofia centrada em dados, priorizando a normalização de alvos e a fidelidade visual em detrimento da escala do modelo.

1. Arquitetura

• Codificador Visual: Utiliza uma base pré-treinada ConvNeXt-V2 (27,9M de parâmetros) com codificações posicionais sinusoidais 2D. Uma etapa opcional de pré-treinamento no domínio, usando um Autoencoder Mascarado Totalmente Convolucional (FCMAE) em partituras históricas não rotuladas, está disponível para fechar a lacuna visual do domínio.
• Ponte de Projeção: Um MLP de duas camadas projeta características visuais para a dimensão do decodificador.
• Decodificador Autoregressivo: Um Transformer Pre-LN de 8 camadas (28,3M de parâmetros) com 512 dimensões ocultas, 8 cabeças de atenção e Incorporações Posicionais Rotacionais (RoPE).
• Saída: Gera sequências de **tokens kern (vocabulário de ~3000 tokens) de até 2048 tokens.

2. Pipeline Centrado em Dados

A inovação central reside no pipeline de geração e normalização de dados, que transforma corpora simbólicos abertos (MusicXML) em dados de treinamento sintéticos de alta fidelidade:

• Normalização de Alvo: Para eliminar a não unicidade da codificação kern, um pipeline determinístico de 21 etapas normaliza todos os alvos textuais. Isso inclui:
  • Remoção de espines supérfluos: Eliminação de elementos não de notação (letras, dinâmicas) para focar na geometria.
  • Alinhamento visual-semântico: Remoção de elementos apenas de reprodução (por exemplo, pausas de graça) para garantir que o comprimento da sequência correlacione com a notação visual.
  • Ordenação sintática de tokens: Impor uma hierarquia fixa ao nível de caracteres para componentes de tokens e ordenar notas de acordes por altura ascendente.
  • Reparo estrutural: Resolução de anotações contraditórias (por exemplo, acidentes conflitantes).
  • Resultado: Cada partitura visual mapeia para uma única sequência kern única, estabilizando a tarefa de aprendizado.
• Renderização Sintética e Aumento:
  • Utiliza o motor Verovio para renderizar kern normalizado em imagens.
  • Aplica injeção de notação não-alvo (dinâmicas, texto de andamento) para treinar o modelo a ignorar símbolos irrelevantes para a tarefa.
  • Simula degradação de estágio de raster (distorções geométricas, texturas de papel, sangria de tinta, ruído de scanner) para fechar a lacuna sim-real sem alterar a verdade fundamental.
• Tokenização Composicional: Um tokenizador BPE personalizado (3000 tokens) impõe uma restrição estrita de espaço de divisão, impedindo que o modelo memorize representações fixas de acordes e forçando-o a aprender a montagem composicional de novos acordes.

3. Estratégias de Decodificação

• Decodificação Padrão: Usa busca em feixe para otimização.
• Decodificação Constrainda: Uma camada opcional usando uma gramática GBNF (compilada com xgrammar) e um processador de logits do lado Python para impor a validade formal kern. Isso garante que a saída seja sintaticamente correta para renderização downstream, embora possa impactar ligeiramente a distância de edição bruta se o alinhamento visual for imperfeito.

Contribuições Principais

1. Pipeline de Dados Sintéticos: Os autores propõem o maior conjunto de dados abertamente disponível para treinamento de OMR, apresentando um pipeline sofisticado que gera partituras sintéticas densas e estruturalmente complexas com degradação visual controlada.
2. Normalização como Estabilizador: O artigo identifica a não unicidade como um gargalo primário no OMR zero-shot. Demonstra que a normalização determinística de alvos é o fator crítico para estabilizar a geração autoregressiva, superando os benefícios do aumento da escala do modelo.
3. Avaliação Padronizada: Um novo protocolo de avaliação baseado no motor de renderização Verovio é introduzido, juntamente com estudos de ablação que desviam a estabilidade de modelagem de sequências, a mudança de domínio visual e a validade formal.
4. Eficiência de Desempenho: Um modelo compacto de 59M de parâmetros, treinado em 6 horas em uma única GPU, supera bases de referência de bilhões de parâmetros.

Resultados

O Transcoda foi avaliado em benchmarks sintéticos limpos e em digitalizações históricas reais (partituras polonesas) em configuração zero-shot.

• Benchmark Sintético (Verovio): O Transcoda alcançou um OMR-NED de 18,46%, superando significativamente o Legato (43,91%) e o SMT++ (92,23%).
• Digitalizações Reais (Zero-Shot): Em digitalizações históricas polonesas, o Transcoda reduziu a taxa de erro para 63,97% OMR-NED, uma melhoria substancial em relação ao SMT++ (80,16%) e ao Legato (86,73%).
• Descobertas de Ablação:
  • A remoção da normalização de alvos causou falha catastrófica, elevando o OMR-NED de 18,71% para 82,51% em dados sintéticos.
  • A remoção da degradação visual ou da concatenação de partituras (para corresponder à densidade do alvo) degradou significativamente o desempenho em digitalizações reais, destacando a necessidade de fidelidade visual e estrutural nos dados de treinamento.
  • O pré-treinamento visual no domínio (FCMAE) mostrou promessa na redução adicional da lacuna sim-real.

Significado e Alegações

O artigo alega que qualidade de dados e normalização são as alavancas dominantes para melhorar o desempenho do OMR, em vez da escala do modelo ou protocolos de treinamento complexos. Ao impor uma forma normal única para o texto alvo e simular ruído visual realista, o Transcoda alcança resultados de última linha com uma fração dos parâmetros e do tempo de treinamento de sistemas concorrentes.

Os autores posicionam o Transcoda como um passo adiante para a musicologia, fornecendo uma ferramenta poderosa e de código aberto que pode transcrever manuscritos históricos com maior precisão do que os métodos existentes, apesar dos desafios inerentes à transferência zero-shot de dados sintéticos. Eles reconhecem limitações, particularmente no tratamento de densidade extrema de manuscritos e desalinhamento de matriz estrutural, sugerindo que trabalhos futuros podem exigir degradações de raster ainda mais envolvidas ou pré-treinamento em digitalizações reais fortemente degradadas.