Resumo Técnico: Legato 2 – Rumo ao Reconhecimento e Compreensão Multimodal de Partituras

Definição do Problema

A música escrita serve como um meio crítico para criação, transmissão e análise em muitas tradições musicais. No entanto, extrair notação simbólica e conhecimento semântico de partituras visuais permanece um desafio computacional significativo. As abordagens convencionais de Reconhecimento Óptico de Música (OMR) tipicamente decompõem a tarefa em estágios sequenciais ou tratam a página inteira como uma única imagem indiferenciada. Esses métodos frequentemente sofrem com a propagação de erros compostos, falham em escalar efetivamente para documentos arbitrariamente longos e têm dificuldade em reconhecer conteúdo textual incorporado, como títulos, nomes de compositores e anotações em linha. Além disso, embora os modelos de Visão-Linguagem (VLMs) de fronteira tenham avançado no entendimento de imagens naturais, eles frequentemente falham em tarefas de partitura, particularmente aquelas que exigem semântica musical profunda.

Metodologia

O Legato 2 introduz um pipeline inovador que combina segmentação em nível de sistema com um modelo de visão-linguagem autorregressivo (VLM) para abordar essas limitações. O pipeline opera em três estágios distintos:

1. Segmentação de Sistema: Em vez de processar uma página inteira de uma vez, o pipeline emprega um modelo YOLOv8 para segmentar a partitura em sistemas musicais individuais (linhas horizontais de notação). Esta abordagem alinha o processo de reconhecimento com a forma como os humanos leem música e permite que o modelo lide com documentos de comprimento arbitrário.
2. Reconhecimento Autorregressivo: Um modelo de visão-linguagem transcreve cada sistema segmentado de ponta a ponta. Crucialmente, o modelo é treinado para gerar a representação simbólica do sistema atual condicionada à notação ABC do nível de sistema dos sistemas precedentes. Esta abordagem autorregressiva captura tanto os detalhes da notação local quanto a estrutura global da partitura.
3. Conversão de ABC em Nível de Sistema: O modelo produz "ABC de Nível de Sistema", uma representação intermediária onde a notação é organizada sistema por sistema. Um conversor baseado em regras mescla esses outputs de nível de sistema em um formato de notação ABC padrão e unificado.

Inovações Arquiteturais Principais:

• Tokenizador Consciente de Texto: Diferente de modelos anteriores que substituem spans de texto por placeholders, o Legato 2 utiliza um tokenizador treinado com fallback de bytes. Isso permite que o modelo preserve e transcreva conteúdo textual incorporado (títulos, anotações, etc.) juntamente com símbolos musicais sem exigir um módulo de OCR separado.
• Gestão de Contexto: Para lidar com documentos longos, o modelo emprega uma estratégia de truncamento à esquerda da janela de contexto, retendo os 1.024 tokens mais recentes do contexto do sistema precedente enquanto prevê o sistema atual.
• Integração Downstream: O pipeline é projetado para fornecer transcrições simbólicas como contexto externo para VLMs de fronteira, aumentando sua capacidade de responder perguntas musicais e realizar raciocínios.

Principais Contribuições

O artigo apresenta as seguintes contribuições primárias:

• Modelo Legato 2: Um modelo de OMR de estado da arte que realiza o reconhecimento sistema por sistema, permitindo uma escala robusta para documentos longos e superando modelos neurais de ponta a ponta anteriores.
• Reconhecimento de Texto Incorporado: O Legato 2 é o primeiro modelo de arquitetura OMR neural capaz de transcrever texto incorporado (títulos, compositores, anotações) junto com a notação musical, eliminando a necessidade de tokens de placeholder.
• Compreensão de Partitura Aprimorada: O estudo demonstra que usar as transcrições simbólicas do Legato 2 como contexto para VLMs de fronteira melhora significativamente o desempenho nos benchmarks de compreensão de partituras (MusiXQA e SSMR-Bench), estabelecendo novos resultados de estado da arte neste domínio.

Resultados Experimentais

O Legato 2 foi avaliado através de múltiplos datasets, incluindo PDMX-Synth, OpenScore String Quartets, OpenScore Lieder e IMSLP Piano Scores.

• Reconhecimento de Nível de Página: O Legato 2 superou consistentemente o estado da arte anterior (Legato 1) e sistemas baseados em regras (Audiveris) em todos os datasets. Notavelmente, mostrou melhorias significativas em partituras densas de quartetos de cordas, onde modelos anteriores encontravam dificuldades.
• Reconhecimento Multi-página: Em avaliações envolvendo documentos variando de 1 a 37 páginas, o Legato 2 manteve alto desempenho com uma taxa de degradação muito mais lenta em comparação ao Legato 1, que sofre ao processar imagens longas concatenadas.
• Reconhecimento de Texto: O Legato 2 alcançou as menores Taxas de Erro de Caractere (CER) para títulos, compositores e outras anotações, superando significativamente tanto sistemas de OMR baseados em regras quanto modelos de OCR de propósito geral como o PaddleOCR.
• Tarefas de Compreensão: Quando fornecidos com as transcrições do Legato 2 como contexto, os VLMs de fronteira (GPT-5 e Gemini 3.1 Pro) alcançaram ganhos substanciais de precisão nos benchmarks MusiXQA e SSMR-Bench em comparação ao uso de imagens brutas ou ausência de contexto.

Significância e Alegações

Os autores alegam que o Legato 2 estabelece um novo estado da arte tanto no reconhecimento óptico de música quanto na compreensão de partituras downstream. O artigo argumenta que a mudança do processamento de nível de página para o nível de sistema é essencial para lidar com a natureza sequencial da música e escalar para comprimentos de documentos do mundo real. Além disso, o trabalho postula que modelos de OMR especializados podem complementar efetivamente VLMs de fronteira de propósito geral, sugerindo um futuro framework onde diversas ferramentas musicais especializadas sejam integradas a VLMs gerais para resolver problemas musicais complexos e abertos. Os autores enfatizam que a capacidade de reconhecer texto incorporado e a robustez a documentos longos são passos críticos para uma solução mais completa para a análise de documentos musicais.