Musical Score Understanding Benchmark: Evaluating Large Language Models' Comprehension of Complete Musical Scores

Resumo Técnico: MSU-Bench

1. Problema e Motivação

Embora os Grandes Modelos de Linguagem (LLMs) e os Modelos Visão-Linguagem (VLMs) tenham demonstrado capacidades notáveis em tarefas de processamento de linguagem natural, sua habilidade para interpretar e raciocinar sobre partituras musicais completas permanece subexplorada e insuficiente.

As limitações atuais dos benchmarks existentes incluem:

• Escopo restrito: Foco em fragmentos isolados ou excertos curtos, em vez de obras completas.
• Complexidade insuficiente: Predomínio de música monofônica (linha melódica única), ignorando a complexidade harmônica e rítmica da música polifônica real.
• Falhas críticas em VLMs: Ao analisar partituras visuais (PDFs), os modelos enfrentam dois desafios persistentes:
  1. Problema de Localização: Dificuldade em identificar corretamente a posição das barras (compassos), o que é pré-requisito para perguntas sobre harmonia ou forma.
  2. Alucinação: Geração de conteúdo não fundamentado na partitura real, frequentemente exacerbado por erros de localização.

O objetivo do trabalho é medir essas limitações e fornecer uma base robusta para avaliar o raciocínio multimodal em música.

2. Metodologia: MSU-Bench

Os autores introduzem o MSU-Bench, um benchmark humano-curado projetado para avaliar a compreensão de partituras musicais completas em duas modalidades: Textual (notação ABC) e Visual (PDF).

• Conjunto de Dados:
  • 150 partituras completas de obras de compositores como Bach, Beethoven, Chopin, Debussy e Mussorgsky (períodos Barroco ao início do século XX).
  • 1.800 pares de perguntas e respostas (QA) gerados por humanos, organizados em quatro níveis hierárquicos de dificuldade crescente:
    1. Nível 1 (Informação de Início): Metadados (compositor, título, clave, compasso, tempo, instrumentos).
    2. Nível 2 (Notação e Nota): Detalhes locais por compasso (acentuação, acidentes, dinâmicas, ornamentos, mudanças de clave).
    3. Nível 3 (Acorde e Harmonia): Análise harmônica (qualidade de acordes, funções, inversões, cadências, modulações).
    4. Nível 4 (Textura e Forma): Análise global (motivos melódicos, desenvolvimento temático, estrutura formal, orquestração).
• Abordagem Multimodal:
  • Visual (PDF): Avalia a capacidade do modelo de ler a partitura "crua" (end-to-end).
  • Textual (Notação ABC): Utiliza a notação ABC como uma representação simbólica estruturada que codifica explicitamente a estrutura de compassos, altura, ritmo e articulação. Isso serve como um "limite superior" (upper-bound) para o raciocínio simbólico, eliminando erros de reconhecimento visual.
• Processo de Avaliação:
  • Utilização de um protocolo "LLM-as-a-judge" com votação majoritária entre três modelos de ponta (ChatGPT-5, Claude Sonnet 4, Gemini 2.5 Pro) para verificar a correção semântica das respostas geradas, comparando-as com respostas de referência validadas por especialistas humanos (com +20 anos de experiência).
  • Métrica de Taxa de Sucesso por Nível (LSR - Level-wise Success Rate): Mede a proporção de partituras onde todas as perguntas de um nível e todos os níveis anteriores foram respondidas corretamente, testando a consistência do raciocínio.

3. Contribuições Principais

1. Introdução do MSU-Bench: O primeiro benchmark focado em raciocínio sobre partituras completas, cobrindo desde reconhecimento básico até análise estrutural avançada, com 1.800 pares QA generativos.
2. Avaliação Multimodal Comparativa: Suporte para avaliação simultânea via notação textual (ABC) e visual (PDF), permitindo isolar erros de reconhecimento visual de erros de raciocínio lógico.
3. Análise de Limitações: Revelação de lacunas significativas de modalidade e instabilidade no desempenho dos modelos, especialmente na manutenção da correção em múltiplos níveis de raciocínio.
4. Validação de Fine-tuning: Demonstração de que o ajuste fino (fine-tuning) com LoRA melhora significativamente o desempenho em ambas as modalidades sem causar "esquecimento catastrófico" de conhecimento geral.
5. Descoberta de Raciocínio Hierárquico: Evidência de que apresentar todas as perguntas de uma partitura simultaneamente (em lote) resulta em melhor desempenho do que fazê-lo sequencialmente, sugerindo que os modelos podem aproveitar o contexto compartilhado.

4. Resultados Experimentais

• Desempenho Zero-Shot:
  • Existe uma lacuna de modalidade pronunciada. Modelos com entrada textual (ABC) superam significativamente os modelos com entrada visual (PDF).
  • No modo Textual, o Gemini 2.5 Pro alcançou a melhor precisão geral (49,44%), com destaque para o Nível 1 (65,33%).
  • No modo Visual, a precisão geral caiu drasticamente para cerca de 20-24%, mesmo com os melhores modelos (ex: Claude Opus 4 em 24,22%).
  • Falhas de Localização: Em tarefas visuais, os modelos frequentemente falham ao identificar o compasso correto, levando a respostas incorretas mesmo quando o conhecimento teórico está presente.
• Taxa de Sucesso por Nível (LSR):
  • O desempenho cai acentuadamente à medida que a complexidade aumenta. No modo visual, a taxa de sucesso cai para quase zero no Nível 2, indicando que os modelos não conseguem manter a coerência em análises de longo prazo.
• Fine-tuning (LoRA):
  • O ajuste fino resultou em ganhos substanciais em ambas as modalidades.
  • Modelos adaptados (ex: Qwen3-4B e Qwen2.5-VL-3B) mostraram melhor retenção de correção através dos níveis.
  • Preservação de Conhecimento: A adaptação não degradou o desempenho em benchmarks gerais (MMLU), indicando que o modelo aprendeu raciocínio musical sem perder capacidades gerais.
• Eficiência: Modelos de código aberto como Qwen3-VL-235B alcançaram precisão competitiva (41,22%) em apenas ~1 hora de inferência, enquanto modelos proprietários maiores levaram mais de 11 horas.

5. Significado e Conclusão

O MSU-Bench estabelece um novo padrão para a avaliação de IA na música, demonstrando que, embora os modelos atuais tenham potencial, eles ainda lutam com o raciocínio musical holístico, especialmente na interpretação visual direta de partituras.

• Implicação Prática: A notação ABC é uma ferramenta crucial para mitigar erros de localização e alucinação, servindo como um meio intermediário eficaz para treinar e avaliar modelos antes de aplicar o raciocínio em imagens brutas.
• Futuro: O trabalho aponta a necessidade de melhorar a capacidade dos VLMs de localizar elementos visuais em partituras complexas e de realizar raciocínio estrutural de longo prazo. O benchmark e o código estão disponíveis publicamente para fomentar pesquisas futuras em raciocínio multimodal musical.

Em suma, o MSU-Bench não apenas expõe as limitações atuais das IAs na música, mas também oferece uma metodologia rigorosa e um conjunto de dados diversificado para guiar o desenvolvimento de assistentes musicais inteligentes capazes de atuar como tutores ou analistas musicais confiáveis.