HumMusQA: A Human-written Music Understanding QA Benchmark Dataset

1. O Problema

A avaliação da compreensão musical em Modelos de Linguagem e Áudio Grandes (LALMs) enfrenta desafios significativos devido à natureza dinâmica, em camadas e densa em informações da música. O artigo identifica falhas críticas nas metodologias de dados atuais:

• Dependência de Geração Automática: Muitos benchmarks anteriores (como MusicQA e MusicInstruct) foram construídos automatizando legendas ou tags existentes usando LLMs. Isso compromete a integridade da avaliação, pois modelos de texto puro podem obter alta precisão explorando "priors" linguísticos e conhecimento de mundo embutido nas perguntas, sem realmente ouvir o áudio.
• Falta de Rigor Perceptivo: As perguntas geradas automaticamente tendem a ser superficiais, limitando a profundidade e o escopo necessários para testar o entendimento musical de nível especialista.
• Vazamento de Dados e Qualidade: Benchmarks baseados em dados "da selva" (wild) ou repositórios online podem sofrer com vazamento de dados de treinamento e inconsistências na qualidade do áudio e metadados.
• Métrica Inadequada: Métricas léxicas tradicionais (como BLEU) são insuficientes para avaliar respostas abertas e complexas em música.

2. Metodologia

O objetivo do estudo foi criar um benchmark rigoroso, de autoria humana, para avaliar LALMs em tarefas de compreensão musical.

• Construção do Dataset (HumMusQA):
  • Tamanho e Origem: O dataset contém 320 perguntas manuais (hand-written) curadas e validadas por especialistas com formação avançada em música (média de 15 anos de experiência).
  • Áudio: As faixas foram extraídas do Jamendo, utilizando apenas gravações com licença Creative Commons para garantir distribuição aberta e reprodutibilidade. Foram selecionadas 108 faixas cobrindo diversos gêneros e estilos, com trechos de 30 a 90 segundos.
  • Design das Perguntas: Baseado nos currículos do ABRSM e GCSE, as perguntas cobrem desde tarefas perceptivas básicas até raciocínio analítico complexo. Todas são no formato de múltipla escolha (4 opções: 1 correta, 3 distratores).
  • Validação Iterativa: Os especialistas atuaram em dupla função: autoria e validação cruzada cega. Eles responderam às perguntas uns dos outros sem conhecer a resposta correta, identificando ambiguidades, distratores pouco plausíveis ou subjetividade excessiva. O ciclo de revisão continuou até que não houvesse mais discordâncias.
  • Classificação: As perguntas foram classificadas em duas dimensões:
    1. Categoria Musical: 13 dimensões (ex: Melodia, Harmonia, Instrumentação, Estrutura, Contexto Histórico/Cultural).
    2. Nível de Dificuldade: Baixo (ouvinte casual), Médio (alguma experiência) e Alto (educação formal/especializada).

3. Principais Contribuições

• Novo Benchmark Especializado: Introdução do HumMusQA, focado em minimizar "atalhos linguísticos" (text-only shortcuts) e forçar o modelo a depender da percepção auditiva genuína.
• Curadoria Humana de Alta Fidelidade: Diferente de benchmarks automatizados, este conjunto de dados prioriza a qualidade e a profundidade cognitiva sobre a escala, garantindo que as perguntas exijam análise musical real.
• Avaliação de Robustez: O estudo inclui uma análise rigorosa sobre a capacidade dos modelos de evitar respostas baseadas apenas no texto da pergunta, testando-os com áudio real, ruído e silêncio.
• Reprodutibilidade Aberta: Todo o dataset (perguntas, metadados e áudio) é publicamente disponível sob licenças Creative Commons, removendo barreiras legais para pesquisa em IA musical.

4. Resultados Experimentais

O benchmark foi usado para avaliar seis LALMs de última geração (incluindo Qwen2.5-Omni, Music-Flamingo, Audio-Flamingo-3, GPT-Audio, Gemini-2.5-Flash e AudSemThinker).

• Desempenho Geral: O modelo Qwen2.5-Omni-7B obteve o melhor desempenho geral (64,3% de precisão), seguido por Music-Flamingo e Audio-Flamingo-3.
• Impacto da Dificuldade: O desempenho caiu consistentemente conforme a dificuldade aumentava (Baixo > Médio > Alto), validando o esquema de classificação.
• Viés de Posição: A maioria dos modelos mostrou sensibilidade significativa à ordem das opções de resposta, indicando instabilidade. O Qwen2.5-Omni foi notável por sua consistência, mantendo respostas idênticas mesmo com a ordem das opções embaralhada.
• Análise por Categoria: Modelos performaram melhor em questões de conhecimento geral (gênero, humor, contexto cultural) e pior em tarefas que exigem teoria musical formal (harmonia, melodia, performance).
• Teste de Robustez (Atalhos Unimodais):
  • Quando o áudio real foi substituído por ruído gaussiano ou silêncio, a precisão dos modelos caiu, mas permaneceu acima do acaso aleatório (25%).
  • Isso revela que os modelos ainda exploram dicas textuais nas perguntas e distratores (ex: inferir "Brasil" pela menção de "guitarra típica" e "Bossa Nova", ou "supersaw" por ser um som "popular").
  • Modelos de texto puro (Gemini-2.5-Flash sem áudio) conseguiram responder corretamente cerca de 50% das perguntas de "alta dificuldade", sugerindo que algumas perguntas ainda podem ser resolvidas sem audição real.

5. Significado e Conclusão

O artigo conclui que, embora os LALMs atuais demonstrem capacidades moderadas de compreensão musical, eles apresentam fraquezas sistemáticas em tarefas que exigem raciocínio analítico profundo e teoria musical.

• Validação da Abordagem Humana: A curadoria manual é superior para sondar a compreensão auditiva complexa, superando as limitações da geração automática.
• Futuro da Pesquisa: O HumMusQA serve como um complemento essencial ao ecossistema de benchmarks existentes, oferecendo uma avaliação mais rigorosa e reprodutível.
• Desafio Remanescente: A descoberta de que modelos de texto puro ainda resolvem muitas perguntas indica a necessidade de refinar os procedimentos de anotação para criar distratores e formulações de perguntas que sejam verdadeiramente insolúveis sem o contexto auditivo, especialmente para níveis de dificuldade alta.

Em suma, o HumMusQA estabelece um novo padrão para a avaliação de inteligência auditiva em IA, enfatizando a necessidade de dados de alta qualidade, curadoria humana e testes rigorosos contra atalhos cognitivos.