Resumo Técnico: Avaliação da Compreensão Factual de Música em Modelos de Linguagem de Áudio de Grande Escala

Declaração do Problema

Os Modelos de Linguagem de Áudio de Grande Escala (LALMs) estão emergindo como ferramentas multimodais capazes de gerar respostas textuais a consultas em linguagem natural sobre áudio, incluindo música. No entanto, o padrão atual para avaliar suas capacidades de compreensão musical baseia-se no conjunto de dados MusicQA e em protocolos de resposta a perguntas de forma livre (QA). Neste cenário, os modelos geram descrições ou respostas textuais abertas, que são então comparadas a respostas de referência usando métricas de similaridade textual (por exemplo, BLEU, BERTScore, CIDEr).

Os autores identificam uma falha crítica nesta abordagem: essas métricas não conseguem distinguir se a resposta de um modelo está fundamentada na entrada de áudio real ou se é apenas uma alucinação que soa plausível. Evidências empíricas sugerem que substituir a entrada de áudio correta por um clipe de áudio aleatório do mesmo conjunto de dados produz pontuações de similaridade textual estatisticamente indistinguíveis daquelas obtidas com o áudio correto. Além disso, os protocolos de perguntas e respostas de múltipla escolha (MCQA) são criticados por confundir a compreensão de áudio com habilidades linguísticas de teste, pois os modelos frequentemente conseguem responder corretamente sem ouvir o áudio. Consequentemente, há uma falta de um benchmark reprodutível e objetivo que meça a correção factual das respostas dos LALMs em relação a atributos musicais específicos.

Metodologia

Para abordar essas limitações, os autores propõem um Protocolo de Avaliação de QA Factual projetado para isolar e medir o comportamento fundamentado em áudio. A metodologia consiste em três etapas principais:

1. Prompting Direcionado: Em vez de perguntas vagas e abertas (por exemplo, "Descreva a música"), o protocolo solicita aos LALMs consultas factuais específicas sobre atributos verificáveis do áudio, como reconhecimento de instrumentos, identificação de compositores, classificação de gênero, estilo regional, humor e compasso.
2. Análise Estruturada de Saída: Como os LALMs frequentemente produzem texto não estruturado e de forma livre que pode incluir hesitações ou múltiplas possibilidades, os autores empregam um Modelo de Linguagem de Grande Escala (LLM) secundário como analisador. Este analisador opera sob regras estritas para extrair rótulos explícitos e canônicos da resposta do modelo.
   • Regras: O analisador extrai apenas termos mencionados explicitamente, proíbe inferências implícitas, trata declarações comparativas mantendo apenas a entidade preferida e normaliza termos para uma forma canônica (por exemplo, "contrabaixo" $\rightarrow$ "baixo").
   • Tratamento de Ambiguidade: Para tarefas com sobreposição semântica (por exemplo, humor ou estilo regional), o analisador recebe uma lista fechada de rótulos de verdade fundamental e seleciona a melhor correspondência com base na resposta do modelo.
3. Cálculo de Métricas Objetivas: Os rótulos estruturados extraídos são comparados com anotações de verdade fundamental usando Precisão, Revocação e Pontuação F1. Isso permite a avaliação tanto da correção quanto da tendência do modelo a hesitar (emitir múltiplas respostas ou nenhuma resposta).

Os autores avaliaram nove LALMs (incluindo modelos de ponta como Gemini 3 e modelos abertos como Music Flamingo) em seis tarefas usando três conjuntos de dados:

• MusicNet: Para reconhecimento de instrumentos e identificação de compositores.
• Free Music Archive (FMA): Para classificação de gênero.
• OverClocked ReMix: Para identificação de estilo regional, humor e compasso.

Duas estratégias de prompting foram testadas: Prompts Abertos (respostas de forma livre) e Prompts de Lista (fornecendo uma lista de respostas candidatas).

Principais Resultados

A avaliação produziu várias descobertas significativas sobre o estado da compreensão musical em LALMs:

• Falha da QA de Forma Livre: O estudo confirmou que as métricas padrão de similaridade textual no MusicQA carecem de poder discriminativo. Os modelos apresentaram desempenho semelhante em áudio correto versus áudio aleatório, e reescritas adversárias (respostas deliberadamente incorretas, mas lexicalmente similares) receberam pontuações altas, validando que os protocolos atuais não medem a compreensão factual.
• Sucesso do Protocolo Factual: Em contraste, o protocolo factual proposto distinguiu com sucesso entre modelos condicionados a áudio correto e aqueles condicionados a áudio aleatório na maioria das tarefas.
  • Instrumentação e Gênero: Os modelos geralmente alcançaram pontuações F1 mais altas com áudio correto do que com áudio aleatório, indicando compreensão genuína de áudio. No entanto, o desempenho frequentemente sofreu de baixa precisão (modelos listando muitos falsos positivos) ou baixa revocação (perdendo instrumentos).
  • Identificação de Compositores: O desempenho foi geralmente pobre. Modelos como Music Flamingo e LLaMA-Adapter pareciam depender de priores estatísticos (por exemplo, chutar Bach ou Beethoven) em vez de análise de áudio, pois seu desempenho não melhorou significativamente com o áudio correto.
  • Estilo Regional e Humor: Os modelos conseguiram distinguir estilos regionais e humores melhor do que o acaso, embora confusões específicas tenham sido observadas (por exemplo, o Gemini 3 confundindo música chinesa e japonesa).
  • Falha no Compasso: Um resultado negativo notável foi observado para a identificação de compasso. Os modelos não apresentaram desempenho melhor com áudio correto do que com áudio aleatório, frequentemente recorrendo ao compasso mais comum (4/4) independentemente da entrada. Isso sugere que os LALMs atuais não podem inferir com fiabilidade o metro a partir do áudio.
• Sensibilidade ao Prompt: LALMs mais antigos (por exemplo, LTU-AS, MU-LLaMA) mostraram alta sensibilidade à formulação do prompt e lutaram significativamente com "Prompts de Lista", frequentemente emitindo todos os rótulos candidatos em vez de selecionar um. Modelos mais novos com bases linguísticas mais fortes (por exemplo, Gemini 3, Qwen3-Omni) foram mais robustos a variações de prompt.
• Robustez do Analisador: A escolha do LLM analisador (GPT-4.1-mini versus Gemini 3) teve um impacto negligenciável nas pontuações F1 finais, confirmando a estabilidade do quadro de avaliação.

Significado e Alegações

O artigo afirma fornecer uma nova abordagem rigorosa para avaliar LALMs que vai além da similaridade textual superficial para avaliar a correção factual.

• Diagnóstico: Os autores demonstram que o protocolo predominante de legendagem de forma livre é inadequado para avaliar a compreensão musical, pois falha em isolar o comportamento fundamentado em áudio da fluência linguística.
• Solução: O protocolo de QA factual proposto, utilizando análise estruturada e métricas baseadas em conjuntos (Precisão/Revocação/F1), oferece um benchmark granular, interpretável e reprodutível.
• Contribuição: Ao liberar um conjunto de scripts de avaliação e benchmarks em três conjuntos de dados diversos, os autores estabelecem uma base para rastrear o progresso no desenvolvimento de LALMs. Eles posicionam este protocolo não como uma medida exaustiva de todas as capacidades dos LALMs, mas como uma janela concreta e verificável para tarefas específicas de compreensão factual de música.

O trabalho conclui que, embora alguns LALMs mostrem promessa no reconhecimento de instrumentos e gêneros, lacunas significativas permanecem em áreas como identificação de compositores e inferência de compasso, destacando a necessidade de maior desenvolvimento no raciocínio fundamentado em áudio.