Resumo Técnico: BASS - Avaliação de Modelos de Linguagem de Áudio para Estrutura Musical e Raciocínio Semântico

Declaração do Problema

Embora os modelos de linguagem (LMs) de áudio tenham avançado significativamente na compreensão de fala e sons ambientais, a música permanece um domínio particularmente desafiador devido à sua estrutura rica e em camadas, que envolve harmonia, ritmo, forma e relações temporais complexas. Os benchmarks existentes concentram-se amplamente em legendagem de música de curta duração, legendagem de letras ou domínios de áudio amplos que não são especializados em música. Consequentemente, as avaliações atuais falham em avaliar o raciocínio musical profundo em diversos contextos do mundo real, particularmente no que diz respeito ao entendimento estrutural de longo prazo e ao raciocínio hierárquico. Há uma falta de frameworks abrangentes para avaliar o quão bem os LMs de áudio podem raciocinar sobre segmentação estrutural, alinhamento de letras, atributos musicológicos e colaboração entre artistas em faixas de áudio estendidas.

Metodologia

Os autores introduzem o BASS (Benchmarking Audio LMs for Musical Structure and Semantic Reasoning), um benchmark projetado para avaliar a compreensão e o raciocínio musical em LMs de áudio.

Construção do Conjunto de Dados

• Escala: O BASS compreende 2.658 pares de pergunta-resposta abrangendo 12 tarefas distintas.
• Conteúdo: O conjunto de dados cobre 1.993 músicas únicas totalizando mais de 138 horas de áudio, extraídas do YouTube e verificadas manualmente quanto à precisão e fidelidade. A duração média do clipe é de 4,16 minutos, variando de aproximadamente 49 segundos a cerca de 19 minutos.
• Categorias: As tarefas são organizadas em quatro categorias amplas:
  1. Segmentação Estrutural: Inclui Segmentação Estrutural Completa (identificação de seções principais como Intro, Verso, Refrão) e Segmentação Estrutural de Seção (localização de tipos específicos de seção).
  2. Transcrição Estrutural de Letras: Requer a transcrição de letras alinhadas a seções estruturais específicas (variantes de Total e de Seção), utilizando o Genius Lyrics como referência.
  3. Análise Musicológica: Avalia a identificação e o raciocínio de atributos abstratos ("genes") derivados do Music Genome Project. As tarefas incluem Detecção de Gene Único, Detecção de Par de Genes, Atribuição de Gene e Classificação de Dominância de Gene.
  4. Colaboração de Artistas: Avalia a capacidade de identificar, atribuir e localizar temporalmente múltiplos vocalistas e seus papéis (principal vs. participação/featured) e estilos de entrega (canto vs. rap). As tarefas incluem Contagem de Artistas, Duração, Localização e Atribuição.

Configuração Experimental

• Modelos: O benchmark avalia 14 LMs multimodais de código aberto e de fronteira, incluindo Gemini 2.5 Pro/Flash, Qwen3-Omni, Step-Audio-R1, Music Flamingo, Audio Flamingo 3, entre outros.
• Estratégia de Avaliação:
  • Entrada: Os modelos recebem prompts de texto (instruções) e arquivos de áudio.
  • Saída: Geração de texto livre é usada para a maioria das tarefas para evitar adivinhação; formatos de múltipla escolha são usados para Análise Musicológica (com até 8 distratores).
  • Métricas:
    • Transcrição de Letras: Taxa de Erro de Palavra (WER), invertida e normalizada.
    • Segmentação Estrutural: Interseção sobre União (IoU).
    • Outras Tarefas: Precisão de Correspondência Exata (EMA), com uma tolerância de ±3 segundos para carimbos de tempo (timestamps) e durações.
  • Normalização: Para agregar métricas com diferentes direções ideais (minimizar WER vs. maximizar precisão), os autores normalizam as pontuações para uma escala de 0–100%, contabilizando as linhas de base de adivinhação aleatória.

Principais Resultados

A avaliação de 14 modelos revela limitações significativas nos atuais LMs de áudio em relação ao raciocínio musical complexo:

• Desempenho Geral: Mesmo os modelos de última geração enfrentam dificuldades, com o melhor modelo (Gemini-2.5 Pro) alcançando uma pontuação normalizada média de apenas 26,54%.
• Disparidades de Tarefa:
  • Melhor Desempenho: Os modelos performam melhor em Transcrição de Letras, onde podem alavancar vieses linguísticos.
  • Pior Desempenho: Os modelos performam pior em tarefas de Colaboração de Artistas, que exigem raciocínio temporal refinado e perfilamento de múltiplos artistas.
• Raciocínio Estrutural: Os modelos frequentemente confundem seções acusticamente semelhantes (ex: versos vs. refrões) e mostram declínio de desempenho na localização de conteúdo em seções posteriores da música (pontes, encerramentos) em comparação com as iniciais (introduções, primeiros versos).
• Atributos Musicológicos: Embora os modelos demonstrem competência na identificação de vocais e letras, eles têm dificuldade significativa com Ritmo e Sonoridade, indicando dificuldades em capturar nuances tímbricas e temporais sutis.
• Viés de Gênero: O desempenho varia por gênero, com os modelos geralmente performando melhor em Country e Rock, e pior em Pop e Hip Hop, sugerindo uma possível sub-representação desses gêneros nos dados de treinamento.
• Impacto do "Pensar": Habilitar o modo de raciocínio passo a passo ("thinking mode") no Qwen3-Omni melhorou significamente o desempenho em 6 de 12 tarefas, particularmente em Atribuição de Artista e Atribuição de Gene, embora tenha degradado o desempenho em Transcrição de Letra Completa.
• Separação de Fontes: Contrariando alguns trabalhos anteriores que sugerem que a separação de fontes (isolar vocais) auxilia o entendimento, os resultados do BASS indicam que o uso de stems vocais degrada o desempenho na maioria das tarefas em comparação com o áudio misturado, sugerindo que o áudio misturado contém informações mais ricas para o raciocínio estrutural e semântico.
• Memorização vs. Raciocínio: Quando fornecidos apenas com metadados (nome do artista e título da música) sem o áudio, os modelos surpreendentemente superaram as condições de áudio puro na transcrição de letras, indicando uma forte dependência de associações memorizadas entre artista e música em vez de raciocínio baseado em áudio.

Principais Contribuições

1. Benchmark BASS: A introdução de um benchmark abrangente projetado especificamente para avaliar o raciocínio musical estrutural e semântico em LMs de áudio, indo além da simples legendagem.
2. Diversidade de Tarefas: A definição de 12 tarefas em quatro categorias que exigem compreensão de estrutura de longo prazo, raciocínio hierárquico e localização temporal refinada.
3. Análise Empírica: Uma avaliação rigorosa de 14 modelos de fronteira e de código aberto, fornecendo um detalhamento de pontos fortes (transcrição de letras) e pontos fracos (segmentação estrutural, colaboração de artistas).
4. Investigação de Mecanismos de Raciocínio: Análise do impacto dos modos de "pensamento", separação de fontes e a dependência de metadados memorizados versus processamento de áudio.

Significância e Alegações

O artigo afirma que o BASS fornece um campo de teste desafiador que destaca as limitações atuais dos LMs de áudio na compreensão musical. Os autores afirmam que, embora os modelos aproveitem efetivamente os vieses linguísticos, eles permanecem limitados no raciocínio sobre estrutura musical, estilos vocais e perfis de múltiplos artistas.

A significância do BASS reside em seu potencial para:

• Guiar o desenvolvimento de futuros LMs de áudio ao identificar lacunas específicas na compreensão musical de longa duração.
• Apoiar aplicações em recomendação de música, busca e geração automática de metadados ao estabelecer uma linha de base para o que os modelos atuais podem e não podem alcançar.
• Oferecer um recurso público (dataset, código e framework de avaliação) para fomentar a pesquisa reprodutível em IA musical.

Os autores mantêm um tom modesto, reconhecendo que seu conjunto de dados é predominantemente em língua inglesa e que o desempenho dos modelos pode não se generalizar totalmente para contextos multilíngues ou multiculturais. Eles enfatizam que o benchmark é um passo para entender o estado atual da arte, em vez de uma solução definitiva para a compreensão musical.