Resumo Técnico: PitchBench

Declaração do Problema

Modelos de linguagem-audio (ALMs) estão sendo cada vez mais implantados em aplicações do mundo real que exigem compreensão musical, como tutoria, transcrição e sistemas de recomendação. Embora modelos de ponta tenham demonstrado proficiência em tarefas semânticas de alto nível (por exemplo, classificação de gênero, identificação de instrumentos), sua capacidade de realizar percepção musical confiável e de alta granularidade permanece não verificada. Especificamente, a audição de altura — a capacidade de resolver a frequência fundamental de um som — é um pré-requisito para reconhecimento de melodia, análise de harmonia e transcrição.

Os benchmarks existentes falham em avaliar adequadamente essa capacidade por três razões principais:

1. Medição Indireta: Trabalhos anteriores avaliam a audição de altura apenas por meio de tarefas de nível superior (por exemplo, reconhecimento de acordes ou extração de melodia), confundindo a capacidade de perceber a altura com a capacidade de realizar raciocínio complexo.
2. Falhas Metodológicas: Muitas avaliações dependem de formatos de múltipla escolha, que permitem que os modelos tenham sucesso por meio de palpites informados ou explorando distratores textuais em vez de percepção auditiva genuína.
3. Falta de Granularidade: Os benchmarks atuais não isolam variáveis perceptivas específicas (por exemplo, duração da nota, ruído acústico, fonte sonora ou formato de notação), deixando uma lacuna na compreensão do porquê os modelos falham.

Consequentemente, permanece incerto se os ALMs possuem uma percepção de altura estável e fundamentada perceptualmente ou se meramente alucinam estruturas musicais baseadas em priores dos dados de treinamento.

Metodologia: PitchBench

Para abordar essas lacunas, os autores introduzem o PitchBench, uma suíte de avaliação sistemática composta por 28 experimentos projetados para decompor a percepção de altura em componentes controlados, atômicos e contextuais.

Design Experimental

O PitchBench avalia os ALMs em três níveis hierárquicos de dificuldade:

• Nível 1: Percepção de Altura Atômica: Os modelos identificam alturas únicas em isolamento. Isso isola a identificação fundamental de frequência através de variações em volume e duração da nota.
• Nível 2: Percepção de Altura Contextual: Os modelos identificam a altura dentro de contextos temporais, estruturais ou acústicos. Isso inclui:
  • Localização Temporal: Identificar a altura em carimbos de tempo específicos ou dentro de silêncio.
  • Estrutura Sequencial: Determinar intervalos, contorno, classificação e contagem em sequências de notas.
  • Estrutura Acórdica: Identificar alturas e relações dentro de díadas e acordes.
  • Variações Acústicas: Testar robustez contra efeitos (reverberação, distorção), ruído de fundo, estiramento temporal, vibrato e desafinação.
• Nível 3: Percepção de Altura Melódica: Os modelos rastreiam uma linha melódica específica dentro de texturas polifônicas, testando especificamente a separação de vozes em coral de Bach de quatro partes.

Geração de Estímulos e Dados

• Geração Sintética: Todos os estímulos são gerados deterministicamente usando pitchbench.generation, um pacote Python lançado com o benchmark. Isso garante que a verdade fundamental seja conhecida por construção (nenhuma anotação manual requerida) e permite escalonamento arbitrário através de parâmetros.
• Fontes Sonoras: O conjunto de dados abrange 19 timbres, incluindo quatro formas de onda analíticas (seno, dente de serra, quadrada, triangular) e 15 instrumentos General MIDI (piano, violino, flauta, etc.).
• Condições Acústicas: Os estímulos são processados com Pedalboard para aplicar efeitos, saturação e estiramento temporal. O ruído de fundo inclui texturas sintéticas aditivas e gravações do mundo real.
• Formatos de Resposta: Para evitar viés em direção a convenções de treinamento específicas, os modelos são avaliados em quatro representações de altura equivalentes:
  • MIDI (0–127)
  • Notação de Altura Científica (SPN, por exemplo, F#4)
  • Solfejo Fixo-do (por exemplo, fa#)
  • Frequência em Hertz (Hz)

O benchmark compreende 17.667 tuplas pergunta-áudio-resposta.

Contribuições Principais

1. Uma Suíte de Avaliação Hierárquica: O PitchBench fornece a primeira decomposição estruturada da audição de altura em níveis atômicos, contextuais e melódicos, permitindo que pesquisadores diagnostiquem modos de falha específicos em vez de depender de pontuações agregadas.
2. Análise Empírica Sistemática: Os autores avaliaram seis ALMs de ponta (Gemini 3.1 Pro, Gemini 3 Flash, GPT-4o audio, Qwen-3.5 Omni Plus, Qwen-3.5 Omni Flash e Audio Flamingo Next Instruct). O estudo revela que a audição de altura é altamente não confiável nos sistemas atuais, com desempenho degradando-se drasticamente sob perturbações acústicas leves e variando conforme a fonte sonora e a notação.
3. Pipeline de Geração Aberto: O lançamento do pacote Python pitchbench permite a geração de estímulos reproduzível através de 19 fontes sonoras e todas as condições experimentais, facilitando trabalhos futuros em modelagem de linguagem-audio consciente de altura.

Resultados

A avaliação de seis modelos de ponta produziu as seguintes descobertas:

• Não Confiabilidade Geral: Nenhum modelo alcançou percepção de altura robusta. A precisão média entre todos os modelos foi baixa, com o modelo de melhor desempenho (Qwen-3.5 Omni Plus) alcançando apenas 47,7% de precisão média.
• Disparidades entre Modelos:
  • Qwen-3.5 Omni Plus dominou, particularmente em tarefas estruturadas (por exemplo, 96,2% em altura de referência, 88,5% em estiramento temporal). No entanto, lutou significativamente para desemaranhar alturas simultâneas (polifonia).
  • Qwen-3.5 Omni Flash espelhou o modelo Plus, mas com capacidade reduzida.
  • Gemini 3.1 Pro mostrou desempenho desigual, forte em contagem e tarefas de referência, mas próximo de zero em configurações pesadas em transformação (por exemplo, vibrato).
  • GPT-4o audio e Gemini 3 Flash performaram substancialmente pior, falhando em generalizar além de tarefas perceptivas básicas.
• Modos de Falha:
  • Polifonia: Todos os modelos falharam em rastrear linhas melódicas em texturas polifônicas (Nível 3), com pontuações de 0% na identificação de vozes em coral de Bach.
  • Robustez Acústica: O desempenho degradou-se significativamente sob durações curtas de nota (50ms), desafinação e ruído de fundo.
  • Viés de Notação: Os modelos exibiram fortes vieses em direção a notações específicas. Por exemplo, o GPT-4o mostrou preferência por notas naturais (A4) sobre acidentes, sugerindo dependência de priores de treinamento textual em vez de resolução auditiva.
  • Inflação de Múltipla Escolha: Reformular tarefas como perguntas de múltipla escolha (MCQ) inflou artificialmente o desempenho de modelos mais fracos (por exemplo, o Gemini 3.1 Pro ganhou +38,7 pontos percentuais), confirmando que a avaliação aberta é necessária para medir percepção genuína.
  • Altura Relativa vs. Absoluta: Fornecer um tom de referência (altura relativa) melhorou substancialmente o desempenho da maioria dos modelos, sugerindo que eles podem codificar informações relacionais melhor do que categorias de altura absoluta.

Significado e Alegações

O artigo postula que a percepção musical confiável é um pré-requisito crítico para a implantação de ALMs em aplicações relacionadas à música. Os autores afirmam que os modelos atuais não podem ser confiados para raciocinar sobre, ensinar ou transcrever áudio no mundo real porque carecem de percepção de altura estável, mesmo para estímulos sintéticos controlados.

O PitchBench serve como uma ferramenta de diagnóstico em vez de uma mera tabela de classificação. Ao isolar componentes perceptivos específicos, revela que o sucesso de alto nível em tarefas musicais não implica competência perceptiva subjacente. Os autores concluem que, embora os ALMs tenham feito progresso rápido na compreensão geral de áudio, eles ainda não desenvolveram a "ouvido absoluto" necessária para uma cognição musical robusta. O benchmark preenche a lacuna entre a avaliação ampla de modelos de linguagem-audio e a análise rigorosa centrada em altura tradicionalmente encontrada na Recuperação de Informação Musical (MIR).