ParaPairAudioBench: Paralinguistic Pairwise Audio Benchmark for LALM-as-a-Judge

Resumo Técnico: PARAPAIRAUDIOBENCH

Definição do Problema
Embora os Modelos de Linguagem e Áudio de Grande Escala (LALMs) tenham se tornado ferramentas padrão para a avaliação automática de fala gerada, as metodologias atuais concentram-se predominantemente na naturalidade holística. Essa abordagem deixa subexploradas as distinções paralinguísticas finas — como taxa de fala, ênfase, estilo, idade e gênero. Os frameworks de avaliação existentes têm dificuldade em determinar se a fala sintetizada adere com precisão a pistas paralinguísticas específicas e pretendidas. Além disso, a confiabilidade dos LALMs atuando como "juízes" em configurações pareadas controladas, particularmente em relação à sua capacidade de se absterem de tomar uma decisão quando as amostras são indistinguíveis (calibração) e sua dependência de pistas lexicais versus acústicas, permanece amplamente não investigada.

Metodologia
Para abordar essas lacunas, os autores introduzem o PARAPAIRAUDIOBENCH, um benchmark de diagnóstico pareado composto por 5.175 pares de áudio. O benchmark é projetado para avaliar sistemas de LALM-como-Juiz através de cinco dimensões paralinguísticas distintas:

1. Estilo: Atributos expressivos (ex: sussurro, felicidade).
2. Taxa (Rate): Ritmo temporal global.
3. Ênfase: Proeminência prosódica localizada ao nível da palavra.
4. Idade: Características de idade do falante.
5. Gênero: Características de gênero do falante.

O conjunto de dados é construído a partir de corpora públicos validados (Expresso, Sonos Voice Control, LibriTTS, EARS) e adere a princípios de design rigorosos:

• Formato Pareado: Cada instância apresenta dois exemplos de áudio (A e B) com uma instrução. O juiz deve selecionar A, B ou [[Tie]] (indicando um empate ou indistinguibilidade).
• Condições de Empate (Tie): O benchmark inclui explicitamente casos de "Empate" (onde ambos os exemplos são igualmente bons ou igualmente ruins) para testar a calibração. Para Ênfase, os empates são restritos a instâncias de "Ambos Ruins" devido à dificuldade de verificar perfis de estresse perceptualmente idênticos sem anotação de nível de quadro (frame-level). A Taxa exclui empates inteiramente devido a variações rítmicas naturais.
• Controle de Transcrição: Para isolar a dependência acústica da textual, os pares são equilibrados entre condições de Mesma-Transcrição (texto idêntico) e Transcrição-Cruzada (texto diferente).
• Verificações de Robustez: Para medir o viés de posição, cada par é avaliado duas vezes com a inversão da ordem de entrada (Áudio A primeiro vs. Áudio B primeiro).

O estudo avalia cinco LALMs representativos (Gemini 2.5 Flash, GPT-4o Audio, SpeechJudge-7B, Kimi-Audio-7B, Qwen2.5-Omni-7B) contra avaliadores humanos.

Resultos Principais
Os experimentos revelam limitações significativas nos juízes LALM atuais em comparação com o desempenho humano:

• Lacuna de Desempenho: Mesmo o modelo mais forte, Gemini 2.5 Flash, fica atrás do julgamento humano em uma média de 17,7 pontos percentuais. Em todos os modelos, a lacuna média em relação ao desempenho humano é de 30 pontos percentuais.
• Falha de Calibração: Os modelos exibem uma falha severa em cenários de "Empate". Em vez de se absterem quando os exemplos são indistinguíveis, os modelos frequentemente forçam uma preferência. Por exemplo, enquanto humanos alcançam mais de 75% de precisão na identificação de empates para Ênfase, Estilo e Gênero, os modelos frequentemente caem para menos de 20% de precisão nessas mesmas categorias. O SpeechJudge-7B mostra o colapso mais extremo, com precisão de empate tão baixa quanto 1,6–1,7%.
• Fraquezas Específicas de Critério:
  • Os modelos performam relativamente bem em Taxa (uma pista global), mas lutam com Ênfase (uma pista localizada).
  • A estimativa de Idade é inerentemente difícil até mesmo para humanos (baixa concordância entre avaliadores), embora alguns modelos excedam ligeiramente o desempenho humano em casos de não-empate, eles falham em calibrar corretamente em casos ambíguos.
• Dependência Lexical vs. Acústica: Uma análise controlada por transcrição revela uma dependência assimétrica de modalidade:
  • Estilo: Os modelos dependem fortemente do conteúdo lexical. O desempenho cai significamente (ex: Gemini 2.5 Flash cai de 83,8% para 36,6%) quando as transcrições diferem, indicando que utilizam pistas textuais em vez de prosódia acústica para o julgamento de estilo.
  • Ênfase: A tendência se inverte; os modelos performam melhor com pares de transcrição cruzada. Isso sugere que o arcabouço prosódico global em diferentes sentenças ajuda a compensar a fraca sensibilidade local à ênfase de nível de palavra dentro de enunciados idênticos.
• Viés de Posição: Todos os modelos avaliados exibem viés de posição sistemático. O SpeechJudge mostra o maior viés (lacuna de 29,4% entre Acc@A e Acc@B), favorecendo consistentemente a segunda posição, enquanto o Qwen2.5-Omni favorece a primeira.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Avaliação Multidimensional de Diagnóstico: Ao decompor o julgamento paralinguístico em cinco critérios, o benchmark revela que os modelos se destacam em pistas distribuídas globalmente (Taxa), mas falham em proeminência prosódica localizada (Ênfase), uma distinção invisível para pontuações de naturalidade agregadas.
2. Avaliação de Calibração e Robustez: A inclusão de condições explícitas de Empate e trocas de ordem expõe falhas sistemáticas de calibração e vieses de posição (até 29,4%p) que são críticos para o uso de LALMs como juízes confiáveis.
3. Análise de Dependência Consciente de Modalidade: O benchmark demonstra que os LALMs atuais frequentemente dependem excessivamente de pistas textuais para certos atributos (Estilo) enquanto subutilizam o contexto acústico para outros (Ênfase), destacando a necessidade de protocolos de avaliação que controlem o pareamento de transcrição.

Conclusão
O PARAPAIRAUDIOBENCH serve como uma ferramenta de diagnóstico controlada para avaliar a confiabilidade de sistemas LALM-como-Juiz. Os autores concluem que, embora os LALMs mostrem potencial, eles atualmente carecem da sensibilidade perceptiva fina e da calibração necessárias para uma avaliação paralinguística robusta. O benchmark prioriza contrastes diagnósticos confiáveis em vez de cobertura exaustiva, fornecendo uma base para trabalhos futuros sobre mitigação de viés e melhoria da calibração em pipelines de avaliação de áudio.