Robustness assessment of large audio language models in multiple-choice evaluation

Resumo Técnico: Avaliação de Robustez de Grandes Modelos de Linguagem de Áudio em Avaliações de Múltipla Escolha

Declaração do Problema

A avaliação de Grandes Modelos de Linguagem de Áudio (LALMs) depende fortemente de benchmarks de Resposta de Múltipla Escolha (MCQA). No entanto, os protocolos de avaliação atuais são frágeis. Variações linguísticas sutis — como o reordenamento das opções de resposta, o parafraseamento de perguntas ou a reformulação de opções — podem gerar métricas de desempenho substancialmente diferentes. Além disso, os benchmarks existentes frequentemente contêm "pistas linguísticas" que permitem aos modelos inferir respostas corretas baseando-se apenas em priors textuais, sem processar o sinal de áudio. Os frameworks atuais tipicamente reportam um único índice de acurácia, mascarando essas instabilidades e potencialmente confundindo a compreensão genuína de áudio com o viés de linguagem. Este artigo argumenta que, se a acurácia não captura a capacidade real do modelo, os progressos reportados podem ser artefatos da fragilidade da avaliação, e não avanços reais.

Metodologia

Os autores propõem um framework de avaliação sistemática para avaliar a robustez dos LALMs contra perturbações linguísticas, mantendo o sinal de áudio constante. O estudo abrange três benchmarks (MMAU, MMAR, MMSU) e quatro modelos: Audio Flamingo 2, Audio Flamingo 3, Qwen2.5-Omni-7B-Instruct e Kimi-Audio-7B-Instruct.

Estratégia de Perturbação

A metodologia envolve a modificação da entrada de texto (perguntas e opções) enquanto preserva o áudio original. As perturbações são aplicadas individualmente e em combinação:

1. Ordenação de Escolhas: Todas as 24 permutações possíveis das quatro opções de resposta são avaliadas.
2. Parafraseamento: Perguntas, respostas corretas e distratores são parafraseados usando gemini-2.5-flash e gemma-3-12b-it. Isso gera seis variações por elemento mais o original, resultando em sete versões distintas. A validação manual confirmou que o significado semântico foi preservado.
3. Perturbações Mistas: Uma abordagem probabilística (probabilidade de 0,5 por modificação) é usada para combinar todos os tipos de perturbação, criando um cenário prático para capturar a sensibilidade cumulativa.

Métricas de Avaliação

Além da acurácia média padrão, o estudo introduz duas métricas específicas para quantificar a robustez:

• Taxa de Consistência (CR - Consistency Rate): Mede o acordo entre múltiplas respostas para a mesma pergunta sob diferentes perturbações (aplicável quando a verdade fundamental permanece inalterada).
• Taxa de Correção (CoR - Correctness Rate): Uma métrica mais rigorosa que conta uma questão como correta apenas se o modelo a responder corretamente sob todas as perturbações avaliadas. Isso captura a confiabilidade do modelo em condições variadas.

Controles

Para isolar o viés de linguagem, os autores avaliam modelos de linguagem de texto (LLMs) puramente textuais nos mesmos benchmarks (fornecendo perguntas e opções, mas sem áudio). Isso estabelece uma linha de base para o desempenho atribuível a priors textuais em vez da compreensão de áudio.

Resultados Principais

Viés de Linguagem e Desempenho Apenas de Texto

LLMs puramente textuais superam significativamente o acaso em todos os benchmarks. Notavelmente, o gemma-3-27B-it atinge 48,3% de acurácia no MMAU (22,6 pontos percentuais acima do acaso), superando vários modelos de áudio dedicados (ex: LTU-AS, SALMONN) em configurações apenas de texto. No MMAU e MMAR, modelos apenas de texto superam até mesmo o modelo de áudio Qwen-Audio-Chat, indicando que os benchmarks atuais contêm atalhos textuais exploráveis.

Sensibilidade a Perturbações

• Ordenação de Escolhas: Os modelos mostram sensibilidade moderada. Por exemplo, o Kimi-Audio-7B-Instruct exibe um desvio padrão de 2,7% na acurácia no MMAU devido a mudanças de ordenação.
• Parafraseamento de Perguntas: Resulta em variabilidade moderada, sugerindo que os modelos possuem alguma capacidade de lidar com mudanças semânticas no prompt.
• Parafraseamento da Resposta Correta: Causa maior variância na acurácia, particularmente para o Audio Flamingo 2 e Audio Flamingo 3.
• Parafraseamento de Distratores: Isto gera as quedas de desempenho mais significativas. O Audio Flamingo 2 mostra um desvio padrão de até 13,7% na acurácia no MMAU quando os distratores são parafraseados. A Taxa de Correção (CoR) cai drasticamente em todos os modelos sob esta condição (ex: o CoR do Audio Flamingo 2 no MMAU cai para 0,21).

Comparação de Modelos

• Audio Flamingo 3: Alcança a maior acurácia geral e permanece relativamente robusto à ordenação de escolhas e ao parafraseamento de perguntas.
• Qwen2.5-Omni-7B: Demonstra estabilidade superior contra o parafraseamento de distratores, alcançando o maior CoR entre os benchmarks nesta categoria.
• Kimi-Audio-7B-Instruct: Desempenha-se competitivamente no parafraseamento da resposta correta, mas é fortemente afetado pelo parafraseamento de distratores e por perturbações mistas.
• Audio Flamingo 2: Classifica-se consistentemente como o mais baixo, mostrando uma resiliência particularmente fraca ao parafraseamento de distratores.

Viés de Comprimento

O estudo identifica um viés para selecionar candidatos de resposta mais longos. Como o parafraseamento de opções tende a torná-las mais longas, os modelos frequentemente selecionam a opção mais longa. Por exemplo, o Audio Flamingo 2 selecionou a escolha mais longa 52,38% das vezes, subindo para 70,93% quando a escolha mais longa era de fato a correta. Isso sugere que os LALMs podem depender do comprimento da escolha como um atalho de seleção.

Significância e Contribuições

O artigo afirma abordar uma lacuna crítica na avaliação de LALMs ao demonstrar que as métricas padrão de MCQA são insuficientes para avaliar a verdadeira compreensão de áudio. As contribuições específicas são:

1. Quantificação do Viés de Linguagem: Estabelecer que modelos apenas de texto podem resolver uma parte significativa desses benchmarks, necessitando de controles apenas de texto para isolar capacidades genuínas de áudio.
2. Demonstração de Fragilidade: Provar que mudanças menores na ordenação ou redação das escolhas (especialmente distratores) causam grandes mudanças de desempenho, com desvios padrão de acurácia atingindo até 13,7%.
3. Identificação do Viés de Comprimento: Revelar uma tendência de os modelos preferirem candidatos de resposta mais longos, o que confunde a avaliação quando o parafraseamento altera o comprimento das opções.
4. Protocolo de Avaliação Proposto: Introduzir um cenário de "perturbação mista" pontuado via Taxa de Correção (CoR). Esta abordagem captura a sensibilidade do modelo a variações linguísticas com um custo computacional prático, oferecendo uma medida de robustez mais confiável do que a acurácia média sozinha.

Os autores concluem que o campo deve ir além dos relatórios de acurácia de número único. Ao adotar um framework que considere variações linguísticas e utilize linhas de base apenas de texto, pesquisadores podem melhor distinguir entre o verdadeiro raciocínio de áudio e os artefatos da fragilidade da avaliação.