Investigating Modality Contribution in Audio LLMs for Music

Resumo Técnico: Investigando a Contribuição da Modalidade em LLMs de Áudio para Música

Declaração do Problema
Os Modelos de Linguagem de Grande Escala de Áudio (Audio LLMs) são projetados para facilitar conversas semelhantes às humanas sobre música, integrando informações de áudio nos processos de raciocínio. No entanto, benchmarks recentes, como o MuChoMusic, revelam um paradoxo: embora esses modelos alcancem alta precisão em questões de múltipla escolha, experimentos indiretos (por exemplo, substituir áudio por silêncio ou ruído) sugerem que eles podem não estar genuinamente "ouvindo". Em vez disso, podem depender predominantemente de raciocínio textual ou conhecimento prévio, um fenômeno conhecido como desequilíbrio de modalidades ou colapso unimodal. Os métodos de avaliação atuais, baseados em métricas de precisão, são insuficientes porque não conseguem distinguir entre modelos que utilizam corretamente o áudio e aqueles que chegam a respostas corretas apenas por meio do texto. Há uma necessidade crítica de um método agnóstico em relação ao desempenho para quantificar a contribuição específica de cada modalidade (áudio versus texto) para a previsão de um modelo.

Metodologia
Para abordar isso, os autores adaptam o framework MultiModal-SHAP (MM-SHAP), originalmente proposto para modelos visão-linguagem, ao domínio dos Audio LLMs. A metodologia central baseia-se em valores de Shapley da teoria dos jogos cooperativos para medir a contribuição marginal das características de entrada para a saída de um modelo.

1. Perturbação de Características via Mascaramento: O estudo emprega uma estratégia de mascaramento para aproximar os valores de Shapley.
   • Áudio: Segmentos de forma de onda bruta são zerados. O tamanho da janela de mascaramento é ajustado dinamicamente com base no número de tokens de texto para garantir uma contagem equilibrada de características entre as modalidades ($n_A \approx n_T$).
   • Texto: Tokens específicos são substituídos pelo token [MASK]. Tokens especiais (por exemplo, indicadores de áudio, marcadores de pergunta) são preservados para manter a integridade estrutural.
2. Cálculo de Pontuação: Diferentemente de tarefas de classificação onde probabilidades são medidas, este estudo aborda tarefas de geração. Os autores identificam os tokens correspondentes à resposta gerada pelo modelo (por exemplo, "Campainha") em uma execução de base sem mascaramento. Em seguida, calculam a mudança nos logits para esses tokens específicos quando subconjuntos de características de áudio e texto são mascarados.
3. Métricas de Contribuição da Modalidade: O estudo agrega os valores absolutos de Shapley para todas as características de áudio ($\Phi_A$) e características de texto ($\Phi_T$). Para permitir comparação direta, definem-se razões normalizadas:
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     Um modelo perfeitamente equilibrado resultaria em um A-SHAP de 0,5.

Configuração Experimental
Os autores avaliaram dois Audio LLMs de última geração no benchmark MuChoMusic:

• MU-LLaMA: Utiliza MERT-v1-330M como codificador de áudio e LLaMA 2 7B como modelo de linguagem.
• Qwen-Audio: Utiliza Whisper-large-v2 como codificador de áudio e Qwen-7B como LLM.

Os experimentos foram conduzidos sob duas condições: Múltipla Escolha com Instruções Anteriores (MC-PI) e Múltipla Escolha sem Instruções Anteriores (MC-NPI). O estudo também incluiu uma análise qualitativa de perguntas específicas que exigiam a localização de eventos sonoros únicos versus compreensão de áudio de longo prazo.

Principais Resultados

• Relação Inversa entre Precisão e Uso de Áudio: O modelo com maior precisão (Qwen-Audio) dependeu significativamente menos da modalidade de áudio (A-SHAP $\approx$ 0,21–0,23) em comparação com o modelo menos preciso (MU-LLaMA, A-SHAP $\approx$ 0,47–0,50). Isso indica que um desempenho superior no MuChoMusic não correlaciona-se com o uso equilibrado de modalidades.
• Dominância do Texto em Múltipla Escolha: Ambos os modelos exibiram um forte viés em direção ao texto, particularmente na configuração MC-PI, sugerindo que o formato de múltipla escolha permite que os modelos resolvam problemas usando raciocínio textual ou eliminação de distratores, em vez de análise perceptiva de áudio.
• O Áudio Não é Ignorado: Apesar das baixas pontuações gerais de A-SHAP, a inspeção qualitativa revelou que as características de áudio ainda contribuem de forma significativa. Para tokens correspondentes a eventos sonoros de verdade (por exemplo, "campainha"), valores positivos de Shapley alinharam-se com os segmentos de tempo específicos contendo esses sons. No entanto, a magnitude das contribuições de áudio foi frequentemente menor que a do texto e, em alguns casos, ativações fortes ocorreram em regiões não relacionadas à resposta correta (por exemplo, notas de piano quando a resposta era uma campainha).
• Dependência da Tarefa: Quando a tarefa foi alterada de múltipla escolha para descrição de áudio em aberto, o A-SHAP para o Qwen-Audio aumentou significativamente (para 0,73), demonstrando que o uso da modalidade é altamente dependente da formulação da tarefa.

Significado e Alegações
O artigo afirma ser a primeira aplicação do MM-SHAP a Audio LLMs. Sua contribuição principal é fornecer um framework quantitativo e agnóstico em relação ao desempenho para inspecionar como esses modelos utilizam áudio versus texto. Os autores argumentam que suas descobertas desafiam a suposição de que modelos multimodais ótimos devem utilizar todas as modalidades igualmente; um modelo pode alcançar alta precisão enquanto depende fortemente de uma única modalidade.

O estudo destaca uma lacuna entre "ouvir" (processamento perceptivo) e "raciocinar" (inferência textual). Embora os modelos não estejam ignorando completamente o áudio, as baixas pontuações de contribuição em tarefas de múltipla escolha sugerem que os benchmarks atuais podem estar testando a capacidade de um LLM de eliminar distratores, em vez de sua capacidade de perceber sons. Os autores concluem que o MM-SHAP serve como um passo fundamental para a IA Explicável (XAI) em áudio, embora reconheçam limitações relacionadas à falta de verdade fundamental para conceitos musicais complexos (melodia, estrutura) e à sensibilidade dos resultados às estratégias de mascaramento e tamanhos de janela. Propõe-se trabalho futuro para estudar sistematicamente como a informação de áudio sobrevive à integração multimodal através de diferentes formulações de tarefa.