Investigating Modality Contribution in Audio LLMs for Music

Résumé technique : Investigation de la contribution des modalités dans les LLM audio pour la musique

Énoncé du problème
Les grands modèles de langage audio (Audio LLM) sont conçus pour faciliter des conversations de type humain sur la musique en intégrant des informations audio dans les processus de raisonnement. Cependant, des récents benchmarks, tels que MuChoMusic, révèlent un paradoxe : bien que ces modèles atteignent une haute précision sur des questions à choix multiples, des expériences indirectes (par exemple, remplacer l'audio par du silence ou du bruit) suggèrent qu'ils ne « écoutent » pas véritablement. Au lieu de cela, ils pourraient reposer principalement sur un raisonnement textuel ou des connaissances préalables, un phénomène connu sous le nom de déséquilibre des modalités ou effondrement unimodal. Les méthodes d'évaluation actuelles reposant sur des métriques de précision sont insuffisantes car elles ne parviennent pas à distinguer les modèles qui utilisent correctement l'audio de ceux qui parviennent à des réponses correctes uniquement par le texte. Il existe un besoin critique d'une méthode agnostique à la performance pour quantifier la contribution spécifique de chaque modalité (audio contre texte) à la prédiction d'un modèle.

Méthodologie
Pour y remédier, les auteurs adaptent le cadre MultiModal-SHAP (MM-SHAP), initialement proposé pour les modèles vision-langage, au domaine des Audio LLM. La méthodologie centrale repose sur les valeurs de Shapley de la théorie des jeux coopératifs pour mesurer la contribution marginale des caractéristiques d'entrée à la sortie d'un modèle.

1. Perturbation des caractéristiques par masquage : L'étude emploie une stratégie de masquage pour approximer les valeurs de Shapley.
   • Audio : Des segments d'ondes sonores brutes sont mis à zéro. La taille de la fenêtre de masquage est ajustée dynamiquement en fonction du nombre de jetons textuels pour assurer un nombre de caractéristiques équilibré entre les modalités ($n_A \approx n_T$).
   • Texte : Des jetons spécifiques sont remplacés par le jeton [MASK]. Les jetons spéciaux (par exemple, indicateurs audio, marqueurs de question) sont conservés pour maintenir l'intégrité structurelle.
2. Calcul des scores : Contrairement aux tâches de classification où les probabilités sont mesurées, cette étude aborde des tâches de génération. Les auteurs identifient les jetons correspondant à la réponse générée par le modèle (par exemple, « Sonnette ») dans une exécution de référence sans masquage. Ils calculent ensuite la variation des logits pour ces jetons spécifiques lorsque des sous-ensembles de caractéristiques audio et textuelles sont masqués.
3. Métriques de contribution des modalités : L'étude agrège les valeurs absolues de Shapley pour toutes les caractéristiques audio ($\Phi_A$) et textuelles ($\Phi_T$). Pour permettre une comparaison directe, ils définissent des ratios normalisés :
   • A-SHAP : $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP : $1 - \text{A-SHAP}$
     Un modèle parfaitement équilibré produirait un A-SHAP de 0,5.

Configuration expérimentale
Les auteurs ont évalué deux Audio LLM de l'état de l'art sur le benchmark MuChoMusic :

• MU-LLaMA : Utilise MERT-v1-330M comme encodeur audio et LLaMA 2 7B comme modèle de langage.
• Qwen-Audio : Utilise Whisper-large-v2 comme encodeur audio et Qwen-7B comme LLM.

Les expériences ont été menées dans deux conditions : Choix multiples avec instructions précédentes (MC-PI) et Choix multiples sans instructions précédentes (MC-NPI). L'étude comprenait également une analyse qualitative de questions spécifiques nécessitant la localisation d'événements sonores uniques par opposition à la compréhension audio à long terme.

Résultats clés

• Relation inverse entre précision et utilisation de l'audio : Le modèle avec la précision la plus élevée (Qwen-Audio) s'est appuyé significativement moins sur la modalité audio (A-SHAP $\approx$ 0,21–0,23) par rapport au modèle moins précis (MU-LLaMA, A-SHAP $\approx$ 0,47–0,50). Cela indique qu'une performance supérieure sur MuChoMusic ne corrèle pas avec une utilisation équilibrée des modalités.
• Dominance du texte dans les choix multiples : Les deux modèles ont présenté un fort biais en faveur du texte, en particulier dans la configuration MC-PI, suggérant que le format à choix multiples permet aux modèles de résoudre des problèmes en utilisant un raisonnement textuel ou l'élimination de leurres plutôt qu'une analyse audio perceptive.
• L'audio n'est pas ignoré : Malgré des scores A-SHAP globaux faibles, l'inspection qualitative a révélé que les caractéristiques audio contribuent encore de manière significative. Pour les jetons correspondant aux événements sonores de vérité terrain (par exemple, « cloche »), des valeurs de Shapley positives s'alignaient sur les segments temporels spécifiques contenant ces sons. Cependant, l'ampleur des contributions audio était souvent inférieure à celle du texte, et dans certains cas, des activations fortes se produisaient dans des régions sans rapport avec la réponse correcte (par exemple, des notes de piano lorsque la réponse était une cloche).
• Dépendance à la tâche : Lorsque la tâche a été déplacée des choix multiples vers une description audio ouverte, l'A-SHAP pour Qwen-Audio a augmenté de manière significative (jusqu'à 0,73), démontrant que l'utilisation des modalités dépend fortement de la formulation de la tâche.

Importance et affirmations
L'article revendique être la première application de MM-SHAP aux Audio LLM. Sa contribution principale est de fournir un cadre quantitatif et agnostique à la performance pour examiner comment ces modèles utilisent l'audio par rapport au texte. Les auteurs soutiennent que leurs résultats remettent en question l'hypothèse selon laquelle les modèles multimodaux optimaux doivent utiliser toutes les modalités de manière égale ; un modèle peut atteindre une haute précision tout en s'appuyant fortement sur une seule modalité.

L'étude met en évidence un fossé entre « l'écoute » (traitement perceptif) et le « raisonnement » (inférence textuelle). Bien que les modèles n'ignorent pas totalement l'audio, les faibles scores de contribution dans les tâches à choix multiples suggèrent que les benchmarks actuels pourraient tester la capacité d'un LLM à éliminer les leurres plutôt que sa capacité à percevoir le son. Les auteurs concluent que MM-SHAP sert d'étape fondamentale pour l'IA explicable (XAI) dans le domaine audio, bien qu'ils reconnaissent des limitations concernant l'absence de vérité terrain pour des concepts musicaux complexes (mélodie, structure) et la sensibilité des résultats aux stratégies de masquage et aux tailles de fenêtres. Un travail futur est proposé pour étudier systématiquement comment l'information audio survit à l'intégration multimodale à travers différentes formulations de tâches.