Investigating Modality Contribution in Audio LLMs for Music

技術的概要：音楽におけるオーディオ LLM のモダリティ寄与の調査

問題定義
オーディオ大規模言語モデル（オーディオ LLM）は、オーディオ情報を推論プロセスに統合することで、音楽に関する人間のような会話を促進するように設計されています。しかし、MuChoMusic などの最近のベンチマークは、あるパラドックスを明らかにしています。これらのモデルは多肢選択問題で高い精度を達成している一方で、オーディオを無音やノイズに置き換えるなどの間接的な実験は、モデルが真に「聴いている」わけではないことを示唆しています。むしろ、それらは主にテキスト推論や事前知識に依存している可能性があり、この現象はモダリティの偏りまたは単一モダリティの崩壊として知られています。精度指標に依存する現在の評価手法は、オーディオを正しく使用しているモデルと、テキストのみで正解に到達しているモデルを区別できないため、不十分です。モデルの予測に対する各モダリティ（オーディオ対テキスト）の具体的な寄与を定量化するための、性能に依存しない手法が緊急に必要とされています。

手法
これに対処するため、著者は視覚言語モデル向けに提案された MultiModal-SHAP（MM-SHAP）フレームワークをオーディオ LLM のドメインに適応させました。核心的な手法は、モデルの出力に対する入力特徴の限界寄与を測定するために、協力ゲーム理論からのシャープリー値に依存しています。

1. マスキングによる特徴量摂動: 本研究は、シャープリー値を近似するためにマスキング戦略を採用しています。
   • オーディオ: 生波形セグメントをゼロに設定します。マスキングウィンドウサイズは、モダリティ間のバランスの取れた特徴量数を確保するために、テキストトークンの数に基づいて動的に調整されます（$n_A \approx n_T$）。
   • テキスト: 特定のトークンを [MASK] トークンに置き換えます。構造的一貫性を維持するため、オーディオインジケーターや質問マーカーなどの特殊トークンは保持されます。
2. スコア計算: 確率が測定される分類タスクとは異なり、本研究は生成タスクに対処します。著者は、マスキングされていないベースライン実行において、モデルが生成した回答（例：「ドアベル」）に対応するトークンを特定します。その後、オーディオおよびテキスト特徴量のサブセットをマスキングした際に、これらの特定のトークンのロジットの変化を計算します。
3. モダリティ寄与指標: 本研究は、すべてのオーディオ特徴量（$\Phi_A$）およびテキスト特徴量（$\Phi_T$）の絶対シャープリー値を集約します。直接比較を可能にするため、正規化された比率を定義します。
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     完全にバランスの取れたモデルは、A-SHAP が 0.5 となるはずです。

実験設定
著者は、MuChoMusic ベンチマーク上で 2 つの最先端オーディオ LLM を評価しました。

• MU-LLaMA: オーディオエンコーダーとして MERT-v1-330M を、言語モデルとして LLaMA 2 7B を使用します。
• Qwen-Audio: オーディオエンコーダーとして Whisper-large-v2 を、LLM として Qwen-7B を使用します。

実験は、以前の指示を含む多肢選択（MC-PI）と、以前の指示を含まない多肢選択（MC-NPI）の 2 つの条件下で行われました。また、単一の音事象の局所化を必要とする特定の質問と、長期的なオーディオ理解を必要とする質問の定性的分析も含まれました。

主要な結果

• 精度とオーディオ使用の逆相関: 精度が高いモデル（Qwen-Audio）は、精度が低いモデル（MU-LLaMA、A-SHAP $\approx$ 0.47–0.50）と比較して、オーディオモダリティへの依存度が著しく低かった（A-SHAP $\approx$ 0.21–0.23）。これは、MuChoMusic における高い性能が、バランスの取れたモダリティ使用と相関していないことを示しています。
• 多肢選択におけるテキストの優位性: 両モデルとも、特に MC-PI 設定においてテキストへの強いバイアスを示しました。これは、多肢選択形式が、知覚的なオーディオ分析ではなく、テキスト推論や誤答の排除を用いて問題を解決することを可能にしていることを示唆しています。
• オーディオの無視ではない: 全体的な A-SHAP スコアが低いにもかかわらず、定性的な検査により、オーディオ特徴量が依然として意味のある貢献をしていることが明らかになりました。真の音事象（例：「ベル」）に対応するトークンに対して、正のシャープリー値は、それらの音を含む特定の時間セグメントと一致しました。しかし、オーディオ寄与の大きさはしばしばテキストよりも低く、場合によっては、正解（ベル）とは無関係な領域（例：ピアノの音符）で強い活性化が発生しました。
• タスク依存性: タスクが多肢選択からオープンエンドのオーディオ記述に変更されたとき、Qwen-Audio の A-SHAP は著しく増加しました（0.73 まで）。これは、モダリティの使用がタスクの定式化に強く依存していることを示しています。

意義と主張
本論文は、MM-SHAP をオーディオ LLM に適用した最初の事例であると主張しています。その主な貢献は、これらのモデルがオーディオ対テキストをどのように利用するかを検査するための、定量的かつ性能に依存しないフレームワークを提供することです。著者は、その発見が、最適なマルチモーダルモデルはすべてのモダリティを均等に利用しなければならないという仮定に挑戦すると論じています。モデルは単一モダリティに強く依存しながらも高い精度を達成し得るのです。

本研究は、「聴くこと」（知覚的処理）と「推論すること」（テキスト的推論）の間のギャップを浮き彫りにしています。モデルがオーディオを完全に無視しているわけではありませんが、多肢選択タスクにおける低い寄与スコアは、現在のベンチマークが音の知覚能力ではなく、誤答を排除する LLM の能力をテストしている可能性を示唆しています。著者は、MM-SHAP がオーディオにおける説明可能な AI（XAI）のための基礎的なステップとして機能すると結論付けていますが、複雑な音楽的概念（旋律、構造）に対する正解の欠如や、結果がマスキング戦略やウィンドウサイズに敏感であるという限界も認めています。今後の研究として、異なるタスク定式化におけるマルチモーダル統合を通じてオーディオ情報がどのように存続するかを体系的に調査することが提案されています。