XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

技術要約：学習不要なマルチモーダル大規模言語モデルを用いた、音声ディープフェイク検出のためのXAIに基づく説明生成

問題提起
音声ディープフェイク検出（SDD）システムは、現在、その決定に対して信頼性と解釈可能性のある説明を提供できるかという重大な課題に直面している。既存のアプローチは、従来のExplainable AI（XAI）技術（例：勾配ベースの属性付与）を利用しているが、これらの手法はモデル内部と密接に結びついた低レベルの信号（サリエンシーマップなど）を生成するため、人間にとって解釈が困難である。一方で、大規模言語モデル（LLM）によって生成される説明は、ヒューリスティックな証拠やタスク固有の監督が欠如しているため、一般的で根拠がなく、ハルシネーション（幻覚）を起こしやすい傾向がある。さらに、SDDの説明に特化した専用データセットが存在せず、現在のLLMベースのパイプラインには、その出力の忠実性を検証するための原理的なメカニズムが欠けている。

手法：XAIに基づく説明生成（XGEG）
著者らは、XAIの証拠とマルチモーダル大規模言語モデル（MLLM）を統合し、根拠に基づいた具体的かつ信頼性の高い説明を生成する、学習不要のフレームワークであるXGEGを提案している。パイプラインは以下のように動作する：

1. 基盤モデルとXAI証拠の生成： ファインチューニングを行うことなく、3つの学習済みSDDモデル（wav2vec 2.0、HuBERT、WavLMに基づく）を利用する。これらのモデルは、Integrated Gradients (IG)、Saliency、およびLIMEを用いて属性マップを生成する。さらに、軽量な学習済みMLP分類器を介して、openSMILE eGeMAPSv02セットから抽出された音響特徴量に対するSHAP由来の重要度スコアを算出する。
2. データフィルタリング： フレームワークはPartialSpoofデータセット上で動作する。信頼性を確保するため、4つのモデルすべて（3つの基盤モデル ＋ MLP）によって正しく分類されたサンプルのみを保持する。説明は偽造音声（spoofed samples）に対しては本質的に情報量が多いが、真正な音声（bona fide speech）に対する説明は情報価値が低いため、対象を厳格に偽造音声に限定している。
3. マルチモーダル統合：
   • 視覚的解釈： IG、LIME、およびSaliencyから得られたスペクトログラムベースのヒートマップをビジョンLLM（Qwen2.5-VL-7B）に入力し、時間および周波数範囲における異常領域を要約する。
   • テキスト合成： これらの時間・周波数要約を、SHAPから得られた上位ランクの音響特徴量と組み合わせ、マルチモーダルLLM（Qwen3-Omni-30B）への入力として提供する。
   • プロンプティング戦略： LLMに対し、XAIの証拠を決定的な結論ではなく、支持信号として扱うよう明示的に指示し、入力の音響内容を優先させる。モデルは、証拠を単に受動的に再現するのではなく、その証拠を批判的に分析するように促される。
4. 構造化出力： ハルシネーションを軽減するため、出力は（I）音声の異常（時間/周波数範囲）、（II）自由記述による説明、（III）XAIの集約（モデル間の合意状況を示す）を含む、定義済みの構造化フォーマットに制約される。

主な貢献

1. XAIに基づくフレームワーク： 本論文は、クロスモデルのXAI信号を集約し、忠実度駆動型の検証を用いてMLLMを導く、原理的なフレームワークを導入している。このアプローチにより、純粋なテキストベースの手法や単一モデルの属性付与手法と比較して、意味的に豊かで具体的な説明を実現し、ハルシネーションを低減させている。
2. データセットの構築： 著者らは、PartialSpoofに基づき、約65,000件の説明インスタンスを含む大規模な説明可能なSDDデータセットを構築し、公開した。このデータセットは、説明可能なSDD研究におけるリソースの欠如に対処するものである。
3. 学習不要の拡張性： 本手法は学習済みモデルと学習不要のパイプラインに依存しており、各タスクのために専用の検出器を再学習する必要なく、多様なデータセット生成設定における拡張性を確保している。

結果と評価
フレームワークは、定性的分析、人間による評価、および定量的指標を通じて評価された：

• 人間による評価： アノテーターは、正確性、証拠の支持、具体性、および全体的な好みを評価した。結果は、XAIによるガイド付きのバージョンが「Pure Audio」ベースラインを大幅に上回ったことを示した。特に、All XAI (Three Model) 設定は、最も高い全体的な好ましさ（平均選択率1.50）と高い具体性（4.30）を達成し、マルチソースのXAIガイダンスがハルシネーションを減少させ、詳細度を向上させることを実証した。
• 定量的ローカリゼーション：
  • Inside Accuracy (IA)： LIMEを用いた単一手法の設定が最高のIA（0.811）を達成し、過度な拡張を伴わずに異常な時間間隔を特定する優れた精度を示した。
  • Area-Normalised Local Logit Sensitivity： 破壊的なマスキングを行わずに忠実度をテストするために設計されたこの指標において、マルチモーダル手法はベースラインよりも影響力の大きい領域を特定している。All XAI (Single Model) 設定は、最高の感度密度（3.1466 × 10⁻⁶）を達成し、これはPure Audioベースラインに対して22.10倍の改善を表している。
• 真正音声の分析： システムは真正な音声に対してもテストされ、異常の不在を正当化する説明を生成することに成功したが、著者らは、これは偽造検出よりも困難な課題であると述べている。

意義と主張
本論文は、信頼できる責任あるSDDの結果を実現するためには、単なる二値分類を超えた、信頼性と解釈可能性のある説明の開発が不可欠であると主張している。低レベルのXAI信号と高レベルの自然言語推論の間の溝を埋めることで、提案されたフレームワークはディープフェイク検出システムの透明性と信頼性を高める。著者らは、彼らのアプローチが「Inside Accuracy」を45%以上向上させ（人間による評価と忠実度チェックを通じて検証済み）、説明可能なSDD研究をサポートするための基礎となるデータセットを提供すると断言している。本研究は、LLMは解釈性を提供するものの、基礎となる決定プロセスに対して忠実であり続けるためには、XAIによる構造的なサポートが必要であることを強調している。