技術要約: 音声劣化知覚のための MRMAD ベンチマーク

問題提起

大規模音声言語モデル（LALM）やオムニ言語モデル（OLM）は、音声、音楽、および一般的な音に対する意味理解、イベント認識、および高レベルの推論において著しい進歩を示しているが、低レベルの音声品質を感知し、それについて推論する能力については、依然として未開拓のままである。現実世界の音声は、背景ノイズ、残響、コーデック圧縮、パケット損失などの要因によって頻繁に劣化している。既存のベンチマークは主にコンテンツの理解や指示への追従を評価しているが、「LALMは音声品質の違いを理解しているのか？」という根本的な問いには答えていない。既存の評価手法は、劣化した信号をクリーンなリファレンスと比較したり、複数の入力間で深刻度をランク付けしたりするために必要な、マルチターン（多段階）かつマルチオーディオ（複数音声）の構造を欠いていることが多い。

手法: MRMAD ベンチマーク

このギャップを埋めるために、著者らは、LALMにおける音声劣化の知覚と品質理解を評価するために設計されたベンチマークである MRMAD（Multi-Round Multi-Audio Degradation）を導入する。

ベンチマークの設計

MRMAD は3つの音声ドメイン（音声、音楽、サウンド）を網羅し、9つの一般的な劣化タイプ（環境ノイズ、ローパス/ハイパス/バンドパス・フィルタリング、MP3圧縮、残響、エコー、ニューラルボコーダーによるアーティファクト、DSPデノイジングによるアーティファクト、およびパケット損失）をカバーしている。このベンチマークは、以下の3つの特定のタスクを中心に構成されている：

1. 劣化タイプの特定 (DTI): モデルはクリーンなリファレンスクリップと劣化したクリップを聴き、適用された特定の劣化タイプを特定する。
2. 劣化の深刻度の比較 (DSC): モデルは、同じ劣化タイプであるが深刻度が異なる2つの劣化したクリップを比較し、どちらがより深刻であるかを判断する。
3. 劣化の深刻度のランキング (DSR): モデルは、同じ劣化タイプの3つの劣化したクリップを、深刻度が低いものから高いものへと順位付けする。

データ構築

• ソースデータ: 知覚的に区別可能な劣化を保証するため、高品質なソースデータセット（例：VCTK, LibriSpeech, MUSDB18-HQ, FSD50K）を利用している。
• 劣化のシミュレーション: クリーンな音声は正規化された後、ドメイン固有のパラメータを用いて3つの深刻度レベル（可聴、中程度、強力）で劣化される。
• フォーマット: 本ベンチマークは マルチターン対話フォーマット を採用している。各ターンでは1つの音声クリップとテキストプロンプトが提示される。これにより、複数のクリップを単一の入力として結合することによる時間的な局在化の混乱を避け、会話のコンテキストを通じて比較を行うことが可能となる。
• 規模: 最終的なデータセットは、8,400問の多肢選択式問題（DTI、DSC、DSRで3:3:1の割合）で構成されている。

評価プロトコル

著者らは、以下の18の代表的なモデルを評価した：

• LALM: (例: SALMONN, Qwen2-Audio, Audio Flamingo 3)
• 大規模音声推論モデル (LARM): (例: Step-Audio-R1, Qwen3-Omni-Thinking)
• オムニ言語モデル (OLM): (例: Qwen2.5-Omni, Gemini 3 ファミリー)
• クローズドソースモデル: GPT-Audio-1.5 および各種 Gemini 3 バリアントを含む。

評価は、マルチラウンドの音声入力を受け取った後、正しい選択肢（A、B、C、またはD）を選択する出力ベースの多肢選択プロトコルに従う。

主な結果

系統的な評価により、現在のモデルにおける劣化を考慮した聴覚知覚に関する実質的な限界が明らかになった：

1. 全般的な性能ギャップ: ほとんどのオープンソースモデルは、ランダムな推測をわずかに上回る程度の性能しか示さなかった。DTI および DSR タスクにおいて、多くのモデルは 25% のベースライン付近を彷徨っており、DSC（二者択一）においても 50% 付近にとどまっている。これは、一般的な音声理解が進展しているにもかかわらず、低レベルの劣化の手がかりを捉えられていないことを示している。
2. クローズドソースモデルの優位性: クローズドソースモデル、特に Gemini 3 ファミリー が大きくリードしている。Gemini 3.1 Pro は、すべてのタスクにおいて最高の成績を収めた（DTI で 86.22%、DSC で 90.81%、DSR で 64.25%）。しかし、GPT-Audio-1.5 のような強力なクローズドソースモデルであっても、特定のタスク（例：DSC）では低い性能を示しており、展開規模の大きさだけでは堅牢な劣化知覚が保証されないことを示唆している。
3. 推論型 vs 非推論型: 明示的な推論メカニズム（例：「Thinking」バリアント）の導入は、混合した結果をもたらした。Qwen3-Omni-Thinking は非推論型の対応モデルを上回ったが、他の推論モデル（例：Audio Flamingo Next-Think）はベースバージョンよりも性能が低下した。これは、推論だけでは微細な音響表現の欠如を補うことはできないことを示唆している。
4. 劣化への感受性: パフォーマンスは劣化タイプによって大きく異なる。モデルは一般に、顕著な時間的手がかりを持つアーティファクト（例：パケット損失、ローパス・フィルタリング）については良好な性能を示すが、微妙なスペクトル歪み（例：MP3圧縮、残響）に対しては苦戦する。

診断分析

著者らは、失敗モードを特定するために診断分析を行った：

• リファレンスの利用不足: クリーンなリファレンス音声をガウスノイズに置き換える、あるいは完全に削除しても、多くのモデルで性能の低下は最小限であった。これは、モデルが明示的なリファレンスと劣化音の比較を行っているのではなく、劣化したクリップ単体、あるいは言語的な事前知識に依存していることを示唆している。
• マルチターン・コンテキストの限界: ケースによっては、最初のターン（クリーンなリファレンス）を削除することで性能が向上または維持された。これは、現在のモデルがターンをまたいで音声のエビデンスを保持・比較することに苦労しており、マルチターン・コンテキストがメモリの負担や不整合を引き起こしている可能性を示している。
• 表現のボトルネック: プロジェクションされた音声シーケンスのトークンレベルの分析により、一部のモデル（例：SALMONN）は、クリーンな音声と劣化した音声のトークン間の類似性を高く維持していることが判明した。これは、音声エンコーダーが低レベルの品質劣化に対して不変であることを示唆している。この、言語モデルに到達する前の劣化の手がかりの減衰が、推論に利用できるエビデンスを制限している。

意義と主張

本論文は、MRMAD が将来の LALM を構築するための診断的な基礎を提供すると主張している。その主な貢献は以下の通りである：

1. 初の統合ベンチマーク: 既存のセマンティクス（意味論）に焦点を当てた評価を補完する、LALM における音声品質の知覚と理解を明示的に対象とした初の統合ベンチマークである。
2. 決定的なギャップの露呈: 現在の高度な推論モデルやオムニモデルであっても、音声品質に関する信頼できる微細な知覚および比較能力が欠けていることを浮き彫りにした。
3. 失敗モードの特定: 音声劣化の理解は、高レベルの推論だけに還元できるものではなく、劣化に敏感な音声表現と効果的なターンをまたぐグラウンディング（接地）が必要であることを示した。

著者らは、MRMAD はこれらの限界を特定するものであるが、新しい学習手法やアーキテクチャの解決策を提案するものではないとし、堅牢な劣化知覚が可能なモデルの開発を今後の研究課題として残している。