技術要約: IndicContextEval

問題提起

Audio LLM（音声大規模言語モデル）は、ドメイン記述やエンティティ・リストといった自由形式のテキストプロンプトに基づいた音声認識を実行する能力を導入しました。これは、文脈依存型の自動音声認識（ASR）のための柔軟なインターフェースを提供しますが、決定的な不確実性が残っています。それは、これらのモデルが提供された文脈を、音響的な曖昧さを解消するために真に利用しているのか、それとも事前学習で獲得したパラメトリックな知識に主に依存しているのかという点です。

既存のベンチマークは、この問いに対処できていません。大規模な多言語コーパス（例：IndicVoices、CommonVoice）は、文脈入力の変化なしに固定されたプロンプティング条件下での文字起こしを評価しています。一方、文脈依存型ASRのために設計されたベンチマーク（例：ProfASR、ContextASR）は、主に英語中心であり、合成音声に依存しており、通常は単一のモードの文脈（例：固有名詞リスト）のみをテストしています。その結果、真の文脈的接地（grounding）とパラメトリックな記憶（memorization）を区別したり、特定の種類の文脈が文字起こしの挙動にどのように影響するかを分析したりするための体系的な手法が存在しません。

手法: IndicContextEval ベンチマーク

これらのギャップに対処するため、著者らは、Audio LLMにおける文脈利用の制御された評価のために設計された多言語ベンチマークである IndicContextEval を導入します。

データセットの構築

• 規模と多様性: このベンチマークは、8つのインド言語（ヒンディー語、ベンガル語、テルグ語、マラーティー語、グジャラート語、マラヤーラム語、オリヤー語、ウルドゥー語）および23の専門ドメイン（コアエンジニアリングや医学から、法医学や芸術に至るまで）にわたる、555人の話者による55.93時間の自然音声で構成されています。
• 録音スタイル: データには、朗読音声（英語から翻訳された精選されたドメイン語彙リストを使用）と、即興音声（参加者が技術的概念について自然なナラティブ形式で議論するもの）の両方が含まれます。
• 品質管理: すべての録音は、ネイティブスピーカーとドメインエキスパートによる多段階の検証を経ており、参照となる文字起こしは、コード混合セグメントを保持したまま、ネイティブのスクリプトで逐語的に作成され、英語のエンティティは翻字され括弧内に提供されています。

制御されたプロンプト・タクソノミー (L0–L6)

核心となる革新は、他の要因を一定に保ちながら、正確に一つの追加の文脈信号を導入する7段階のプロンプティング・フレームワークです。この設計により、性能の変化を特定の文脈タイプに帰属させることが可能になります。

• L0: 文脈なし（素の文字起こし指示）。
• L1: 言語のみ（対象言語を指定）。
• L2: 言語 + 構造化されたドメイン・メタデータ（音声スタイル、地域、ドメイン記述）。
• L3: 言語 + 自然言語による音声記述（トピックおよび議論のタイプ）。
• L4: 言語 + 英語によるエンティティ・リスト（20〜30個のドメインエンティティ）。
• L5: 言語 + ネイティブスクリプトによるエンティティ・リスト（プロンプトと出力スクリプトを一致させる）。
• L6: 敵対的プロンプト（無関係なドメインのエンティティ・リストをネイティブスクリプトで提供）。

実験設定

研究では5つのモデルを評価しました：

1. IndicConformer: スタンドアロンのASRベースライン（L1のみで評価）。
2. GPT-4o Transcribe, Gemini 3 Flash, Sarvam Audio: 商用Audio LLM。
3. Gemma-3N: オープンウェイトのAudio LLM。

評価指標には、単語誤り率 (WER) と 固有名詞誤り率 (NEER) が含まれ、エンティティ・バイアスを測定するために、NEERが各文脈レベルでどのように変化するかに焦点を当てました。

主な結果

1. ベースライン性能と言語識別

L1（言語指定）において、Sarvam Audio が最も低いWER（16.86%）を達成し、次いで Gemini 3 Flash（18.90%）となりました。GPT-4o Transcribe と Gemma-3N は、著しく高いエラー率を示しました。L0からL1への遷移において、大幅な「言語識別税」が明らかになり、特に Gemma-3N では、言語を明示的に指定することで 12.48 WER ポイント改善しましたが、これは音響情報のみから正しいスクリプトを推論することの困難さを示しています。

2. 文脈タイプのインパクト

• 自然言語 vs メタデータ: 自然言語による音声記述（L3）は、構造化されたメタデータプロンプト（L2）よりも一貫して優れた性能を示しました。例えば、GPT-4o Transcribe は、L2 の 0.24 に対し、L3 では 2.53 WER ポイント改善しました。Gemma-3N はプロンプト形式に対して極端な感受性を示し、構造化されたメタデータによって性能が著しく低下しました（+13.47 WER）。
• スクリプトの整合性: エンティティ・リストをネイティブスクリプトで提供すること（L5）は、すべてのモデルにおいて NEER の最大の改善をもたらしました。英語スクリプトのエンティティ（L4）とネイティブスクリプトのエンティティ（L5）の差は最大 11 WER ポイントに達し、「スクリプトの不一致コスト」が相当程度存在することを裏付けました。
• 敵対的堅牢性 (L6):
  • GPT-4o Transcribe は、バランスの取れた利用を示しました。正しいエンティティ（L5）からは恩恵を受ける一方で、誤ったエンティティ（L6 $\approx$ L1）に対しても堅牢であり、プロンプトを音響的証拠に対してクロスバリデーションしていることが示唆されました。
  • Gemini 3 Flash は、敵対的プロンプトに対して中程度の感受性を示し、真の文脈利用を示唆しました。
  • Gemma-3N は、敵対的エンティティによって大きく劣化しました（+9.22 WER）。これは、周囲の文字起こしをしばしば破壊してしまう「盲目的な依存」を示しています。
  • Sarvam Audio は、敵対的プロンプトの影響をほとんど受けず、文字起こしがテキストの文脈による影響を限定的に受け、主に音響エンコーダーによって駆動されていることを示唆しました。

3. 文脈的接地能力

結果は、モデルが文脈を利用する方法における大幅な異質性を浮き彫りにしています。ネイティブスクリプトのエンティティ・バイアスは最も強力な改善をもたらしましたが、一部のモデル（Sarvam Audio など）は文脈レベル間でほとんど変化が見られず、テキストプロンプトをほぼ無視していることが示唆されました。逆に、他のモデル（Gemma-3N など）は、不安定になるほどプロンプトに依存していました。注目すべきは、L5 において、最高の性能を持つ Audio LLM である Gemini 3 Flash が、WER と NEER の両方でスタンドアロンの ASR ベースライン（IndicConformer）を上回ったことです。

意義と主張

本論文は、IndicContextEval が、複数の Indic 言語および専門ドメインにわたって、他の要因を一定に保ちながら文脈タイプを体系的に変化させた最初のベンチマークであると主張しています。その主な意義は以下の通りです：

1. 相違する挙動の解明: 音声 LLM が、あるモデルは信号を効果的に活用し、あるモデルは無視し、またあるモデルは不安定に反応するなど、文脈への接地能力において大きく異なることを明らかにしました。
2. メカニズムの区別: 制御されたタクソノミーにより、研究者は真の文脈的接地とパラメトリックな記憶を区別することが可能になります。これは既存のベンチマークでは不可能なことです。
3. オープンな課題の提示: 柔軟なプロンプティング・インターフェースにもかかわらず、論文は文脈的接地は Audio LLM における未解決の課題であると結論付けています。これらの知見は、現在のモデルが文脈信号を一様に、あるいは信頼性を持って統合しているわけではないことを示唆しており、重要なアプリケーションへの展開前に、これらの能力を明示的に評価する必要があることを示しています。

著者らは、これらの知見が体系的な実験から導き出されたものであることを強調しており、将来の堅牢で文脈を考慮した音声認識の研究をサポートするために、ベンチマークのリソースを公開しています。