Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German

ある特定の難しい状況、つまり「1 つの文の中で 2 つの言語を話す人々」を、翻訳者のグループに教えることを想像してみてください。現実世界では、これは日常的に起こります。カイロのソフトウェアエンジニアは、「deadline（締め切り）は明日だ、update（更新）を ship（リリース）する必要がある」と、英語の技術用語とアラビア語の文法を混ぜて言うかもしれません。テヘランのデベロッパーは、「この新しい feature（機能）には bugs（バグ）がたくさんある」と、ペルシャ語と英語を混ぜて言うかもしれません。

この論文は、この特定の「コードスイッチング（言語切り替え）」の課題をどの程度うまく処理できるかを確認するために、5 つの異なる商用「音声からテキストへ」システム（スマートフォンや会議アプリで使われるようなもの）に「成績表」をつけるようなものです。

以下に、彼らが何を行い、何を見つけたかを、簡単な比喩を使って解説します。

1. 課題：「クリーンルーム」対「賑やかな市場」

ほとんどの企業は、音声システムを「クリーンルーム」でテストします。彼らは、ニュースキャスターが原稿を読むような、クリアで単一言語のオーディオをシステムに再生させ、何語正しく認識できたかに基づいてスコアを付けます。

• 論文の主張： これは、滑らかで空いているレーシングトラックだけで車をテストするようなものです。人々が同時に異なる言語で叫ぶような、凹凸があり混雑した市場の通りで、車がどのように対応するかについては何も教えてくれません。
• 現実： 現実世界の会話は乱雑です。人々は、考えもせずに文の途中で言語を切り替えます。論文は、このような現実世界のシナリオに対して、従来の「クリーンルーム」テストは誤解を招くものであると主張しています。

2. テストの構築：「タレントスカウト」パイプライン

公平なテストを作成するために、研究者たちは単にランダムなオーディオを拾ったわけではありません。何千もの候補から、最も難しく、最も興味深い例を見つけるための、2 段階の「タレントスカウト」システムを構築しました。

• ステージ 1（クイックフィルター）： 彼らは、2 つの文字体系（アラビア文字と英語文字など）を混ぜたように見える文を特定する、単純なコンピュータのルールを使用しました。これは、入り口で ID を確認するボーディックのようなものです。
• ステージ 2（専門家パネル）： 残った候補は、2 人の超賢明な AI「審査員」（GPT-4o と Gemini 1.5 Pro）に送られました。これらの審査員は文を読み、言語切り替えの頻度、スラングの複雑さ、音の混乱度など、6 つの異なる「難易度」要因に基づいて評価しました。
• 結果： 彼らは、1,200 件の困難な文（アラビア語 - 英語、ペルシャ語 - 英語、ドイツ語 - 英語の各言語ペアに対して 300 件ずつ）を最終的に選び出しました。このプロセスにより、AI 審査員にすべての文を読ませることに比べ、約 91% の莫大な費用を節約できました。

3. 採点：「定規」対「翻訳者」

これが論文で最も重要な発見です。彼らはシステムを評価するために 2 つの異なる方法を使用しました。

• 定規（WER - 単語誤り率）： これは従来の方法です。すべての文字と単語の不一致を数えます。話者が「feature」と言い、コンピュータが「feature」という意味のペルシャ語（意味は同じだが見た目が異なる）を書いた場合、定規は「間違い！それは誤りだ」と言います。
• 翻訳者（BERTScore）： これはより賢明な方法です。これは「意味」を理解します。話者が「feature」と言い、コンピュータが「feature」という意味のペルシャ語を書いた場合、翻訳者は「素晴らしい！スペルは異なっても、意味は正しく捉えました」と言います。
• 発見： アラビア語やペルシャ語のように、同じ意味を持つ単語が異なる形で書かれる言語の場合、「定規」は厳しすぎます。それは、スペルを創造的に使ったシステムを罰してしまいます。「翻訳者」（BERTScore）の方が、はるかに公平な評価を与えます。

4. レースの結果

彼らは 5 つの大手商用システムをテストしました。その結果は以下の通りです。

• 優勝者： ElevenLabs Scribe v2 が明確なチャンピオンでした。すべての 4 つの言語ペアにおいて、最も低い誤り率と最も高い意味スコアを達成しました。特に、トリッキーなアラビア語とペルシャ語の混合処理において優れていました。
• 中位グループ： OpenAI と Google はそこそこでしたが、優勝者よりも、特に最も難しい文において、明らかに多くの間違いを犯しました。
• 苦戦者： Azure（マイクロソフト）は最も高い誤り率を示しました。ただし、論文は、Azure に「常に」言語をチェックさせるように指示すれば（開始時に一度だけチェックするのではなく）、少しは改善されると指摘していますが、それでも依然として遅れをとっています。
• 特殊ケース： Deepgram は、アラビア語やペルシャ語を公式にサポートしていないため、ドイツ語 - 英語のみでテストされました。ドイツ語では非常にうまくいきましたが、テストが簡単だった（両方の言語が同じアルファベットを使用している）ため、他のシステムと比較することはできません。

5. 「ハードモード」の発見

研究者たちは、テストを難易度（易、中、難、エキスパート）ごとに分解しました。

• 驚き： 「易しい」文では、すべてのシステムは非常に似通った結果を示しました。しかし、「エキスパート（最も難しい）」文では、その差が爆発的に広がりました。
• 比喩： 平坦なトラックでは全員が同じ速度で走るレースを想像してください。しかし、トラックが険しく岩だらけの山に変わると、一人のランナー（ElevenLabs）は着実に登り続けますが、他のランナーは滑って転び始めます。平均スコアはこの大きな違いを隠してしまいます。最も難しい課題を見たときのみ、真の差が見えてきます。

6. 視覚的証拠

これらの言語において「意味」が「スペル」よりも重要であることを証明するために、彼らは視覚的なマップ（単語の GPS のようなもの）を使用しました。

• 彼らは「正しい」文と「コンピュータの推測」文をマップ上にプロットしました。
• 結果： コンピュータが異なる文字体系（例えば、英語の単語をペルシャ文字で書くなど）を使用した場合でも、マップ上の点は互いのすぐ隣にありました。これは、「定規（WER）」が誤りだと言ったとしても、コンピュータが意味を理解していたことを証明しています。

結論

1 つの息継ぎで複数の言語を話す人々のための製品を構築している場合、標準的な「単語誤り率」スコアだけを見てはいけません。それは、スープが美味しいかどうかを無視して、玉ねぎをどれだけ完璧に刻んだかだけでシェフを評価するようなものです。

• アラビア語とペルシャ語には、「意味スコア（BERTScore）」を使用してください。
• 簡単な文だけでなく、「最も難しい」文でテストしてください。
• 現在、この特定のタスクにおいて最も優れているのは ElevenLabs Scribe v2 ですが、論文は、ビジネスでシステムを選択する際には、速度（レイテンシ）やコストといった現実的な要因も重要であると警告しています。