Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

音声認識技術は目覚ましい進歩を遂げ、機械が多くの言語にわたって人間の声を理解することを可能にしてきた。しかし、記録の少ない方言の話し手にとって、この技術はしばしば壁に突き当たる。課題は、単に機械が特定の音を正しく聞き取れないということだけではない。時には、機械と人間が全く異なる「書き言葉」の言語を話していることが問題となることもある。イラン、イラク、トルコ、シリアにまたがって話されている言語であるクルド語の世界において、この隔たりは鋭い。ある変種はアラビア文字に基づいたスクリプト（表記体系）を用いて書かれるが、他の変種、あるいは同じ変種であっても地域によって、独特の音を捉えるための特殊な記号を用いたラテン文字を用いて書かれることもある。あるスクリプトで訓練されたコンピュータが別のスクリプトで書かれた文章を読もうとすると、それは単に言葉を聞き取れないからではなく、記号を認識できないために失敗することが多い。これは測定の問題を生み出す。つまり、もし機械が音を正しく捉えていても、それを誤ったスクリプトで書き出した場合、標準的なテストではそれを完全な失敗とカウントしてしまい、機械が実際に音声を理解していたという事実を隠してしまうのである。

これが、ヒワ・アサドプールがイランで話されているクルディ語の一種であるガルーシ（Garrusi）を研究する中で取り組んだ具体的なパズルであった。アサドプールは、強力な既存の音声認識システムが、その特定のダイアレクト（方言）に対して訓練されたことがないにもかかわらず、ガルーシの話し手をどの程度理解できるかを調べたいと考えた。使用されたシステムはMMS-1B-allとして知られるもので、中央クルディ語（Central Kurdish）に適応しており、アラビア文字でテキストを出力する。しかし、研究者たちは5人のガルーシの話し手からの録音を収集し、音標記を用いたラテン文字を使用して正しい言葉を書き留めていた。これら両者を比較するために、彼らは機械が生成したアラビア文字と、彼らが書き留めたラテン文字の間のギャップを埋めなければならなかった。彼らは、まず機械のアラビア語の出力をラテン文字に変換し、次にそれらの文字をリファレンス（参照）テキストの特定のスタイルに一致するように簡略化するという、段階的なプロセスを作成することでこれを行った。この方法により、エラーのどれくらいが書き方の違いによるものであり、どれくらいが機械が実際に言葉を聞き取ることに失敗したことによるものなのかを正確に把握することができた。

結果は厳しい現実を明らかにした。研究者が、変換を行わずに機械の生のアラビア語の出力をラテン文字のリファレンスと直接比較したとき、システムは完全に失敗したように見えた。単語誤り率（Word Error Rate）は111パーセントを超え、一致する単語はゼロであった。これは、両方のスクリプトが共通の文字を共有していないために起こった。機械は、研究者とは異なる視覚的な言語を話していたのである。しかし、研究者が機械の出力をラテン文字に変換すると、状況は劇的に変化した。エラー率は大幅に低下し、機械が多くの音を実際に正しく認識していたことを示した。つまり、スクリプトの不一致がこの成功を覆い隠していたのである。最後に綴りの違いを簡略化するステップを適用すると、エラー率はさらに低下したが、依然として高いままであった。これらの書き方の問題を修正した後でも、システムが単語を正確に一致させたのはわずか約14パーセントであった。これは、書き方のシステムが大きな障壁であった一方で、機械がその特定のダイアレクト特有の音や語構造を理解することには依然として苦戦していることを意味している。

この研究では、一部の言語学者がガルーシを含むと考えている南部クルディ語（Southern Kurdish）向けに特別に微調整（ファインチューニング）された別のシステムもテストされた。驚くべきことに、この特化したシステムは、一般的な中央クルディ語のシステムよりも性能が悪かった。このシステムは、リファレンステキストよりもはるかに多くの余分な単語を生成し、単純なシステムほど話し手の実際の言葉と一致させることもできなかった。このことは、関連するダイアレクトでモデルを訓練するだけでは、ガルーシのような特定の、明確に異なる変種に対してうまく機能することを保証しないことを示唆している。特に、訓練に使用されるデータが自然なフィールド録音ではなく、編集された読み上げ文である場合にはなおさらである。特化したシステムは、存在しない単語を追加する「過剰生成」を行う傾向があったのに対し、一般的なシステムは単語を見落とす傾向があった。

この研究の重要な発見は、技術そのものと同じくらい、成功をどのように測定するかが重要であるということである。研究者たちは、標準的なテストは書き方のシステムの違いを考慮していない場合、誤解を招く可能性があることを示した。リファレンステキストを固定し、機械の出力の提示方法のみを変更することで、彼らはスクリプト変換の影響を分離することができた。彼らは、スクリプトを変換し綴りを簡略化することで、測定されたエラーが大幅に減少することを発見した。これは、失敗の大部分が実際にはフォーマットの問題であったことを証明している。しかし、これらの修正後もかなりのエラーが残っており、これは機械が依然としてその特定のダイアレクトを理解するには程遠いことを示している。研究は、複数のスクリプトやダイアレクトを持つ言語の場合、研究者は結果のスコアリング方法について注意深くある必要があると結論づけている。彼らは、他の人々が数字を検証できるように、スコアリングに使用した正確なテキストを公開する必要があり、高いエラー率は機械の聞き取り能力だけでなく、テキストの書き方に起因する場合があることを認める必要がある。

この研究は、音声技術におけるより広範な問題、すなわち、ハイテクモデルと、それが本来サービスを提供すべき多様で現実世界の言語との間のギャップを浮き彫りにしている。ガルーシの話し手、そして他の多くのリソースの少ない言語を持つコミュニティにとって、正確な音声認識への道は、データの不足だけでなく、それらの言語がどのように書かれ、分類されるかという複雑さによっても阻まれている。この研究は完璧な解決策を提示するものではないが、障害のより明確な地図を提供している。それは、機械が言語を理解していると主張する前に、まず機械と人間が同じ視覚的言語を話していることを確認し、私たちのテストが、「機械が聞き取れないのか」、それとも「単に書き方が異なるだけなのか」を区別できるほど公平であることを確認しなければならないということを示している。