技術要約：マルチスクリプト・インディックASR評価のためのスクリプト正規化WER (SN-WER)

1. 問題提起

単語誤り率（WER）は、自動音声認識（ASR）システムを評価するための標準的な指標である。しかし、多言語設定、特にインディック諸言語においては、参照トランスクリプトがネイティブスクリプト（例：デーヴァナーガリー、ベンガル、タミル）である一方で、モデルの出力（ハイポセシス）がローマ字表記で生成される場合、WERはエラーを大幅に過大評価する可能性がある。

現在の評価慣行では、これらのスクリプトの違いを語彙の置換として扱い、エラー率を人工的に膨張させ、言語横断的なモデル比較を困難にしている。先行研究では、正規化の選択や正書法的な変異が報告されるエラー率を大幅に変えることが示されているが、既存の指標であるWERd（方言アラビア語用）や寛容なCER（日本語用）は、単一言語内のマルチスクリプト設定におけるクロススクリプトの正規化ではなく、綴りのバリエーションや文字レベルの不一致に対処するものである。

2. 手法：スクリプト正規化WER (SN-WER)

著者らは、スクリプトの不一致によるペナルティを、純粋な語彙認識エラーから分離するために設計された、トレーニング不要の評価専用スコアリング手法であるSN-WERを提案している。

基本原理

SN-WERは、アライメントを行う前に、参照（$R$）とハイポセシス（$H$）の両方のトークンを言語固有の標準的なスクリプト（$C$）へと翻字（トランスリテレーション）した後にWERを算出する。
$$SN\text{-}WER(R, H) = WER(T(R), T(H))$$
ここで、$T(\cdot)$ は決定論的で境界を保持する翻字マップである。

実装の詳細

• 標準スクリプト: ベンチマークとなる参照スクリプト（ネイティブスクリプト）がターゲットとなる標準形式として使用される。
• 翻字: ローマ字表記のトークンは、Unicodeブロックのヒューリスティックを通じて検出され、標準的なライブラリ（ICU、IAST形式、ITRANS形式など）を用いてネイティブスクリプトへと翻字される。
• 正規化: 標準的なUnicode、句読点、および数字の正規化が適用される。
• 制約: この手法は、翻字マップが決定論的であり、トークンの境界を保持することを前提としている。これは標準的なWER/CERの代替を主張するものではなく、診断用のコンパニオンスコアとして機能する。

診断特性

著者らは、SN-WERに対して以下の3つの特性を定義している：

1. 同一性（Identity）: 参照とハイポセシスが同じスクリプトを共有している場合、$SN\text{-}WER \approx WER$ となる。
2. 保守性（Conservativeness）: 理想的な条件下では、$SN\text{-}WER \le WER$ となる。これは、編集距離を増大させることなく、スクリプトのみの不一致が除去されるためである。著者らは、翻字による衝突やトークンの分割によって生じる偏差を経験的に制限している。
3. 語彙的感度（Lexical Sensitivity）: SN-WERは、誤った単語、削除、挿入、または語順の変化によって引き起こされるエラーを減少させてはならない。

3. 実験設定

評価は以下を用いて実施された：

• 言語: 5つのインディック言語（ヒンディー語、ベンガル語、タミル語、オリヤー語、グジャラート語）およびクロススクリプト検証のための2つの追加言語（アラビア語、ウルドゥー語）。
• データセット: 精選されたデータ（FLEURS）およびノイズを含むデータ（Common Voice v17）。
• モデル: Whisper-large-v3、Whisper-small、およびMetaのMMS。
• コントロール: ベースラインのWERを検証するために、人工的なローマ字注入（0–50%のトークン置換）および語彙的汚染（20–30%のトークン置換）を含むストレス・テストが行われた。

4. 主な結果

4.1 膨張したギャップの削減

• 精選データ (FLEURS): SN-WERは、膨張したモデル間のギャップを最大12%（例：グジャラート語）縮小させた。Common Voiceにおけるオリヤー語では、その削減率はさらに高く（26%）、ベースラインのWERにおいてスクリプト不一致の成分が顕著であることを示唆している。
• ノイズを含むデータ (Common Voice): 削減幅は小さかったり、一貫性がなかったりした（例：Whisper-largeで-4.3%）。これは、ノイズの多い条件下には、SN-WERが正しく保持すべき真の認識エラーが含まれていることを示している。

4.2 堅牢性と安定性

• 翻字器の不変性: IAST、ITRANS、およびICUのマッピングを比較した結果、無視できる程度の差（$\Delta < 0.002$）が得られた。
• 衝突率: 異なるトークンが同一の形式にマッピングされる翻字衝突率は、**0.1%**未満であった。
• 正規化の安定性: 数字および句読点の正規化に関するアブレーション解析では、SN-WERの変動は最大でも $\Delta < 0.05$ であった。

4.3 ストレス・テストと感度

• 人工的なスクリプト不一致: ハイポセシスのトークンの50%を人工的にローマ字化した場合、WERは $\Delta = 0.234$ 増加したが、SN-WERの増加は $\Delta = 0.158$ に留まった。これは、スクリプトに起因する膨張を67%減衰させたことを意味する。
• 語彙的汚染: トークンの20–30%が（スクリプトの変更なしに）語彙的に汚染された場合、SN-WERはWERとほぼ同一に追従した（$\Delta SN / \Delta WER \approx 1.09$）。これにより、SN-WERが真の認識エラーを隠蔽していないことが確認された。
• 敵対的チェック: ランダムなトークンのシャッフルまたは置換により、SN-WERは1.0に近い値となった。これは、語順や語彙のエラーに対する感度を確認するものである。

4.4 クロススクリプトへの拡張

アラビア語とウルドゥー語において、SN-WERは緩やかな減少（4.9–9.0%）を示し、正書法的な慣習が守られている場合には、このアプローチがインディック・スクリプト以外にも適用可能であることを検証した。

5. 意義と主張

本論文は、SN-WERをWER/CERの代替としてではなく、特定の評価コンテキストにおいて不可欠なコンパニオンスコアとして位置づけている：

• 診断的有用性: 測定されたエラーのうち、どれだけがスクリプトの不一致に起因し、どれだけが語彙の失敗に起因するかを定量化する。
• ダウンストリームへの関連性: 出力スクリプトがダウンストリームのタスクと直交する場合（例：キーワード検索、インデックス作成、検索、意図分類、あるいは意味的内容が正書法よりも重要となるマルチリンガルLLMパイプラインなど）、SN-WERは特に価値がある。
• ユーザー向けの使用制限: スクリプトの選択が出力品質の一部となるアプリケーション（例：ユーザー向けのキャプション、字幕、教育ツール）においては、標準的なWER/CERが必要であり、SN-WERはそれと併記して報告されるべきである。

著者らは、SN-WERがスクリプト・バイアスとモデル性能を分離するための厳密かつトレーニング不要な手法を提供し、マルチスクリプトのインディック環境において、ASRモデルを比較するためのより正確な基盤となることで結論付けている。