HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics

以下は、「HATS: 自動音声認識の評価に適用される人間の知覚を統合したオープンデータセット」と題された論文の詳細な技術的概要です。

1. 問題定義

自動音声認識（ASR）システムは、従来**単語誤り率（WER）と文字誤り率（CER）**を用いて評価されてきました。これらの指標は、参照転写に対する誤った単語または文字の数を数えるものです。しかし、著者らは、これらの指標が不十分であると主張しています。その理由は以下の通りです。

• これらは人間中心ではなくシステム中心である。
• 意味理解が欠如している（例。「cat」を「dog」に置換することと、「cat」を「car」に置換することは、前者の方がより理解しやすい可能性があるにもかかわらず、同様に罰せられる）。
• 誤りが本質的なものでない限り、人間は転写誤りがあっても文脈から意味を抽出できるという事実を考慮していない。

特に、人間が消費することを意図した転写（例：字幕、メッセージ）において、転写の品質に対する人間の知覚とより密接に相関する評価指標が必要とされています。

2. 手法

HATS データセット

中心的な貢献は、フランス語用の新しいオープンデータセットである**HATS（Human-Assessed Transcription Side-by-Side）**の作成です。

• ソース: 転写は、REPEREテストコーパス（ラジオ/テレビ放送音声約 10 時間）から生成され、10 種類の異なる ASR システム（Speechbrain/wav2vec2/XLS-R ベースの 8 種類のエンドツーエンドシステム、および Kaldi ベースの 2 種類の DNN-HMM システム）が使用されました。
• アノテーションプロトコル:
  • タスク: 143 人の人間参加者が、書かれた参照転写と2 つの自動仮説（異なる ASR システムからのもの）を提示される「サイドバイサイド」実験です。
  • 制約: 参加者は「最良の」仮説を選択しなければなりませんでした。「同点」を選択することは許可されていませんでした。
  • 刺激の選択: タスクを困難かつ有益なものにするため、トリプレットはランダムに選択されませんでした。3 つの基準に基づいてフィルタリングされました。
    1. 仮説は互いに、かつ参照転写と異なっていること。
    2. 全システムの仮説が互いに比較対照されること。
    3. 指標ベースの選択: 特定のシナリオを作成するためにペアが選択されました。
       • 同じ/異なるスコア: 指標が品質について合意するか、あるいは合意しないか。
       • 指標の対立: ある指標が仮説 A を支持し、別の指標が仮説 B を支持する場合。
       • 曖昧さ: WER/CER が等しいが、意味指標が異なる場合。
• データ量: 1,000 の参照 - 仮説トリプレットから、合計 7,150 のアノテーションが生成されました（各トリプレットは少なくとも 7 人の参加者によって評価されました）。
• 評価者間信頼性: フリースのカッパ係数は 0.46 でした。トリプレットの 82% で人間間の合意率が少なくとも 71.4% であり、タスクは困難ですが、人間はより良い選択肢を一貫して識別できることを示しています。

評価された評価指標

本研究では、さまざまな自動指標が人間の選択とどの程度整合するかを評価しました。評価された指標には以下が含まれます。

• 語彙的: WER, CER, 音素誤り率（PhonER）。
• 意味的/埋め込みベース:
  • 埋め込み誤り率（EmbER）: 単語埋め込み（fastText）のコサイン距離で重み付けされた WER。
  • SemDist: 文レベルの埋め込み間のコサイン類似度（CamemBERT、FlauBERT、SentenceBERT でテスト）。
  • BERTScore: 文脈埋め込みを使用したトークンレベルの類似度（多言語 BERT、CamemBERT-base、CamemBERT-large でテスト）。

分析アプローチ

著者らは、指標の予測（どの仮説が優れているか）と人間のコンセンサスとの合意率を計算しました。

• コンセンサスの定義: 合意は $\frac{\max(A, B)}{A + B}$ として計算されました。ここで、$A$ と $B$ は、それぞれ仮説 A または B を選択した人間の数を表します。
• フィルタリング: 結果は以下の 3 つの条件下で分析されました。
  1. 100% 合意: 全人間が合意したトリプレットのみ。
  2. 70% 合意: 強いコンセンサスが得られたトリプレット。
  3. 0% 合意（全体）: フィルタリングを適用しない。

3. 主要な結果

指標の性能は、人間の好みに一致した割合によって測定されました。

指標タイプ	最良の性能指標	性能（70% 合意）	主要な知見
語彙的	CER	64%	CER は WER を上回りました。 これはいくつかの以前の研究とは矛盾しており、フランス語の正書法（無音の文字）または書かれたテキスト参照の使用による可能性があります。このデータセットにおいて、WER はランダムな確率に近い 53% の性能でした。
音韻的	PhonER	69%	WER および CER よりも優れており、人間は無意識にテキストを読んでいる場合でも音韻的類似性を考慮していることを示唆しています。
意味的	SemDist（Sentence CamemBERT-large）	78%	最高性能の指標です。 一貫して他を上回りました。これは、Sentence-BERT 埋め込みが意味的類似性を最大化するように特別に訓練されているためと考えられます。
意味的	BERTScore（CamemBERT-large）	68%	良好な性能を示しましたが、同じ埋め込みモデルを使用した場合、SemDist よりもわずかに低かったです。

注目すべき観察事項:

• 埋め込みの感度: 埋め込みモデルの選択は指標の性能に大きく影響します。例えば、FlauBERT-base を使用した SemDist（59%）は CER（60%）よりも劣りましたが、Sentence CamemBERT-large を使用した SemDist（78%）は最良でした。
• 指標の不一致: WER と CER が同点のスコアを与えた場合、意味指標は人間の選択と一致する差別化要因を提供することがよくありました。
• 人間の知覚: 人間は、厳密な語彙的正確さよりも、意味的な一貫性と音韻的な流れを優先するようであり、これは語彙的指標が捉えきれていない点です。

4. 主要な貢献

1. HATS データセット: 人間の好みのラベル付き、大規模な手動アノテーションされたフランス語 ASR 誤りデータセットの公開。10 種類の多様な ASR システムと厳格な刺激選択基準を用いたサイドバイサイドプロトコルを採用した初の試みです。
2. 実証的評価: フランス語における人間の知覚に対する、語彙的指標対意味的指標の包括的なベンチマーク。
3. フランス語 ASR に関する知見: フランス語の文脈では、CER が WER よりも人間の知覚のより良い代理指標であるという発見。WER の普遍的な優位性に挑戦するものです。
4. 意味指標の検証: SemDist（Sentence-BERT 埋め込みを使用）が、ASR 評価における人間の予測に最も信頼性の高い自動指標であることを実証。

5. 意義と今後の課題

• 意義: この研究は、単純な誤り数え上げから人間中心の品質評価へと ASR 評価を移行するためのロードマップを提供します。人間が消費することを意図した転写を評価するには、埋め込みベースの指標が必要であることを実証しています。
• 限界:
  • データセットはフランス語に特化しており、結果が他の言語に一般化されるとは限りません。
  • 刺激は厳格な基準に基づいて選択されたため、データセットが「平均的な」誤りを代表するものではない可能性があります。
  • 参照は音声ではなくテキストでした。
• 今後の方向性:
  • 音声参照を用いて実験を再現し、視覚的なテキストの手がかりが除去された場合でも CER が WER よりも優位であり続けるかどうかをテストする。
  • 人間との相関と計算効率および解釈可能性（WER/CER の現在の強み）のバランスを取る新しい指標を開発する。
  • データセットを他の言語に拡張し、言語間での一般化性をテストする。

結論として、この論文は、WER と CER が低コストと解釈可能性のために有用であり続ける一方で、Sentence-BERT を使用した SemDistが ASR 評価を人間の知覚に整合させるための優位な指標であり、HATS データセットが将来の評価手法の開発と検証のための重要なリソースであると主張しています。