技術要約：Lost in Speech: 音声とトランスクリプトを通じた三言語間の音声ハルシネーション検出

問題の定義

テキストベースの大規模言語モデル（LLM）におけるハルシネーション検出は広く研究されている一方で、音声コンテンツにおけるハルシネーションの検出、特に低リソース言語における研究はほとんど進んでいない。音声の設定では、文字起こしシステムが現実世界に危害を及ぼす可能性のある、完全に捏造されたフレーズを出力する場合があるため、リスクはより高い。既存の研究には主に3つのギャップが存在する：

1. 音声ベンチマークの欠如： 音声および音声言語モデルのための専用ベンチマークは乏しく、英語中心であり、かつ一般的なコンテンツ検証よりも質問回答に焦点を当てていることが多い。
2. 多言語の限界： 既存の多言語ハルシネーションベンチマークはテキストのみである。ハルシネーションの挙動は、その言語のデジタルフットプリントと単純に相関するわけではないため、高リソースの英語やロシア語と並んで、カザフ語のような真に低リソースな言語の研究が必要である。
3. 合成データと実世界の妥当性： 現在の合成ベンチマークは「プロベナンス（由来）の混同」という問題を抱えている。すなわち、ハルシネーションのサンプルはLLMによって生成されたものであり、忠実なサンプルは人間によって書かれたものであるという点である。合成LLMハルシネーションで訓練された検出器が、人間が書いた誤情報に対して転移可能かどうかは未検証である。さらに、大規模でバランスの取れたアノテーション付き音声データセットの不足は、特にテキスト読み上げ（TTS）および自動音声認識（ASR）技術が成熟していない領域において、堅牢な評価を妨げている。

手法

ベンチマークの構築

著者らは、英語（高リソース）、ロシア語（中リソース）、カザフ語（低リソース）にわたる12,013件のニュースサンプルを含む、初の多言語音声ハルシネーションベンチマークを提示している。このデータセットには以下が含まれる：

• 合成サブセット： 元の記事と、体系的に生成されたハルシネーションの対となる記事。ハルシネーションは、タイプ（捏造、矛盾、文脈の不一致）および深刻度（軽度、中程度、重度）によって制御されている。
• 実世界のサブセット： factcheck.kzからネイティブに収集された290件のファクトチェック済みフェイクニュース（ロシア語225件、カザフ語65件）を、他の言語に翻訳し、真実のネガティブサンプルとペアにしたもの。
• モダリティ： すべてのサンプルは、元のテキスト、合成音声（TTS経由）、およびASRトランスクリプトの3つの形式で利用可能である。

データ生成パイプライン：

1. ハルシネーション生成： LLM（英語にはGPT-3.5-turbo/GPT-4、ロシア語/カザフ語にはGemini 2.0-flash-lite）を用い、特定のタイプと深刻度のプロンプトに基づいて記事を書き換える。
2. 品質管理： 生成器による構造化された自己評価に続き、2つの独立したLLMジャッジ（Claude Haiku 4.5およびDeepSeek Chat）を用いて、9つの次元（例：事実の正確性、信頼性、流暢さ）にわたる外部検証を行う。
3. 音声合成および文字起こし：
   • TTS： Coqui XTTS-v2（英語）、Silero TTS（ロシア語）、およびオープンソースのカザフ語TTSモデル。
   • ASR： 英語とロシア語にはWhisper-large-v3、カザフ語には（Whisperの性能が低いため）微調整されたwav2vec2-largeモデルを使用。
   • パイプラインノイズ： TTS→ASRのカスケードはノイズを導入し、カザフ語は英語（7.30%）やロシア語（9.08%）と比較して著しく高い単語エラー率（WER: 34.04%）を示した。

評価フレームワーク

本研究では、構築されたデータに対して2つのモデルファミリーを評価する：

1. 微調整された多言語エンコーダー： XLM-R、mDeBERTa、およびReMBERT。
2. ゼロショット・マルチモーダルデコーダー： Qwen2.5-Omni、Gemma 3nなどを含む、インコンテキスト学習を用いたモデル（1.5B–33Bパラメータ）。

評価は以下の3つのリサーチクエスチョン（RQ）に対処する：

• RQ1： 元のテキストに対するエンコーダーの堅牢性と、ASRトランスクリプトに対する堅牢性。
• RQ2： ゼロショットデコーダーにおける、直接的な音声入力とトランスクリプトベースの入力の性能比較。
• RQ3： 合成データで訓練された検出器の、実世界の人間が書いた誤情報への転移可能性、およびプロベナンスの混同の影響。

主な結果

1. モダリティと言語の効果

• トランスクリプト vs. 音声： トランスクリプトベースの検出は、一般的に直接的な音声処理よりも優れた性能を示す。ゼロショットデコーダーについては、ほとんどのモデルとタスクにおいて、トランスクリプト入力の方が良好な結果をもたらした。
• エンコーダーの堅牢性： 微調整されたエンコーダーは、元のテキストに対しては強力な二値分類性能（Macro-F1: 0.52–0.89）を示すが、ASRトランスクリプトでは性能が低下する。この低下は、言語ごとのASRエラー率と相関しており、カザフ語において最も顕著な性能低下が見られた。
• 粒度： 二値分類（ハルシネーションあり vs なし）は、ハルシネーションのタイプや深刻度のレベルを判別する細粒度分類よりも大幅に容易である。

2. 実世界への転移

• 合成データのみで訓練された検出器は、実世界の人間が書いたフェイクニュースに対しても強く転移する。元のテキストにおいて、実世界データの二値Macro-F1スコアは、合成テストの性能と同等またはそれを上回った（例：ロシア語のデータに対し、ReMBERTは合成データでの0.786に対し、実世界では0.819）。
• この転移はASRトランスクリプトにおいても保持されるが、ASRエラー率が高くなるにつれて、性能の低下幅は拡大する（カザフ語では最大12.5ポイント）。

3. プロベナンスの混同分析

• 合成ベンチマークにおいては、ラベル（ハルシネーション）はプロベナンス（LLM生成）と完全に相関している。
• 著者らによるロシア語のプロベナンス分析によれば、検出器は真実性（ファクトチェック）とプロベナンス（スタイル検出）の両方に依存している。
  • ReMBERT： ほぼすべての機械生成テキスト（真実の記事の忠実な書き換えであっても）をハルシネーションとしてフラグ立てしており、プロベナンス信号に強く依存していることを示している。
  • mDeBERTa： より選択的であり、人間が書いたフェイクと忠実なLLMの書き換えを区別しており、事実的内容により強く焦点を当てていることを示唆している。
• この知見は、合成ベンチマークの二値スコアが、スタイル検出と真実性の検証を混同しているため、モデルの事実性に対する感度を過大評価している可能性があることを示している。

重要性と貢献

本論文は以下の貢献を主張している：

1. 初の多言語音声ベンチマーク： 制御されたハルシネーションのタイプと深刻度を備え、テキスト、音声、およびトランスクリプトの形式で利用可能な、英語、ロシア語、カザフ語にわたる12,013件のサンプルからなるデータセット。
2. 構造化された生成フレームワーク： 自己評価と外部検証を伴う、ハルシネーション生成のためのパイプライン、および合成音声に対するターゲットを絞った人間による検査。
3. 実世界評価分割： ファクトチェック済みの人間が書いたフェイクニュースを使用した、このタスクにおける初の評価セットであり、合成から実世界の誤情報への転移の研究を可能にする。
4. プロベナンス分析： 合成ベンチマークには、スタイル（LLM vs 人間）が真実性と相関するという混同が含まれていることの経験的な実証、および異なるモデルがこの混同をどのように扱うかの定量化。
5. 音声パイプラインの経験的研究： TTS→ASRのノイズが、特に低リソース設定においてハルシネーション検出を著しく低下させること、および現在のモデルにとってトランスクリプトベースの処理が直接的な音声処理よりも信頼できる抽象化レイヤーであることを示す包括的な分析。

限界

著者らは以下の限界を認めている：

• 合成音声： 本ベンチマークは、TTS→ASRを介した読み上げ音声を使用しており、自然な会話音声ではないため、自然な展開シナリオへの直接的な転移が制限される可能性がある。
• 言語の範囲： 本研究は3つの言語とニュースドメインに限定されている。
• 評価の制約： 実世界の分割セットは評価専用（訓練用ではない）であり、ファクトチェックされた項目に依存しているため、誤情報の全スペクトラムを代表していない可能性がある。
• ゼロショット音声： デコーダーモデルは音声の微調整なしにゼロショット設定で評価されており、報告された音声の結果は潜在的な性能の下限を表している。