あなたは、混沌としたディナーパーティーにいると想像してみてください。誰もが声を張り上げ、話し声が重なり合っています。あなたはただ一人の特定の友人の話を聞きたいのですが、使用しているオーディオレコーダーには、部屋全体の乱雑で重なり合ったノイズしか記録されていません。通常、コンピュータにその一人の声を選び出す方法を教えるには、その友人が一人だけで話している「クリーンな」録音を「教師（お手本）」として用意する必要があります。しかし、現実の世界では、そのようなクリーンな録音を手に入れることは滅多にありません。

これこそが、この論文の著者たちが取り組んだ問題です。彼らはこう問いかけました。「ターゲットとなる話者のクリーンな音声バージョン（お手本）がない状態で、どのようにして、現実の乱雑な会話の中から単一の話者を分離するようにコンピュータを訓練すればよいのだろうか？」

「偽物の」練習の問題点

この仕事を行うほとんどのコンピュータプログラムは、ラボの中で訓練されます。研究者が、人々が一人で話しているク録音を手に取り、それらを人工的に混ぜ合わせて「偽のノイズ」を作り出します。これは、空っぽで完璧なフィールドでボールを蹴って練習しながら、実際のサッカーの試合に向けて準備しているようなものです。論文では、このアプローチは、風や凹凸のある芝生、予測不可能なプレイヤーが溢れる「実際のフィールド」に足を踏み入れたときには通用しないと主張しています。現実の会話には背景ノイズ、エコー、そして人々が不規則なタイミングで話すといった要素があり、それが「偽の」訓練を無意味なものにしてしまうのです。

PS4による解決策：手がかりから学ぶ

Yijiahe AIの研究者と中国の大学のチームが率いるチームは、PS4と呼ばれる新しいシステムを構築しました。ターゲットとなる話者のクリーンな録音（持っていないもの）を必要とする代わりに、彼らはコンピュータに対し、乱雑な録音の中に隠された**「手がかり（Clues）」**から学習する方法を教えました。彼らはこれを「プロキシ・スーパービジョン（代理監督）」と呼んでいます。

これは、はっきりとした写真がない状態で、混雑したぼやけた写真の中から特定の一人を見つけ出そうとするようなものです。顔を完璧に捉えることはできませんが、他の手がかりはあります：

1. 何を言ったか： 話の内容のテキスト文字起こしがあります。
2. 誰であるか： 会話の序盤にある、その人の短くクリアな音声クリップ（エンロールメント）があります。
3. いつ話したか： 誰がどのタイミングで話していたかという大まかなマップがあります。
4. どのように聞こえるか： 音声の品質がどの程度「良好」であるべきかという感覚的な指標があります。

トレーニングの場の構築

システムを教えるために、チームは単に推測するのではなく、REAL-PS4という巨大なトレーニングジムを構築しました。彼らは4つの異なる公開データセット（中国語と英語の会議やディナーをカバー）から、71,771個の実際の会話サンプルを取り出しました。

彼らはこれらをただミキサーに投げ込んだわけではありません。慎重にプロセスを処理しました：

• エンロールメント（参照用）として使用するために、単独話者の短くクリアなクリップを見つけました。
• 解くべき「混合物」として、二人以上の人間が重なって話している乱雑な部分を見つけました。
• 悪いサンプルを除外し、ターゲットとなる話者が時間の20%以上を占め、かつ文字起こしに少なくとも2文字以上の有効な文字が含まれているものだけを残しました。
• コンピュータが処理できるように、乱雑なクリップが長くなりすぎないよう制限（30秒にキャップ）しました。

4部構成のトレーニング戦略

彼らの手法の核心は、「ジョイント・トレーニング（共同訓練）」戦略です。彼らは単にコンピュータに「声を出せ」と言ったのではありません。同時に達成すべき4つの異なる目標を与え、まるで4人の異なるコーチのように機能させました。

1. 言語コーチ (ASR): 抽出された音声が、書き起こされたテキストと一致していることを確認させます。彼らは、言葉が意味を成しているかをチェックするために、強力な言語モデル（Whisper）を使用しました。
2. アイデンティティ・コーチ (話者類似性): 抽出された音声が、部屋の他の人々ではなく、エンロールメント・クリップにいる特定の人物の声に聞こえるようにします。彼らは「ランキング」ルールを使用しました。つまり、抽出された音声は、元の乱雑な混合物よりも、ターゲットに似ていなければなりません。
3. タイミング・コーチ (VAD): タイミングを正確にさせる必要があります。もしターゲットの話者が沈黙していた場合、コンピュータはノイズを出力すべきではありません。彼らはフレームレベルのラベルを使用して、これをチェックしました。
4. 品質コーチ (知覚的品質): 結果がロボットのようであったり、歪んでいたりせず、自然でクリアであることを確認させます。彼らは、結果を判断するためにDNSMOSと呼ばれる指標を使用しました。

結果：効果はあるのか？

チームは、現実の会話データを用いたテストのゴールドスタンダードであるREAL-Tチャレンジでシステムをテストしました。

• 開発セット（Development Set）において： 5つの異なるデータセット（AISHELL-4, AliMeeting, AMI, CHiME-6, DipCo）からなる1,991個のサンプルでテストを行いました。

  • 彼らのシステムは、あらゆる指標において、以前の最高水準の「公式」ベースライン（偽のデータで訓練されたもの）を打ち破りました。
  • 例えば、AMIデータセットにおいて、トークンエラー率（TER）0.388、話者類似性（SIM）0.714を達成しました。
  • 最も困難なAISHELL-4データセットにおいても、SIM 0.575を記録し、古いベースラインが0.45以下のスコアで苦戦する中で勝利しました。
  • 最も印象的なことに、彼らのシステムのオーディオ品質（DNSMOS OVRL）は一貫して3.1を超えていましたが、古いシステムは2.0を下回っていました。

• 公式リーダーボードにおいて： 最終コンペティションに参加した際、PS4は総合2位にランクインしました。

  • 提出されたどのシステムよりも高い、最高の話者類似性スコア（0.565）を達成しました。
  • 提出されたどのシステムよりも高い、最高のタイミングF1スコア（0.871）を達成しました。
  • オーディオ品質（DNSMOS-P808）やエラー率（TER）については、1位のシステム（MERLのもの）にわずかに及びませんでしたが、話者のアイデンティティを維持し、タイミングを正確に捉えるという点では、決定的な差をつけて他を圧倒しました。

結論

この論文は、現実世界のための話者抽出システムを訓練するために、クリーンで孤立した録音は必要ないという結論を下しています。文字起こし、音声のアイデンティティ、タイミング、品質スコアといった「プロキシ（代理）」の手がかりを使用することで、乱雑で現実的なデータから直接システムを訓練することができます。著者らは、このアプローチが従来の方法に代わる実用的かつ効果的な選択肢であることを示しており、たとえ群衆のノイズしか手元になくても、コンピュータに群衆の中から一つの声を選び出す方法を教えられることを証明しました。