NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation

技術要約：NaturalFlow

問題提起
同時音声対音声翻訳（Simul-S2ST）は、低遅延な逐次翻訳パラダイムに代わる選択肢として、レイテンシを最小限に抑えることで、ニアリアルタイムのコミュニケーションを促進することを目指している。しかし、レイテンシの最小化を追求するあまり、システムが硬直的なチャンク単位の処理ポリシーを採用せざるを得なくなることが多い。その結果、出力は断片化され、音声チャンク間の頻繁で破壊的なポーズ（休止）を特徴とするようになる。現在の研究は主に、従来の翻訳品質（例：BLEUスコア）とレイテンシ指標の間のトレードオフに焦点を当てているが、音響的なフロー（流れ）の最適化についてはほとんど探求されていない。解釈学の文献で指摘されているように、このような断片的なデリバリーは、聞き手の認知負荷を増大させ、たとえ意味内容が保持されていても、知覚される正確性や明瞭性に悪影響を及ぼす。

手法
著者らは、翻訳の忠実性を維持しつつ、チャンク間の沈黙を最小限に抑えるために設計された、流暢さ重視の最適化フレームワークであるNaturalFlowを提案する。このアプローチは、ターゲットとなる音声と時間的に整合したテキストを共同生成する直接型S2STアーキテクチャであるHibikiモデルに基づいている。

手法の核心は、特別に構築された選好データセットに適用される**直接選好最適化（DPO）**である。プロセスは以下の3つの主要な段階で構成される：

1. 選好データの構築（シルバーメダル選好）:

   • システムは、与えられたソース発話に対して複数の候補翻訳をサンプリングする。
   • 候補は2つの次元で評価される：翻訳品質（ASR-BLEUで測定）および音響的流暢さ（沈黙比率、SRにより測定）。
   • モデルが意味的な忠実性を犠牲にして沈黙の削減を過剰に最適化すること（「流暢性の罠」）を防ぐため、著者らはシルバーメダル選好戦略を導入している。最も優れた候補（最も低い沈黙比率）を「選択（chosen）」セットとして選ぶのではなく、沈黙比率の**第2位層（上位20〜40%）**から候補を選択する。
   • 「拒絶（rejected）」セットには、過度に攻撃的な低沈黙候補（これらはしばしば品質を低下させる）と、より低性能な候補の両方が含まれる。
   • 厳格なマージン要件が課される。選択された候補は、拒絶された対照候補よりも、特定の翻訳品質のマージン（$\beta$）および沈黙比率のマージン（$\gamma$）において優れていなければならない。

2. テキスト誘導型最適化:

   • 生の音響トークンの確率を直接最適化することは計算上の不安定さを招く。そのため、本フレームワークはDPOの目的関数をテキストストリーム（$\pi_\theta(T^y | x, A^y, S^y)$）に限定している。
   • テキストポリシーは、並行するソースストリームと生成されたターゲット音声の両方に自己回帰的に条件付けられているため、音響フローとレイテンシ遅延を本質的に内包している。
   • 著者らは、モデルが長い意味的に正確な翻訳に対してペナルティを受けることを防ぐために、**長さ正規化DPO（DPO-LN）**を採用している。これにより、ポーズを避けるために不自然に速く話すという極端な流暢性の罠を回避する。

主な貢献

• 流暢さ重視のフレームワーク: Simul-S2STにおける破壊的なチャンク間の沈黙の削減を明示的にターゲットとした、新しい最適化フレームワークであり、品質とレイテンシのトレードオフに焦iles集中的であった現在の研究のギャップに対処している。
• シルバーメダル選好戦略: 単一目的の最適化（すなわち、意味を犠牲にした沈黙の最小化）への崩壊を防ぐことで、トレーニングを安定させるデータ構築手法。最も優れた（ゴールドメダル）候補ではなく、「シルバーメダル」の候補を選択することで、モデルはバランスの取れたトレードオフを学習する。
• 安定したテキスト誘導型DPO: テキストポリシーを整列させることで、S2STへの選好最適化の適用方法を示す。これは、直接的な音響トークンの最適化に伴う不安定さを回避し、結合された音声・テキスト生成プロセスの安定したプロキシとして機能する。

結果
実験は、短文形式（CVSS-C, VoxPopuli）および長文形式（Audio-NTREX, mTEDx）の音声翻訳タスク（フランス語から英語）をカバーする4つのベンチマークで実施された。

• 沈黙の削減: NaturalFlowは、短文および長文の両方のデータセットにおいて、比較対象のベースライン（SeamlessStreaming, StreamSpeech, Hibiki）の中で最も低い沈黙比率（SR）を達成した。例えば、VoxPopuliでは、SRは0.12（Hibiki）から0.10へと減少した。
• 品質の保持: 沈黙の減少にもかかわらず、翻訳品質（ASR-BLEUおよびASR-COMET）はベースラインモデルと同等の水準を維持した。シルバーメダル戦略を削除したアブレーション研究で見られたような、壊滅的な品質低下は発生しなかった。
• レイテンシ: レイテンシ指標（Start Offset, End Offset, および Length-Adaptive Average Lagging）はベースラインと同等であり、流暢さの向上がレイテンシの増加によって達成されたのではないことを示している。
• アブレーション研究: シルバーメダル戦略を削除した場合（アブレーション1および2）、モデルが攻撃的に沈黙を最小化し、結果として過度に速い発話速度と深刻なBLEUスコアの低下を招く「最適化崩壊」が発生した。
• 人間による評価: Amazon Mechanical Turkを用いた調査において、自然さと流暢さに関して、NaturalFlowはベースラインよりも55%のケースで好まれた。シルバーメダル戦略を持たないアブレーションモデルと比較した場合、NaturalFlowは68%のケースで好まれ、制約付きの選択が自然な響きの出力を生成するために不可欠であることを裏付けた。

意義
本論文は、NaturalFlowが同時翻訳の低レイテンシの利点と、逐次翻訳の自然な流れの間のギャップをうまく埋めるものであると主張している。モデル内部の信号と新しい選好学習戦略を活用することで、翻訳品質を損なったりレイテンシを増加させたりすることなく、破壊的なポーズを減らすことが可能であることを本フレームワークは示している。著者らは、本研究が、従来の品質とレイテンシの二項対立を超えて、音響的流暢さを主要な最適化目的として含めることで、S2STにおけるデリバリーの自然さを進化させるための重要な基礎を築くものであると考えている。