技術サマリー：SpeechLLM を用いたストリーミング音声からテキストへの翻訳

問題定義

現在、ある言語の音声を別の言語のテキストに翻訳するシステムは、一般的にカスケード型アーキテクチャに依存しています。音声認識器が転写文を生成し、それがテキスト間翻訳システムに入力されるという構造です。最近の進展により、「SpeechLLM（音声オーディオを条件とした大規模言語モデル）」がエンドツーエンドの翻訳を実行できるようになりましたが、既存の実装は真のリアルタイムストリーミング方式で動作することには失敗しています。

既存の SpeechLLM の多くは、出力を生成する前に完全な発話を待つか、または「wait-k」のような固定ポリシーに依存して、オーディオチャンクに基づき固定間隔でトークンを出力します。これらの固定ポリシーは、話速、一時停止、背景雑音などが変化する現実世界のシナリオには不向きです。具体的には以下の問題があります。

• 固定ポリシー: 音声開始前にマイクが開かれた場合や、話者が躊躇した場合、固定ポリシーはモデルに出力を幻覚させたり、遅延させたりすることを強要し、翻訳品質の低下やフレーズの欠落につながります。
• エネルギー効率: より多くのオーディオを要求するために「待機」トークンを出力する既存のストリーミングモデルは、大規模言語モデル（LLM）の頻繁な完全評価を必要とするため、エッジデバイスにおいて高いエネルギーコストを招きます。

手法

1. 「インターミックスド」アーキテクチャ

本論文は、LLM 自身が待機ポリシーを学習する新しいアーキテクチャを提案します。いつ待つかを決定する別モジュールの代わりに、LLM は 2 種類のトークンを出力するように訓練されます。

• テキストトークン: 実際の翻訳出力。
• 待機トークン（$W$）: 続行する前にさらにオーディオが必要であることを示すシグナル。

この「インターミックスド」モデルでは、入力シーケンスが音声エンコーダからの符号化された音声ベクトルとテキストトークンの間で交互に現れ、出力シーケンスがテキストトークンと待機トークンを交互に配置するのと同様になります。モデルは、これまでに観測された部分的なオーディオに基づいて、翻訳トークンを出力するのに十分な情報があるか、それとも次のオーディオチャンクを待つ必要があるかを決定することを学習します。

2. 訓練のためのフレーズレベルアライメント

ストリーミングシステムの訓練における重要な課題は、特定の単語をいつ出力するかを決定することです。標準的な単語レベルのアライメント手法（例：SimAlign）は、英語と韓国語のように言語的に遠い言語ペアでは失敗することが多く、概念が 1 対 1 で対応しないためです。

• 提案される解決策: 著者は、ファイショットプロンプティングを用いた LLM によってフレーズレベルのアライメントを生成します。
• メカニズム: ソーステキストとターゲットテキストをフレーズ単位でアライメントします。ターゲットフレーズ内のすべての単語は、対応するソースフレーズの最終単語にアライメントされます。これにより、モデルは必要なソースオーディオを聴取するまでターゲット単語を出力しないことを保証し、早期生成を防ぎます。
• 訓練目的: モデルは、これらのアライメントから導き出された、待機と出力の決定が混在した単一の最適ステップシーケンスの尤度を最大化するように訓練されます。

3. エネルギー効率のための早期退出待機ポリシー

待機トークンによる LLM 呼び出しの頻繁化に伴うエネルギーコストに対処するため、著者は早期退出待機ポリシーを導入します。

• メカニズム: LLM の最初の数層から派生した軽量なヘッドが、**待機（$W$）か出力（$E$）**かの予備的な決定を行います。
• 動作:
  • ポリシーが待機と判断した場合、完全な LLM は評価されず、計算を大幅に節約します。
  • ポリシーが出力と判断した場合、完全な LLM が評価され、0 個以上のテキストトークンの後に待機トークンを生成します。
• トレードオフ: これにより、翻訳品質を損なうことなく、遅延とエネルギー消費の間の調整可能なバランスが可能になります。なぜなら、より多くのオーディオが必要と判断した場合、完全な LLM が「出力」の決定を覆す最終的な権限を保持しているからです。

4. 評価指標

本論文は、「平均遅延（average lagging）」などの標準的な遅延指標が、ポストオーディオ出力や短い発話の処理など、ストリーミング音声との整合性がない点を批判します。代わりに、トークンがオーディオ期間全体にわたって均等に生成される理論的な基準に対して、トークンが出力される平均時間を測定する**平均論理遅延（Average Logical Latency）**を提案します。

主要な結果

CoLiMu や Fleurs などのデータセットを用いて、英語からフランス語、英語から韓国語、英語からドイツ語への翻訳タスクで実験が行われました。

• 遅延対品質: インターミックスド SpeechLLM は、非ストリーミングのオフラインベースラインに近い翻訳品質（COMET スコア）を維持しながら、1〜2 秒の遅延を達成します。遅延と品質のトレードオフにおいて、既存の固定ポリシーシステム（wait-k を用いた Bestow）や動的ポリシー（AlignAtt）を大幅に上回ります。
• ロバスト性: 入力に無音や雑音が含まれる場合（「SilFleurs」データセットでテスト）、固定ポリシーモデルが幻覚などの壊滅的な失敗に陥るのとは異なり、インターミックスドモデルは動的に適応し、一貫した品質を維持します。
• エネルギー効率: 早期退出ポリシーは LLM 呼び出しの回数を削減します。英語から韓国語の場合、待機ペナルティを調整することで、出力トークンあたりのエネルギー使用量を 1.55 から 1.16 トークンに削減し、遅延を約 2.3 秒で安定させました。
• アライメント戦略: 提案されたフレーズレベルのアライメントは、単語レベルのアライメント（SimAlign）を大幅に上回ります。単語レベルの教師信号は早期生成と品質低下を招いたのに対し、フレーズレベルの教師信号は信頼性の高いタイミングラベルを提供しました。

意義と主張

本論文は、SpeechLLM におけるリアルタイムで適応的なストリーミングのギャップを埋めることを主張します。主な貢献は以下の通りです。

1. 学習された待機ポリシー: 音声コンテンツに基づいていつ待つかを学習するモデルへと移行し、硬直的な固定ポリシーから脱却することで、現実世界の音声変化への真の適応性を可能にします。
2. フレーズレベルの教師信号: 多様な言語間の高品質なストリーミング翻訳に不可欠な、異言語間のフレーズ構造の複雑さを処理する訓練データ生成手法です。
3. エネルギーを考慮したストリーミング: 早期退出ポリシーの導入により、ストリーミングシステムがエッジデバイス向けに最適化可能であることを示し、ストリーミングの低遅延の利点を犠牲にすることなくエネルギー消費を削減します。

著者らは、既存の固定または動的ポリシーと比較して、低遅延、高翻訳品質、およびロバスト性の優れたバランスを提供するシステムであり、モバイル翻訳などの実世界での展開に適した候補であると結論付けています。