技術概要：大規模音声言語モデルのための直接同時活性化

1. 問題定義

同時音声からテキストへの翻訳（Simul-S2TT）は、完全な発話を待つことなく、ソース音声を受信しながらリアルタイムでテキストを出力することを目的としています。クロスリンガルコミュニケーションやライブ字幕には効果的ですが、オフライン翻訳と比較して Simul-S2TT は固有の課題に直面します：

• 不完全な入力： システムは、完全な意味単位や明確な言語的境界を欠く可能性のある部分的な音声セグメントから翻訳を生成しなければなりません。
• 分布の乖離： オフライン学習データは、完全なソース音声と完全なターゲットテキストを整合させます。一方、同時推論では、言語間での単語の順序入れ替えに対処するために将来の情報を「待機」する必要があり、学習（完全な整合）と推論（不完全な整合）との間に分布のシフトが生じます。
• アーキテクチャの硬直性： 従来の Simul-S2TT 手法は、「読み書き」戦略を実装するために、モデルアーキテクチャ（新しいデコーダー - エンコーダー構造、増分デコーディング、またはアテンション制約など）の変更を必要とすることが多いです。これは、通常オフラインタスク向けに設計されている汎用大規模音声言語モデル（LALM）の直接展開を妨げます。

ここで扱われる核心的な課題は、アーキテクチャやデコーディング戦略を変更することなく、ベースの LALM において Simul-S2TT 機能を活性化する方法です。

2. 手法：同時自己増強（SimulSA）

著者は、モデル自身のオフライン機能から派生した合成同時データを用いて LALM を学習させるデータ増強戦略である**同時自己増強（SimulSA）**を提案します。このパイプラインは 3 つの段階で構成されます：

段階 1：音声の切り捨て

標準的なオフライン音声 - テキストの教師あり微調整（SFT）データセット $D$ から、小さな部分集合 $D'$ が選択されます。これらのペアに含まれる完全な音声 $x_{1:s}$ は、部分的な入力 $x_{1:s'}$ を作成するために切り捨てられます。

• ベータ減衰分布： 一様ランダムな切り捨ての代わりに、著者は特定の時区間 $[l, r]$ にマッピングされたベータ分布（$\alpha=1, \beta=3$）を採用します。これにより、音声の初期段階での切り捨て点が優先され、早期のデコーディングが重要な現実的なストリーミング境界がシミュレートされます。これにより、情報が不足しすぎるセグメントや、オフライン翻訳に似た長すぎるセグメントの生成を防ぎます。

段階 2：切り捨て音声からテキストへの推測

切り捨てられたペアの人手による注釈はコストがかかるため、この手法は事前学習済みの LALM を活用して、切り捨てられた音声 $x_{1:s'}$ に対応するターゲットテキスト $y_{1:t'}$ を生成します。

• 推測的生成： モデルは、切り捨てられた音声と以前に生成されたプレフィックスに基づいて、トークンを反復的に生成します。
• 終了基準： 次のトークン $y_{t'+1}$ の確率がシーケンス終了トークン（）の確率を下回る場合、または語彙内でのランクが閾値 $\tau$ を超える場合、生成はトークン $t'$ で停止します。これにより、生成されたテキスト $y_{1:t'}$ には、切り捨てられた音声 $x_{1:s'}$ によって完全にサポートされる情報のみが含まれるようになり、同時翻訳に必要な「待機」信号を実質的に捉えることができます。

段階 3：混合教師あり微調整

元の完全な音声 - テキストペアと、新たに生成された切り捨てペアを混合し、ベースの LALM の微調整に使用します。

• 単一ステージ学習： 著者は、まず完全なデータで学習し、その後ストリーミングデータで学習するという 2 ステージアプローチよりも、単一ステージの混合 SFT の方が優れており、2 ステージアプローチでは性能低下を招いたことを発見しました。
• データ比率： 増強データは、トレーニングコーパス全体の小さな割合（約 1%）を占めます。

3. 主な貢献

1. アーキテクチャ非依存の活性化： 本論文は、アーキテクチャの変更やデコーディング戦略の変更なしに、ベースの LALM（具体的には Qwen2-Audio）において Simul-S2TT 機能を直接活性化できることを実証しました。
2. SimulSA 戦略： モデル自身の確率的出力とベータ減衰切り捨て分布を用いて、高品質で部分的に整合した音声 - テキストペアを構築する、新規の自己増強パイプライン。
3. 効率性： この手法は、大幅な性能向上を達成するために SFT データの約 1% だけを増強すればよく、リアルタイム機能の実現に対する低コストなソリューションとなっています。

4. 実験結果

実験は、CoVoST2 データセット（英語から中国語）を用いて、Qwen2-Audio-7B モデルで行われました。

• 性能向上： 約 3,000 件の増強サンプルを追加（データセットを 23 万 2 千から 23 万 5 千に増加）することで、BLEU スコアが大幅に向上しました。
  • 低遅延シナリオ（500ms のチャンクサイズ、ロールバックなし）において、SimulSA は標準的な SFT ベースラインに対して BLEU を5.1 ポイント改善しました。
  • 改善は、遅延が低い場合（より小さなチャンクサイズ）およびロールバックトークン数が少ない場合に最も顕著でした。
• 頑健性： この手法はオフライン翻訳の性能を損なうことはありませんでした。無限のチャンクサイズ（オフラインモード）において、BLEU スコアは SFT のみのベースラインと比較してランダムな変動の範囲内に留まりました。
• アブレーション研究：
  • データサイズ： 低遅延設定（ロールバックなし）では、増強データサイズに対して性能が線形にスケールしましたが、より高い遅延設定では約 1.3% の増強で改善が頭打ちになりました。
  • 切り捨て分布： 提案されたベータ減衰分布は、一様切り捨て、全スパンベータ減衰、離散ベータ減衰を上回り、初期段階の切り捨て点を優先することの重要性を確認しました。

5. 意義と主張

本論文は、SimulSA がリアルタイム翻訳シナリオでの LALM 展開のためのスケーラブルかつ実用的なソリューションを提供すると主張しています。アーキテクチャの変更を避けることで、汎用音声言語モデルがストリーミング入力を直接処理することを可能にします。著者は、このアプローチが以下の点で重要であると強調しています：

• オフライン学習と同時推論との間の分布の乖離を効果的に埋める。
• 最小限の計算コスト（追加データ 1% のみ）で同時機能を活性化する。
• 他のタスクや既存のモデルアーキテクチャとの互換性を維持し、生産システムへの統合を容易にする。

この研究は、「待機」メカニズムや不完全な意味単位の処理は、構造的な再設計ではなく、データ増強を通じて学習可能であることを示唆しており、大規模音声言語モデルの時代における Simul-S2TT のアプローチ方法における転換点を表しています。