技術要約：IWSLT 2026 指示遂行タスクに向けた NAVER LABS システムの再実装

問題提起

本論文は、自動音声認識（ASR）、多言語音声翻訳（ST）、および音声質問応答（SQA）を含む多様なタスクにおいて、指示遂行（instruction-following）が可能な統一マルチモーダル音声大規模言語モデル（LLM）の開発という課題に取り組んでいる。先行研究である NAVER LABS 2025 の提出モデル（Lee et al., 2025）は競争力のある性能を示したが、公開はされていなかった。さらに、IWSLT 2026 共有タスクでは、2025 年のイテレーションで使用されたコンポーネント（LLaMA-3.1-8B）に代わり、音声エンコーダーとして SeamlessM4T-v2-large を、LLM バックボーンとして Qwen3-4B-Instruct を使用するという特定の制約が導入されている。本研究の目的は、これらの新しい制約に適応させたこのパイプラインの初のオープンソースによる再実装を提供し、合成データ生成とハイパーパラメータのアブレーションを通じて性能を向上させることである。

手法

アーキテクニカル・アーキテクチャ

本システムは、凍結された音声エンコーダーを軽量なコネクターを介して指示チューニング済みの LLM と結合する、3段階のトレーニングパイプラインに従う：

1. 音声エンコーダー: 凍結された SeamlessM4T-v2-large エンコーダーが 1024 次元のフレーム表現を生成する。
2. プロジェクター: フレームを平均化によって 3 分の 1 にダウンサンプリングし、4 層の Transformer エンコーダーで処理した後、出力を LLM の隠れ層サイズに投影する学習可能なモジュール。
3. LLM バックボーン: LoRA（Low-Rank Adaptation）を用いて適応させた Qwen3-4B-Instruct モデル。音声埋め込みは <|speech|> プレースホルダーに前置される。

トレーニング・パイプライン

トレーニングプロセスは、以下の 3 つの明確な段階に分かれている：

• ステージ 1: プロジェクターの整列（Alignment）

  • エンコーダーと LLM は凍結され、プロジェクターのみが学習される。
  • データ: ASR および ST タスク用に CoVoST 2 と EuroParlST を使用。
  • 構成: 2 つのバリアントを探索：
    • A.1: ASR と ST（EN→DE, IT, ZH）に焦点を当てる。
    • A.2: SQA タスク用に LibriSQA を追加する。
  • ハイパーパラメータ: 4 エポック、一定の学習率（$1\times10^{-4}$）、AdamW オプティマイザ。

• ステージ 2: テキストのみの LoRA 事前学習

  • プロジェクターは凍結され、音声入力なしで LLM が LoRA によって適応される。
  • データ: CoVoST 2/EuroParlST からの機械翻訳されたトランスクリプト（60%）および LibriSQA（40%）。
  • アブレーション: 変数となるランク（$r$）、$\alpha$、学習率、およびレイヤー選択（attn+FF 対 all-linear）を変えた 3 つの LoRA 構成（V1, V2, V3）をテスト。
    • V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF)。
    • V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, cosine decay)。
    • V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, cosine decay)。

• ステージ 3: マルチモーダル・マージ

  • ステージ 1 のプロジェクターと選択されたステージ 2 の LoRA アダプターを共同でファインチューニングする。エンコーダーは凍結されたままとなる。
  • データ: ASR、ST、SQA（英語および多言語）、音声テキスト要約（NUTSHELL）、およびオーディオチャプター検出（YTSeg）のバランスの取れた混合データ。
  • 戦略: 破滅的忘却を防ぐため、各音声バッチの直後にペアとなるテキストのみのバッチを配置する。
  • ハイパーパラメータ: 4×H100 GPU 上で 2 エポック。プロジェクターは一定の $lr=1\times10^{-5}$、LoRA は cosine decay $lr=3\times10^{-4}$ を使用。

合成データの構築

ステージ 3 のファインチューニングをサポートするために、著者らはオープンウェイトの Gemma モデルを使用して 10 万件の合成指示遂行例（タスクあたり 1 万件）を構築した：

• テキストに基づくタスク (T1–T7): Gemma-4-31B を用いて参照用トランスクリプトから生成。タスクには、キーワード抽出、命名エンティティ認識（NER）、要旨要約（EN, DE, ZH）、トピックラベル付け、数値 QA が含まれる。
• 音声に基づくタスク (T8–T10): Gemma-4-E4B-it を用いて音声から直接生成。タスクは、EN, DE, ZH における発声スタイル、トーン、およびデリバリーの記述を含む。

主な結果

メイン評価 (MCIF ベンチマーク)

IWSLT 2026 共有タスクの制約された短い音声トラックに対して評価を実施：

• 音声翻訳 (ST): ステージ 3 モデル（A.1 プロジェクター + V1 LoRA）は、EN–ZH で COMET スコア 0.781 を達成し、ベースとなる SeamlessM4T-v2-large（0.638）およびステージ 1 のプロジェクターのみのベースラインを上回った。
• 音声質問応答 (SQA): モデルは英語 SQA において BERTScore-F1 0.346 を達成し、ベースモデル（0.153）およびステージ 1 A.1（0.186）から大幅に改善した。
• ASR: ステージ 1 A.2 はベースと比較して単語エラー率（WER）が悪化したものの、ステージ 3 は性能を回復させ、23.49 WER を達成した。これはベースモデルの 21.49 を上回り、パイプラインの文脈において競争力のある数値となった。

アブレーション研究

• LoRA 構成: ステージ 2 のテキストのみの評価において、V1 (rank 8) は、V3 がより高い機械翻訳 BLEU スコアを達成したにもかかわらず、SQA F1 スコアにおいて V2 (0.650) や V3 (0.600) よりも優れたスコア (0.652) を示した。その結果、最終的なステージ 3 マージには V1 が選択された。
• データの影響: ステージ 1 に SQA データを含めること（A.2）は、英語 SQA の性能を向上させたが、ASR 指標を低下させた。これは、最終的なステージ 3 の共同ファインチューニングによって管理されるトレードオフを浮き彫りにした。

意義と貢献

本論文は以下の貢献を主張している：

1. オープンソースによる再現: IWSLT 2026 の制約（SeamlessM4T-v2-large および Qwen3-4B-Instruct）に特化して適応させた、NAVER LABS の指示遂行パイプラインの初のオープンソースによる再実装を提供する。
2. 合成データセット: さらなるファインチューニングや将来の研究を促進するために設計された、10 の音声中心のタスクタイプにわたる 10 万件の合成指示遂行例を公開する。
3. 実証的検証: 3 段階のアプローチ（プロジェクターの整列、テキストのみの LoRA 事前学習、マルチモーダル・マージ）が、新しいモデルバックボーンへの移行時においても有効であることを検証し、EN–ZH 翻訳および英語 SQA において強力な性能を達成した。
4. 将来の有用性: 公開されたデータは、タスク固有の報酬や LLM-as-judge 基準を用いた、より豊かなステージ 3 ファインチューニングや将来の強化学習アプローチのための基礎となることを著者らは示唆している。

限界

著者らはいくつかの制約を認めている：

• 音声の長さ: GPU メモリの制限により、15 秒を超える音声は除外されており、これが長い発話に対する性能に影響を与える可能性がある。
• 多言語 SQA: クロスリンガル SQA は機械翻訳された QA ペアに依存しており、ノイズが含まれる可能性がある。
• 評価範囲: ステージ 2 のアブレーション結果はテキストのみのサブセットに基づいており、MCIF ベンチマークの完全な結果と直接比較できるものではない。