技術要約：SPEECHCOMBINEによる音声・テキストの構成能力の解禁

問題提起

音声言語モデル（SLM）における指示チューニングは、テキストベースの大規模言語モデル（LLM）と比較して、著しく大きな課題に直面している。テキストLLMは、事前学習と指示チューニングを含む標準的な学習パラダイムに従うが、SLMは新しいモダリティ（音声）と、音声理解（例：感情検出）や音声生成（例：表現力豊かな合成）を含むより幅広い指示の両方を習得しなければならない。

現在のSLMの学習アプローチは、主にテキストLLMのパイプラインを複製している。すなわち、大規模な音声コーパスでの事前学習に続き、音声指示データセットを用いた教師あり微調整（SFT）や強化学習（RL）を行うというものである。この戦略は、以下の2つの決定的なボトルネックに悩まされている：

1. データの膨張： 音声シーケンスはテキストシーケンスよりも大幅に長く（例：5トークンのテキスト文が60〜200の音声トークンに拡大する）、効果的なデータセットの規模をスケールさせることが困難である。
2. 破滅的忘却： 音声トークンに対する広範な学習は、モデルがテキストLLMの持つ知識や推論能力を忘却させる原因となり、モデルはより学習が困難な音声表現の中でこれらのスキルを再学習することを余儀なくされる。

これらを緩和しようとする既存の試み（テキストLLMを凍結し、アダプターのみを学習させる手法など）は、多くの場合、音声特有の指示（理解および生成）をサポートできず、モデルをテキスト指向のタスクに限定してしまう。

手法：SPEECHCOMBINE

本論文は、反復的な指示チューニングを行わずに学習される、指示に従う能力を持つSLMであるSPEECHCOMBINEを提案している。その核心となる仮説は、モデル・マージングにおける最近の進展に着想を得て、テキストLLMにエンコードされた指示追従能力は、重みの結合を通じて音声適応モデルへと直接転移できるというものである。

1. フレームワークと重みの結合

この手法は、パラメータ空間内で以下の3つのステージで動作する：

• ベースモデル ($\theta_{base}$): 事前学習済みのテキストLLM。
• 指示チューニング済みモデル ($\theta_{inst}$): 指示追従のために微調整されたテキストLLM。
• 音声適応モデル ($\theta_{speech}$): ベースモデル ($\theta_{base}$) に対して、音声データ上で1ラウンドの継続的な事前学習を行ったもの。

最終的なモデルパラメータ ($\theta_{SC}$) は、重みの差分を線形結合することによって構築される：
$$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$$
ここで：

• $\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ は、指示追従行動をエンコードする。
• $\Delta\theta_{speech} = \theta_{speech} - \theta_{base}$ は、音声モダリティの知識を捉える。
• $\lambda \in (0, 1]$ は、音声知識の統合とテキスト能力の保持をバランスさせるソフトな重みである。

重要な区別： 音声の事前学習は、$\theta_{inst}$ からではなく、$\theta_{base}$ から開始しなければならない。$\theta_{inst}$ から開始すると、成功的なマージに必要な構成的構造が崩れてしまう。

2. 事前学習データの構造

音声のトークンシーケンスにモデルを習熟させ、かつ音声情報（内容と韻律）を理解するという二重の目的を達成するために、著者らは特定の事前学習データ構造を設計した：
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

• [cap]: 音声属性（内容、ピッチ、速度、強調、感情）に関する自然言語による記述。
• [text]: 音声の正確な書き起こし。
• [speech]: 発話を表す離散的な韻律トークン。

[speech] と共に [text] を含めることは、テキストベースの指示追従能力の転移を固定（アンカー）するために不可欠である。[cap] セクションは、生成、理解、およびマルチターン・パターンを教えるために、ランダム化されている（前、後、または省略される）。

3. トークナイゼーションと推論

• トークナイゼーション： 著者らは、フル波形ではなく韻律的特徴（ピッチ、持続時間、エネルギー）のみをエンコードする韻律トークナイゼーション・スキーム（Qian et al., 2025に基づく）を使用しており、これによりトークン長と冗長性を大幅に削減している。
• 推論： モデルはテキストLLMと同様のテンプレートに従うが、[speech] セクションが含まれる。外部のASRシステムが入力音声を [text] セクションに書き起こす。「フォーマット強制（Format forcing）」技術が、音声トークンの生成を安定させ、モデルが要求された出力構造を遵守することを確実にするために用いられる。
• ロングシンキング（Long Thinking）： モデルは、回答テンプレートに <thought> セクションを含めるように変更するだけで、追加の学習なしにテキストLLMから「思考の連鎖（Chain of Thought）」能力を継承する。

主な貢献

1. 指示フリーのSLM学習： わずか1ラウンドの事前学習（3万時間のデータ）と重み結合を用いることで、強力な指示追従能力（テキスト、音声理解、音声生成にわたる）を持つSLMを構築できることを示した。これにより、膨大な音声指示チューニング用データセットの必要性を排除した。
2. 構成的汎化： 指示追従能力 ($\Delta\theta_{inst}$) が、音声適応 ($\Delta\theta_{speech}$) と結合した際に音声ドメインへと汎化することを証明した。これにより、明示的な学習なしに、未知の音声特有のタスク（例：感情検出、強調生成）を処理することが可能になる。
3. テキスト能力の保持： この戦略は、標準的なSLMの学習パイプラインで見られる典型的な破滅的忘却を回避し、元のテキストLLMの知識と推論スキルを正常に保持することに成功した。
4. 効率性： 既存のSLM（例：数百万時間の学習を行うFUN-AUDIO-CHAT）が必要とする学習データの1%未満を使用して、最先端または競争力のある性能を達成した。

実験結果

著者らは、SPEECHCOMBINEを2つのカテゴリのタスク、**浅い結合（Shallow Combination：音声モダリティにおけるテキスト指向タスク）と深い結合（Deep Combination：音声特有のタスク）**で評価した。

• テキスト指向タスク（QA、推論）： SPEECHCOMBINEは、「ASR + テキストLLM」のベースライン（忘却が発生しない）と同等以上の性能を示し、膨大なデータセットで学習された他のSLM（例：GLM-4-Voice, Step-Audio）を大幅に上回った。OpenbookQA、GSM8k、MLCなどのデータセットにおいて、トップまたは2番目の結果を達成している。
• 音声理解（感情、強調）：
  • 感情： 事前学習データにおける感情キャプションの不足により、中程度の性能に留まった。
  • 強調検出： ベースラインに対して大幅な差をつけて最先端の性能を達成し、韻律的な手がかりから強調を推論するモデルの能力を示した。
• 音声生成（表現力豊かな生成、強調）：
  • 表現力豊かな生成： 感情生成において2番目の性能を達成した。
  • 強調生成： 比較可能なモデルの中で最高の性能を達成した。
  • 特筆すべきは、これらの能力がタスク特有の学習なしに、スキルの構成的転移によって出現している点である。
• アブレーション研究：
  • $\lambda$ 重み： テキストの保持と音声の獲得のバランスをとるスイートスポット（例：$\lambda=0.85$）が存在する。
  • データ構造： [cap] または [text] を削除すると性能が著しく低下し、知識転移とアンカリングのための必要性が確認された。
  • ロングシンキング： シンキングモードを有効にすることで、複雑な推論および音声タスクにおける性能が向上した。

意義と主張

本論文は、SPEECHCOMBINEが「非効率なデータの積み上げという不当な苦難」を回避する、SLM学習の新しいスケーラブルな方向性を提示していると主張している。モデル・マージングを活用することで、このアプローチは、大規模な音声データセットでの再学習を必要とせずに、進化するテキストLLMから創発する能力を迅速に継承することを可能にする。

著者らは、推論における外部ASRへの依存、現在のトークナイゼーション・スキームにおける音色/声質のエンコードの欠如、および出力の安定性を確保するためのフォーマット強制の必要性といった限界も認めている。しかし、このパラダイムは、データ効率が高く、複雑な推論が可能な、強力な指示追従型音声モデルを構築するための堅牢な基盤を提供すると考えている。