⚡ electrical engineering

Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens

本論文は、外部の学習済みモデルに依存することなく、低フレームレートかつ高次元の連続トークンを用いて、安定した高忠実度かつ長期間の音声生成を実現するために、Locodec（局所的にエンコードされたコーデック）とMP-ELD（シングルトークン自己回帰フローマッチング・フレームワーク）を組み合わせた手法を提案する。

原著者： Yi Luo, Rongzhi Gu, Jixun Yao

公開日 2026-08-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yi Luo, Rongzhi Gu, Jixun Yao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歌を教えようとしていると想像してください。あなたは、声の微細な揺らぎや、息継ぎの間の取り方、完璧なピッチなど、人間と全く同じように聞こえるようにしたいと考えています。しかし、一つ問題があります。ロボットは、先生の筆跡を文字ごとに一文字ずつ模写する生徒のように、一度に一つの音符（ノート）を学習していくというルールです。もしロボットが最初の文字でほんの少しミスをすると、そのミスが二番目の文字に引き継がれ、三番目へと続き、やがて単語全体がぐちゃぐちゃな落書きのようになってしまいます。これは、「自己回帰型（オートレグレッシブ）」AIを構築している科学者たちが直面している大きな悩みの種です。彼らが作ろうとしているのは、前の音のすべてに基づいて次の音を予測するタイプのAIです。彼らはトリッキーな三角形に直面しています。つまり、「非常に詳細な音（高品質）」、「素早く学習すること（短いシーケンス）」、「安定性を保つこと（長いスパンでの安定性）」の3つを同時に求められているのです。通常、これらから選べるのは2つまでです。ロボットに多くの詳細を記憶させすぎると、混乱して音程が外れてしまいます。逆に、音を単純化しすぎると、声はロボット的で平坦になってしまいます。

ByteDance Seedの研究者たちによるこの論文は、大胆な問いを投げかけています。「両方の良いとこ取りができるシステムを構築できるのではないか？」という問いです。彼らは、音を「トークン（データの塊）」としてパッケージ化する新しい方法を提案しています。それは、数は少ないものの、極めて詳細なデータです。そして、ミスが積み重ならないようにするための、新しい学習フレームワークも提案しています。彼らは、この新しいトークナイザーを「Locodec」、学習フレームワークを「MP-ELD」と呼んでいます。彼らは、言葉の意味を教えるために事前学習済みの専門家モデルに頼るのではなく、音が存在する数学的な「空間」そのものを、自然に予測しやすい形へと整えています。彼らの実験によれば、音の塊を注意深く整理し、AI内部の異なる「高速道路」を通じて情報をルーティングすることで、人間のような質を損なうことなく、数分間にわたって安定した音声を生成できることが示唆されています。しかも、他の巨大なAIモデルからの外部の助けを必要としません。

問題点：漂流するロボット

自己回帰型の音声生成器を、完璧な円を描こうとしている人が、自分が今描いた線の最後の1インチしか見えていない状態だと考えてみてください。もしその人がわずかに線を震わせてしまったら、次の1インチは、その震えから始まらなければなりません。もし震えが続けば、円はやがて螺旋状になったり、めちゃくちゃな形になったりします。AIオーディオの世界では、この「震え」を**誤差の累積（error accumulation）**と呼びます。

長い間、科学者たちは、AIが予測する「音符（トークン）」をより単純にすることで、この問題を解決しようとしてきました。彼らは音声を小さく頻繁な断片に分割しましたが、それぞれの断片は非常に単純なものでした。これによりAIの仕事は簡単になりましたが、結果として得られる声は平坦で、細部が欠けてしまいました。一方で、音符を複雑で詳細（高次元）にすると、AIは圧倒されてミスを犯し、数秒後には声が支離滅裂な状態へと漂流してしまいます。それは、重いバックパックを背負って綱渡りをしようとするようなものです。詳細を多く持ち運べば運ぶほど、バランスを保つのが難しくなります。

解決策：遊び場の形成

著者たちは、単に音符を単純にするのではなく、その音符が存在する「遊び場（空間）」の形を変えることができると気づきました。彼らは、この新しいシステムをLocodecと呼んでいます。

音が存在する空間を、巨大で多次元の球体（上下左右だけでなく、何百もの方向を持つボールのようなもの）だと想像してください。通常、この球体の上を移動しようとすると、道に迷いやすくなります。Locodecは、この球体をナビゲートしやすくするために、2つの巧妙な工夫を行っています。

コア・マニフォールド（核となる多様体）: 彼らは、AIが大きな球体の中に、より小さく単純な「コア」を中心に音を整理するように強制します。これは山脈を想像してください。AIは山のすべての砂粒の位置を推測する必要はなく、ただ山の形を知っていればよいのです。これにより、予測は格段に安定します。
エネルギー階層: 彼らは「ポストフィックス次元ドロップアウト（postfix dimension dropout）」と呼ばれるトリックを使用しています。音が768個のライトスイッチが並んだ長い列であると想像してください。学習中、AIは時々、最後の半分のスイッチを切ることを強制されます。これにより、AIは「最初の（プレフィックスの）スイッチが最も重要であり、聞こえるためには最も多くのエネルギーを運ばなければならない」ということを学びます。これは、学生に対して「文章の最初の数単語が、意味を理解するために最も重要である」と教えるようなものです。これにより、明確な重要度の順序が生まれ、AIが混乱するのを防ぎます。

学習フレームワーク：MP-ELD

より優れた遊び場があったとしても、ロボットにはより優れた学習方法が必要です。著者たちは、MP-ELD（Multi-Path Encoder-LM-Decoder）と呼ばれる新しい学習フレームワークを構築しました。

AIに3つの異なる「脳」または経路が連携して働いていると考えてください。

ローカル・ブレイン（局所的な脳）: これは、次の音符がスムーズに流れるように、まさに直前の音符だけを見ます（リズムを維持するようなものです）。
セルフ・コンシステンシー・ブレイン（自己整合性の脳）: これは、声のスタイル（ささやき声か、叫び声か、あるいは特定の人物の声か？）を記憶し、文章全体が同じ人物のように聞こえるようにします。
アライメント・ブレイン（整合性の脳）: これは、テキストや指示を見ながら、ロボットが正しい言葉を話しているかどうかを確認します。

古いシステムでは、これらの脳が互いに衝突し、ロボットが漂流する原因となっていました。MP-ELDは、これらのタスクを分離することで、互いに干渉しないようにしています。また、Classifier-Free Guidance (CFG) という技術をボリュームノブのように使用しています。研究者たちは、文章の途中で「自己整合性」のノブを上げすぎると、ロボットがループに陥ってしまうことを発見しました。しかし、文章がある程度進んでからノブを上げるようにすれば、声はより長く、安定して自然に保たれます。

実験結果

チームは、非常に疎（1秒あたりわずか8個）でありながら、非常に豊か（それぞれ768次元）なトークンを用いてシステムをテストしました。実験によって示された内容は以下の通りです。

安定性: このシステムは、声が漂流したり崩壊したりすることなく、数分間にわたって安定した音声を生成できます。これは、数秒後に失敗してしまうことが多い従来の手法と比較して、大幅な改善です。
品質: 再構成された音声は非常に明瞭です。彼らは単語誤り率（WER）などの標準的な指標を用いて測定を行い、外部の「専門家」モデルの助けを借りずに、最先端のモデルに匹敵する性能であることを確認しました。
トレードオフ: この論文は、興味深いトレードオフを示唆しています。トークンが非常に疎（低いフレームレート）であるため、AIは「内容（言葉）」を正しく伝えることには長けていますが、より頻繁で詳細なトークンを使用するシステムと比較すると、「誰が」話しているかという微細なディテールについては、時として苦戦することがあります。それは、ポーズ（構図）を捉えるのは天才的だが、小さなほくろを見逃してしまうこともあるスケッチ描きのようなものです。

結論

この論文は、安定したロボットか、詳細な声か、どちらかを選ばなければならないわけではないということを示唆しています。音が存在する数学的な空間を注意深く整え、AIに異なるタスクのための別々の「脳」を与えることで、その両方を手に入れることができます。著者たちは単に「魔法のボタン」を見つけたのではありません。データを正しく整理すれば、AIは自然に安定性を高めるように学習できるということを示したのです。彼らのシステムは、声を一定に保ち、言葉を正しく伝えることには非常に優れていますが、特定の人の声をどれほど正確に模倣できるかについては、まだ改善の余地があることも述べています。しかし、外部の助けなしにゼロから構築されたシステムとしては、長時間の会話においてAIの音声を生身の人間に近づけるための、極めて大きな前進です。

技術要約：低フレームレート・高次元連続トークンを用いた安定した自己回帰型音声生成

1. 問題提起

本論文は、自己回帰（AR）音声生成における表現能力と長期的安定性の間の根本的な緊張関係に対処している。

トレードオフ: 高帯域幅・高次元の表現は、信号の詳細を保持し高忠実度な再構成をサポートするが、予測が困難である。ARシステムでは、局所的な予測誤差が時間の経過とともに蓄積し、分布のドリフト（例：音量、音色、またはスペクトル品質の変化）や、最終的な生成の崩壊を引き起こす。逆に、低ビットレートまたは高度に圧縮された表現は、ARモデリングを簡素化するが、重要な情報を放棄するため、再構成の忠実度に限界をもたらす。
ギャップ: 既存のアプローチは、意味空間を定義するために外部で学習済みの自己教師あり学習（SSL）や自動音声認識（ASR）モデルに依存するか、あるいは離散的なトークン階層（例：RVQ）を使用してモデルの複雑さを増大させることが多い。著者らは、低フレームレート、高次元、連続トークンの定式化を、ストリーミング生成フレームワークと共同設計することで、外部の学習済みモデルや事後学習ステージに頼ることなく、堅牢で高忠実度な再構成、強力なシングルトークン予測、および安定した長尺合成を実現できるのではないか、という問いを投げかけている。

2. 手法

提案されるソリューションは、潜在空間の幾何学的形状を規定するトークナイザーであるLocodecと、誤差の蓄積を軽減するように設計された生成フレームワークであるMP-ELDという、結合された2つのコンポーネントで構成されている。

2.1 Locodec: 局所符号化コーデック (Locally Encoded Codec)

Locodecは、識別性を維持するためのエネルギー階層を維持しながら、低次元で補間可能なコア多様体を中心とした高次元の球状トークンスペースを作成するように設計されている。

球状トークンスペース: トークンは高次元球面（ $S^{D-1}$ ）に制約される。これにより、予測タスクから半径方向の自由度が取り除かれ、生成モデルは角度の不一致に集中できるようになる。
低次元コア多様体: 学習可能な直交射影により、高次元トークンを低次元のコア多様体（ $d_{core} \ll D$ ）にマッピングする。双方向のコミットメント損失が、高次元トークンをこのコア多様体に整合させる。コア多様体は、学習中に強力な球面破損（ランダム回転）にさらされるため、再構成に最も重要な情報をエンコードすることを強制され、強力な補間可能性を促進する。
Postfix Dimension Dropout (PDD): 識別性を誘発するために、トークナイザーはpostfix次元ドロップアウトメカニズムを採用している。学習中、特定の確率でトークンベクトルの末尾から次元がドロップされる。これにより、低インデックスの次元がより頻繁に保持されるという可用性のバイアスが生じる。その結果、モデルはこれらの「プレフィックス」次元に高いエネルギーを割り当てることを学習し、コアとなるコンテンツを破損に対してより堅牢にし、予測を容易にするエネルギー階層を作り出す。
アーキテクチャ: トークナイザーは、MDCT係数に基づいた完全なローカルエンコーダ（トークン間の相互作用なし）と、スタックされた因果的ConvNeXt1Dデコーダを使用する。ミッド/サイド定式化を通じて、モノラルおよびステレオ音声の両方をサポートする。

2.2 MP-ELD: マルチパス・エンコーダ-LM-デコーダ (Multi-Path Encoder-LM-Decoder)

MP-ELDは、分類器フリーガイダンス（CFG）下での一貫性のないガイダンスによる誤差蓄積を軽減するために設計された、シングルトークンARフローマッチングフレームワークである。

マルチパス情報ルーティング: 単一の条件付け信号の代わりに、MP-ELDは3つの異なる条件付けパスを構築する：
1. 局所連続性 ( $c_{lc}$ ): 短距離の音響的連続性を強制するために、現在のトークンから派生する。
2. 自己一貫性 ( $c_{sc}$ ): 長期的な安定性と内部属性の一貫性（例：音色）を維持するために、トークンの履歴から派生する。
3. アライメント一貫性 ( $c_{ac}$ ): 外部制御信号（例：テキスト）から派生し、生成をプロンプトに適合させる。
直交残差条件付け: これらのパスは、それらが残差情報をエンコードすることを保証するために、グラム・シュミット変換によって直交化される。
マルチパス残差CFG: 推論時、モデルは各パスに対して速度場を生成するために、3つの独立したフォワードパス（またはその組み合わせ）を実行する：
$v_\tau = v_L + \lambda_{sc}(v_{LS} - v_L) + \lambda_{ac}(v_{LSA} - v_{LS})$
これにより、音響的一貫性（ $\lambda_{sc}$ ）とコンテンツのアライメント（ $\lambda_{ac}$ ）を独立して制御できる。
時間依存型ガイダンス: 初期段階の不安定性を防ぐため、自己一貫性ガイダンスの重み $\lambda_{sc}$ は、ブリッジタイム $\tau$ にわたって徐々に増加するようにスケジューリングされ、信号が非常にノイズフルな状態での攻撃的な外挿を回避する。
柔軟な大きさを伴う方向のみのモデリング: モデルは接線方向を定義するために、球状の終点（endpoint）を予測する。極めて重要な点は、CFG適用後の結合された速度の大きさが、固定されたSFM制限に再正規化されないことである。方向は終点から導出されるが、大きさはCFGの残差に基づいて変化することが許容される。この柔軟性により、ガイドされた軌跡が標準的な測地線とは異なる経路長を持つことが可能になり、学習されたベクトル場の下で目的の終点に到達するために必要な、曲がった経路を強制されることなく、目標への到達失敗やステップ不足を回避できる。

3. 主な貢献

Locodec トークナイザー: 外部のSSL/ASRの教師あり学習なしに、高次元の連続トークンスペースを形成する新しいトークナイザー。これは、球面正規化、低次元コア多様体制約、およびpostfix次元ドロップアウト戦略を組み合わせ、補間可能性と識別性の両方を向上させている。
MP-ELD フレームワーク: 情報経路（ローカル、自己一貫、およびアライメント）を明示的に分離し、マルチパス残差CFGを使用してAR誤差の蓄積と分布ドリフトを軽減するフローマッチング生成モデル。
共同設計原則: ARの安定性と再構成の忠実度のバランスを取るには、単にモデルやデータを大きくするのではなく、表現空間の幾何学と生成フレームワークを共同設計する必要があることを示している。
トークンフレームレートに関する経験的知見: 本研究は、低フレームレート（例：8 Hz）が「意味的・音響的解像度のノブ」として機能し、コンテンツをより長いスパンで自然に集約する（WERと安定性に寄与する）一方で、微細な音響詳細への感度を低下させる可能性がある（話者類似性に影響を与える）ことを示唆している。

4. 実験結果

実験は、Seed-TTS-evalデータセット（中国語および英語）および内部の長尺テストセットを用いて行われた。モデルは、学習済みのテキストLM、SSL、またはASRを使用せずに、ゼロから学習された。

再構成品質: 低次元コア多様体とPDDを課しても、フル次元の再構成品質は低下しなかった。PDDは、プレフィックス次元がポストフィックス次元よりも有意に高いエネルギーを運ぶという、座標ごとのエネルギー階層を正常に誘発した。
予測可能性: 中程度のコア次元（ $d_{core}=32$ ）とPDDを持つトークンで学習された生成モデルは、最も低い学習損失と最も速い収束を達成した。これは、これらのトークンが最も予測しやすいことを示している。
生成性能（短尺）: Seed-TTS-evalにおいて、最良の構成（32/✓）は、中国語で 0.95%、英語で 1.87% の単語誤り率（WER）を達成し、最新のARシステムに匹敵した。
長尺安定性:
- CFG感度: アライメント一貫性ガイダンス（ $\lambda_{ac}$ ）は主にコンテンツのアライメント（WER）を制御し、自己一貫性ガイダンス（ $\lambda_{sc}$ ）は音響的安定性（話者類似性）を制御することを明らかにした。
- ドリフトの軽減: $\lambda_{sc}$ の時間依存型スケジューリングは、長尺合成において極めて重要であった。一定の高いガイダンスは、長尺合成における深刻なドリフト（例：セグメントレベルの話者類似性が0.74から0.40へ低下）を引き起こした。遅延スケジュール（ $\gamma > 0$ ）は、長期的安定性を大幅に改善した。
- PDDの影響: PDDは長期的安定性を一貫して向上させた。例えば、32/×から32/✓への切り替えにより、長尺のWERは20.80%から9.73%に減少し、第5セグメントの話者類似性は0.419から0.578へと向上した。
比較: 提案されたシステムは、外部モデルなしで競争力のあるWERを達成している。しかし、明示的な意味・音響分離や高いフレームレートを使用するシステムと比較すると、話者類似性（SIM）が低くなる傾向がある。これは、低フレームレートのトークンが微細な音響的詳細よりもコンテンツの集約を優先するという仮説を支持している。

5. 重要性と主張

本論文は、表現空間と生成フレームワークを共同最適化すれば、低フレームレート・高次元連続トークンが安定したAR音声生成の実行可能なターゲットになり得ることを主張している。

控えめな主張: 著者らは、自分たちの設計がデータやモデルの規模を支配する、あるいは普遍的なスケーリング則を提示しているとは主張していない。代わりに、トークンスペースの成形と情報ルーティングの効果を分離して検証している。
主要な洞察: 本研究は、トークンスペースを形成するために外部のSSL/ASRの教師あり学習が必要であるという必要性に異を唱え、幾何学的制約を持つ再構成重視のトークナイザーが、同様の安定性のメリットを達成できることを示している。
限界: 著者らは、システムが強力なコンテンツアライメント（低WER）と安定性を達成している一方で、話者類似性においては依然として強力な既存システムに遅れをとっていることを認めている。これは、低フレームレートのトークンに固有の「意味的・音響的トレードオフ（コンテンツを集約するが微細な音響変化を滑らかにしてしまう）」に起因すると考えている。
今後の方向性: 今後の課題として、外部の教師あり学習なしに意味・音響分離を低レートの連続空間に導入すること、デコーダコンポーネントのスケールアップ、および生成の長さに適応する動的なCFGスケジュールの開発などが挙げられている。