⚡ electrical engineering

VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation

VoiceDesignerは、ハイブリッドなデータパイプラインと改良された拡散トランスフォーマーを活用することで、多様な現実世界の音声や架空の音声を生成する際の既存の限界を克服し、堅牢で制御可能な音声編集を可能にする統合フレームワークです。

原著者： Jiarui Hai, Karan Thakkar, Ke Chen, Yunyun Wang, Jiaqi Su, Rithesh Kumar, Mounya Elhilali, Zeyu Jin

公開日 2026-08-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiarui Hai, Karan Thakkar, Ke Chen, Yunyun Wang, Jiaqi Su, Rithesh Kumar, Mounya Elhilali, Zeyu Jin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの声が単なる生物学的な偶然ではなく、ギターのようにチューニングできるカスタマイズ可能な楽器である世界を想像してみてください。何十年もの間、コンピュータはテキストを読み上げることは得意としてきましたが、実在する人物の録音データをコピーして与えない限り、通常は単一の、硬いロボットのような声になります。テキスト・トゥ・ボイス（TTV）として知られるこの分野は、その状況を変えようとしています。特定の人物をコピーする代わりに、科学者たちはコンピュータに「不機嫌な老魔術師」や「興奮したエイリアン」といった記述を理解させ、ゼロから声を作り出す方法を教えているのです。これは、料理の写真ではなく、言葉で書かれたレシピをシェフに渡すようなものです。目標は、指示を読み取るだけで、正確な風味、質感、そして香りを呼び起こすことです。しかし、これまでは、これらのデジタルシェフには2つの大きな問題がありました。一つは、彼らは主に「人間」という料理しか作れないこと、もう一つは、もし味付けの微調整（例えば、声をより幸せそうにするなど）を頼むと、料理全体を台無しにしてしまうことでした。

そこで登場したのが、マスター・ボイス・アーキテクト（声の設計家）として機能する新システム、「VoiceDesigner」です。このプロジェクトの開発者たちは、既存のシステムが、標準的な人間の声を生成することに固執しており、ドラゴンや悪魔のような架空のキャラクターを作成しようとしたり、声のムードを壊さずにトーンを編集しようとしたりすると失敗してしまうという、マンネリ状態にあることに気づきました。これを解決するために、彼らは音声の生成と音声の編集を、表裏一体のものとして扱う統一されたフレームワークを構築しました。これは、テキストによる記述を使ってゼロから声を作り上げることも、既存の声を取り上げ、「もっとミステリアスな感じにして」といった単純な指示で形を変えることもできる、一つの超スマートなスタジオのようなものです。

VoiceDesignerの秘訣は、2つの要素の巧妙な組み合わせにあります。第一に、彼らは単に実在の人物の録音に頼ったのではなく、デジタル信号処理（サウンドボードのノブを回すようなもの）と生成AIを使用して、数千の偽物ながらもリアルな声を生成する「ボイス・ファクトリー（音声工場）」を構築しました。これにより、実世界の録音では空白となっていた部分を埋めるように、人間の囁き声からモンスターの深い唸り声に至るまで、あらゆるものを学習させることができました。第二に、彼らはシステムの「脳」にあたる、拡散トランスフォーマー（Diffusion Transformer）と呼ばれる種類のAIをアップグレードしました。彼らは、指示、書き起こし、そしてオーディオ・リファレンスを同時に、混乱することなく聞き取れる新しい方法を導入しました。それは、本、映画、音楽を決して混同することのない司書のように、異なる種類の情報を整理しておくための、特別な3Dポジショニング・システムを使用しています。

結果は、このアプローチが極めてうまく機能していることを示唆しています。テストにおいて、VoiceDesignerは他のオープンソースモデルよりも複雑な指示に従うことに長けており、海賊やロボットといったキャラクターの声を見事に生成し、記述通りに聞こえるようにしました。また、話し手のアイデンティティを失うことなく、話し手の感情やトーンを変更できる優れたエディター（編集者）であることも証明されました。トップクラスの商用システムとの間にはまだわずかな隔たりがあるものの、この論文は、創造的なデータ・シミュレーションと、よりスマートで統一されたモデルを組み合わせることで、キーボードから想像できるあらゆる声を設計できる未来に、大きく近づいていることを示しています。

技術サマリー: VoiceDesigner

問題提起

テキストからの音声（TTV）生成は、トランスクリプトと話者の声に関する自然言語による記述から音声を合成することを目的としている。近年のディープラーニングの進歩により、音声属性が生成を導くシステムが可能になったが、既存のモデルには主に2つの制限がある：

音声の多様性の欠如: 現在のシステムは、幅広い音声、特に架空のキャラクターや非人間的なキャラクター（例：モンスター、ロボット、悪魔）や、あまり一般的ではない話し方（例：囁き声、緊張した話し方）の生成に苦慮している。学習データの多くはオーディオブックやポッドキャストからの自然な人間の音声で構成されており、映画やゲームのようなクリエイティブな用途に必要な多様性が不足している。
編集能力と再利用性の弱さ: 既存のボイスクローニングおよび指示ベースの編集システムは、従来の人間らしい声向けに設計されていることが多く、様式化された、あるいは型破りな声を扱う際の堅牢性に欠ける。さらに、音声生成と編集は通常、別々のシステムとして実装されており、それがデプロイコストを増大させ、低リソース環境での適用性を制限している。

手法

著者らは、ハイブリッド・データパイプラインと最適化された拡散トランスフォーマー・アーキテクチャを通じて、これらの課題に対処する、TTV生成と編集のための統一フレームワークであるVoiceDesignerを提案する。

1. ハイブリッド・データ・シミュレーション・パイプライン

非人間やキャラクターの音声に関するデータの不足を克服するため、著者らは2つの補完的なシミュレーション・パイプラインを採用している：

DSPベースのシミュレーション: デジタル信号処理（DSP）パイプラインを用いて、ピッチシフト、フォルマントシフト、リバーブ、ダイナミックレンジ圧縮などのエフェクトを適用することで、標準的な人間の音声を非人間的なキャラクターの声（例：ドラゴン、幽霊、ロボット）へと変換する。これにより、各キャラクター専用の録音を必要とせずに、非人間的な音声特性を含む音声分布を拡張する。
生成的シミュレーション: ゼロショット・テキスト・トゥ・スピーチ（ボイスクローニング）およびボイスコンバージョン・モデルを活用したパイプラインにより、高品質なスタイリスティック・データを増強する。これにより、特定の音声特性（音色、感情、アクセント）やスタイル特性（ピッチ輪郭）を保持しながら、多様な言語コンテンツを生成し、音声編集タスクのための教師信号を提供する。
データフィルタリング: 多段階のフィルタリングプロセスにより品質を確保する。具体的には、言語的な正確性のための単語エラー率（WER）と、話者および感情の一貫性のための埋め込み類似度指標を利用する。

2. モデル・アーキテクチャ: 統一MM-DiT

VoiceDesignerは、オーディオ潜在空間（DAC-VAEを使用）で動作するマルチモーダル拡散トランスフォーマー（MM-DiT）に基づいている。これは、単一のフレームワーク内で3つの生成モードを統合する：

音声生成 (Voice Generation): トランスクリプトと音声記述から音声を合成する。
ボイスクローニング (Voice Cloning): リファレンス音声とトランスクリプトから話者のアイデンティティを保持する。
音声編集 (Voice Editing): 言語的内容を保持しながら、指示に基づいてリファレンス音声の属性（感情、スタイル、ピッチ）を修正する。

主要なアーキテクチャの革新:

トークンレベル適応層正規化 (AdaLN): 従来のTTSフレームワークで使用されているグローバルな拡散タイムステップとは異なり、VoiceDesignerは各トークンに連続的なタイムエンベディングを割り当てる。生成対象にはノイズ（タイムステップ $t \in [0, 1]$ ）が付与される一方、条件付け入力（指示、トランスクリプト、リファレンス音声）はノイズフリー（ $t=1$ ）に保たれる。この明確な区別により、モデルは異種混合の信号をより良く調整でき、収束が改善される。
3D回転位置エンコーディング (3D-RoPE): 3つの異なる条件付けモダリティ（指示、トランスクリプト、オーディオ）を扱うため、著者らはRoPEを3D空間へと拡張した。指示トークン、トランスクリプト・トークン、およびオーディオ・トークンは、それぞれ独立した軸（ $x, y, z$ ）に沿ってエンコードされる。これにより、モダリティ固有の帰納バイアスと時間的整合性を保持しながら、全トークン間での統一された自己注意（self-attention）を可能にする。

主な貢献

ハイブリッド・データ・パイプライン: DSP技術と生成モデルを組み合わせ、実世界の人間、架空のキャラクター、および編集ペアをカバーする多様なデータセットを構築する新しいアプローチ。これにより、非人間的な音声データの不足に対処する。
統一MM-DiTアーキテクチャ: トークンレベルのAdaLNと3D-RoPEを備えた最適化された拡散トランスフォーマー。これにより、テキスト・トゥ・ボイス生成、クローニング、および指示による音声編集を共同でモデリングし、単一のモデル内で高忠実度な生成と精密な制御を実現する。
包括的な評価: 最先端のオープンソースおよび商用ベースラインと比較して、優れたプロンプト整合性と競争力のある知覚品質を示す、広範な主観的および客観的実験。

実験結果

著者らは、CapSpeech、Qwen3-TTS、ElevenLabs (API)、およびIndexTTS-2を含むシステムに対してVoiceDesignerを評価した。

音声生成: VoiceDesignerは、オープンソースモデルの中で最高のスタイル精度（0.66）と最低の単語エラー率（1.22%）を達成した。主観的なリスニングテスト（MOS）において、プロンプトと音声の整合性（MOS-C）で優れ、使いやすさ（MOS-U）および品質（MOS-Q）においても競争力のある結果を示し、特に後処理による強化を適用した場合、商用システムとの差を縮めた。
ボイスクローニング: Seed-TTSベンチマークにおいて、VoiceDesignerはWER 1.70%、話者類似度（SIM-o）0.757を達成し、ほとんどのオープンソースのゼロショットTTSモデルを上回り、クローズドソースの性能に迫った。困難なキャラクター音声に関する主観テストでは、音色とスタイルの類似性の両面でCosyVoice-3およびIndexTTS-2を上回った。
音声編集: VoiceDesignerは、音声の類似性（SIM-t: 0.884）と指示追従の正確さ（MOS-E: 4.129）の両方においてStep-Audio-EditXおよびIndexTTS-2を凌駕し、重大なアーティファクトを導入することなく、きめ細かなスタイル編集を行う堅牢な能力を示した。
効率性: モデルは、単一のRTX 4090上で、生成において0.36、編集において0.42のリアルタイム係数（RTF）で動作し、Qwen3-TTSやIndexTTS-2よりも大幅に高速である。

意義と主張

本論文は、VoiceDesignerが、属性ベースのプロンプトの限界を超え、直感的なキャラクターデザイン（例：「巨大な雄のドラゴン」）をサポートすることで、音声生成と編集を統合する大きな一歩を踏み出したと主張している。ハイブリッド・データ・パイプラインを活用することで、本フレームワークは、自然な音声コーパスからは入手が困難な音声、すなわち非人間的な存在の声を正常にモデリングすることに成功している。アーキテクチャの革新（トークンレベルAdaLNおよび3D-RoPE）は、異種混合の条件付け信号の効果的な調整を可能にし、単一のモデルが高忠実度で生成、クローニング、および編集のタスクを処理することを可能にしている。

著者らは、主要な商用システム（例：ElevenLabs）との間には依然として性能差が存在すると指摘しているが、その結果は、同様のデータシミュレーションおよびモデリング・パラダイムに従い、追加の実世界のトレーニングデータを組み合わせることで、この差をさらに縮めることができることを示唆している。本研究は、多様で制御可能な音声デザインが極めて重要となる、日常的なコンテンツ制作、ゲーム、映画制作におけるこのような統一フレームワークの可能性を強調している。