技術要約: LeVo 2

問題提起

フルレングスの楽曲生成は、既存の言語モデルベースのシステムにおいて根本的な構造的トレードオフを抱えています。混合トークンモデリング（ボーカルと伴奏を同時に予測する手法）を用いるアプローチは、ボーカルと楽器の協調性を維持できる一方で、相互のマスキングや限定的な離散語彙によってトラック固有の音響詳細が不明瞭になります。逆に、デュアルトラック予測戦略は音響的な忠実度を向上させますが、シーケンス長を劇的に増大させるため、グローバルなプランニング能力を弱め、長期的な構造的一貫性の維持を困難にします。

さらに、この分野は高品質なデータの不足とノイズの多いアノテーションによって制約を受けています。既存の好みの調整（preference alignment）手法は、複数の目的（例：制御可能性 vs 音楽性）を同時に最適化しようとする際に**勾配の衝突（gradient conflicts）**に陥ることが多く、その結果、個々の能力の上限を制限する平均化現象を引き起こします。加えて、静的なオフラインの好みデータセットへの依存は、モデルの性能をデータ生成器の能力に縛り付け、報酬ハッキング（reward hacking）に対して脆弱にします。

手法

LeVo 2は、階層的表現モデリングとデカップルされた美学誘導型トレーニング・パラダイムを採用したハイブリッドLLM-拡散フレームメントを通じて、これらの課題に対処します。

1. 階層的アーキテクチャ (LeLM)

システムの核となるのは、グローバルな意味論的プランニングとトラック固有の音響的精緻化を分離したLeVo言語モデル (LeLM) です。

• 混合意味論的LM (Mixed Semantic LM): 混合トークンを予測するデコーダーのみのTransformerです。これらのトークンは「疑似思考の連鎖（pseudo-chain-of-thought）」として機能し、高レベルの構造情報（メロディ、リズム、テンポ）を捉え、シーケンス長を増大させることなく、ボーカルと楽器のグローバルな調和を保証します。
• トラック固有LM (Track-Specific LM): 混合意味論的LMの隠れ状態に条件付けられ、並列して動作する軽量モジュールです。これはボーカルと伴奏のトークンを個別に予測し、微細な音響詳細を復元します。包括的なコンテキストを提供するために、**ディレイパターン（delay pattern）**メカニメントが採用されており、デュアルトラック予測中に、セマンティックプランナーからの将来の隠れ状態にアクセスすることを可能にします。
• 音楽コーデック (Music Codec): 予測されたデュアルトラックのトークンを、フルレングスの高忠実度波形へと再構成する拡散ベースのデコーダーです。事前学習済みのエンコーダー（MuEncoder）と専用のベクトル量子化器（VQ）を利用して、オーディオをトークンへと離散化します。

2. 美学誘導型の3段階トレーニング・パラダイム

LeVo 2は、音楽的先験知識を注入し、最適化の目的を分離する新しいトレーニング・スケジュールを導入しています。

• ステージ1：美学条件付き事前学習 (Aesthetics-Conditioned Pre-training):

  • 混合意味論的LMは、自動音楽美学評価フレームワークを用いて大規模なデータで学習されます。このフレームワークは、予測された品質スコアに基づき、学習データに「音楽性ティア（musicality-tier）」（例：上位5%、5-25%など）の条件を割り当てます。
  • これにより、モデルはノイズの多いロングテールなデータからコアとなる音響および意味論的知識を学習すると同時に、音楽性の先験的知識を確立でき、推論時における音楽性を考慮したClassifier-Free Guidance (CFG) を可能にします。
  • 伴奏モデリングを強化するために、純粋なインストゥルメンタル音楽も含まれます。

• ステージ2：デカップルされた漸進的事後学習 (Decoupled Progressive Post-training):

  • 教師あり微調整 (SFT): 美学スコアの上位0.5%にデータを絞り込み、高品質な生成のベースラインを確立して出力分布を狭めます。
  • 大規模オフラインDPO: 制御可能性に焦点を当てます。15万件の多様な歌詞とプロンプトを使用し、歌詞のハルシネーションを減らし、プロンプトの一貫性（ジャンル、感情、楽器）を向上させるようモデルを調整します。
  • クローズドループ・セミオンラインDPO: 音楽性に焦点を当てます。定期的に更新されるジェネレーターが新しいデータをサンプリングして好みのペアを作成し、ハイブリッド検証を通じて報酬ハッキングを防ぎながら、静的なオフラインデータセットの限界を超えてモデルを押し上げます。

• ステージ3：美学条件付きモジュラー拡張 (Aesthetics-Conditioned Modular Extension):

  • 整列された混合意味論的LMの重みを凍結します。トラック固有LMは、音響詳細を精緻化することに特化して学習されます。
  • 音響拡張戦略 (Acoustic Augmentation Strategy) が用いられます。混合トークンを（限定的な拡散ステップを介して）低品質なオーディオへと再構成し、再度トークン化します。これにより、トラック固有LMは、微細な音響的ニュアンスをどのように復元し補完するかを学習することを強制されます。

主な貢献

1. 階層的表現モデリング: グローバルな意味論的プランニング（混合意味論的LM）とトラック固有の音響的精緻化（トラック固有LM）を分離する新しいアーキテクチャであり、シーケンス長の爆発を起こすことなく、構造的一貫性と音響的忠実度の間のトレードオフを解決しました。
2. 美学誘導型トレーニング: 事前学習中に音楽性のティア条件を割り当てるための自動音楽美学評価フレームワークを導入し、好みの調整の前に音楽性の先験的知識を提供しました。
3. デカップルされた漸進的事後学習: 制御可能性のためのOffline DPO $\to$ 音楽性のためのSemi-Online DPO という3段階の整列戦略により、勾配の衝突を緩和し、静的なオフラインデータセットの限界を回避しました。
4. 音響拡張を用いたモジュラー拡張: 意図的な音響的破損を用いることで、微細な詳細を復元する能力を高める、トラック固有LMのための特化した学習フェーズを確立しました。

結果

広範な評価により、LeVo 意は既存のオープンソースのベースラインおよび主要な商用システムを大幅に上回ることが示されました。

• 主観評価: 音楽の専門家による6次元の平均意見スコア（MOS）テストにおいて、LeVo 2は、総合的な音楽性、メロディ、アレンジ、構造、ボーカルの音質、および伴奏の音質の全項目において、すべてのオープンソースモデル（YuE, DiffRhythm 2, ACE-Step, HeartMuLa, LeVo）を上回りました。
• 商用比較: メロディ（6.12 vs 6.38）、アレンジ（6.42 vs 6.55）、伴奏の音質（7.10 vs 7.11）といった指標において、LeVo 2はSuno v5やMureka v8のような独自の商用システムに迫る性能を示しました。特筆すべきは、すべての主観的リスニング指標においてMiniMax Music 2.5+を凌駕している点です。
• 客観的評価: LeVo 2は、オープンソースシステムの中で最も低い音素エラー率（PER）（8.55%）を達成し、優れた歌詞の整合性を示しました。また、すべての評価対象システム（商用を含む）の中で、最高の感情制御スコア（8.72）を達成しました。
• アブレーション研究: 階層的アーキテクチャ、美学誘導、または漸進的事後学習ステージのいずれかを削除すると、大幅な性能低下を招くことが確認され、各コンポーネントの必要性が検証されました。

意義

本論文は、LeVo 2が従来のモデルに内在する構造的トレードオフを克服することで、自動楽曲生成における重要な進歩を遂げたことを主張しています。制御可能性と音楽性の最適化を別々のステージに分離し、階層的アーキテクチャを利用することで、本フレームワークは勾配の衝突を軽減し、モデルの性能上限を最大化します。著者らは、美学的先験知識とデカップルされたトレーニング戦略によって導かれることで、オープンソースのアーキテクチャがフルレングスの楽曲生成において商用標準に近づけることを、LeVo 2が実証していると述べています。モデルの重みとコードの公開は、高忠実度で制御可能な音楽生成に関するさらなる研究を促進することを目的としています。