技術要約：MusiChat – 音楽制作のためのバイブ・コンポージング（Vibe Composing）

問題提起

Suno、Lyria、MusicGenといった現在のAI音楽生成システムは、主に「プロンプト入力と再生成」のパラダイムに基づいて動作しています。これらのモデルは、自然言語から完全な楽曲を生成することはできますが、**反復的な洗練（イテレーティブ・リファインメント）**には苦慮しています。ユーザーが特定の要素（例：単一のメロディライン、特定の楽器パート、あるいは歌詞のセグメント）に対して修正を求めた場合、既存のシステムはしばしば失敗します。意図した箇所のみを編集するのではなく、作品全体を再生成してしまうため、結果として音楽的な連続性が損なわれ、ユーザーの元の意図が失われてしまうのです。この制限により、ユーザーは望ましい結果に近づけるために、何度もマルチターン（多段階）の再生成を試みるか、高度な制作知識を必要とする外部ソフトウェアで手動編集を行うことを余儀なくされます。さらに、多くのディープラーニングモデルが持つエンドツーエンドで不透明な性質は、解釈可能性やきめ細かな制御可能性を制限しています。

手法

MusiChatは、自然言語によるインタラクションと階層的な制御可能音楽生成フレームワークを統合した、対話型バイブ・コンポージング・システムを通じてこれらの制限に対処します。本システムは、音楽制作をワンショットの生成タスクではなく、インタラクティブな推論プロセスとして扱うよう設計されています。

システムアーキテクチャ

システムは、構成の可視化（楽譜、MIDIプレーヤー、ピアノロール）を行う左パネルと、対話入力を行う右パネルを備えた2パネル構成のウェブインターフェースを介して動作します。バックエンドのアーキテクチャは、以下の3つの主要コンポーネントで構成されています。

1. ハイブリッド・インテント・ルーティング（意図のルーティング）:

   • システムは、ユーザーのリクエストを解釈するためにハイブリッドなルーティングメカニズムを採用しています。
   • 決定論的ディテクター（Deterministic Detectors）: 軽量な正規表現とキーワードマッチングにより、「Cメジャーに変更して」「速くして」といった明確かつ精密な編集を、大規模言語モデル（LLM）を呼び出すことなく処理し、レイテンシとコストを削減します。
   • LLMベースのルーター: 開放的または曖昧なリクエストに対しては、LLMが意図を分類し、特定のエージェント（歌詞生成、スタイル変換、または構造分析など）にタスクを委譲します。

2. マルチモーダル歌詞生成と永続的状態:

   • ユーザーはテキストまたは画像によって作曲を開始できます。画像が提供された場合、マルチモーダルモデルが視覚的内容を解釈し、画像から着想を得た歌詞を生成します。
   • これらの歌詞は、永続的な中間表現として機能します。不透明な潜在ベクトルとは異なり、歌詞は音楽構造と整合する意味的および韻律的な基礎を提供します。
   • システムは対話のターンを越えて**短期的な構成状態（composition state）**を維持するため、編集はゼロからのフル再生成ではなく、現在のアーティファクトに対して実行されます。

3. ハイブリッド記号論的音楽エンジン:

   • 歌詞から音楽へのスケルトン生成: エンジンは言語的なストレスパターン（強弱）を分析して拍子を推論し、歌詞を階層的にセグメント化します。メロディの連続性を確保するため、バッファ制約付きのステップワイズ・トラバーサルを用いて、音節にメロディ音符を割り当てます。これにより、安定した「音楽的スケルトン」（メロディ、リズム、フレーズ構造、および歌詞の整列）が作成されます。
   • 表面実現（Surface Realization）: プラガブルなサブシステムが、中立的なスケルトンをスタイル固有の表現へと変換します。これは8つのジャンル（クラシック、ポップ、ジャズ、ロック、ワルツ、ローファイ、シネマティック、R&B）をサポートし、3つの交換可能なリアライザーを提供します。
     • 決定論的リアライザー（Deterministic Realizer）: ルールベースの変換を適用します。
     • LLM精緻化リアライザー（LLM-Refined Realizer）: 装飾やアーティキュレーションによって決定論的な出力を豊かにします。
     • LLM駆動型スタイル置換リアライザー（LLM-Driven Style-Replacement Realizer）: 言語モデルを通じて表面的なスタイルを生成します。
   • 極めて重要な点として、すべてのリアライザーは、表面的な属性（ハーモニー、ダイナミクス、表現）を修正しながらも、基礎となるメロディの骨組みと音のオンセット（立ち上がり）を保持します。

主な貢献

本論文は、主に3つの貢献を提示しています。

1. MusiChatシステム: 人間とAIの協調的な音楽制作を促進する、対話型の「バイブ・コンポージング」ツール。これは、曲のスケルトンを保持しながら特定の機能を変更することで、自然言語を用いた反復的な音楽の洗練を可能にします。
2. 階層的制御可能フレームワーク: 歌詞に整合した音楽構造の生成と、表現力豊かな表面実現を分離する新しいアーキテクチャ。この分離により、柔軟なスタイルの変換と構造保存型の編集が可能となり、エンドツーエンドモデルの「絡まり合った（entangled）」性質という課題を解決します。
3. 包括的な評価: 客観的な特徴編集メトリクスと、音楽経験の異なる35名の参加者による人間による知覚研究を組み合わせた厳格な評価。

結果

著者らは、客観的な分析と、様々な音楽経験を持つ35名の参加者を対象とした人間による研究を通じて、MusiChatを評価しました。

• 特徴編集の正確性:

  • シングルターン・インタラクション: 不用意な副作用を伴わずに、要求された編集（キー、テンポ、ピッチの変更など）を正しく適用する精度において、**95.31%**を達成しました。
    تعتبر マルチターン・インタラクション: **100%**の精度を達成し、反復的な編集がエラーの蓄積を招かず、逐次的なリクエストに対してもシステムが安定していることを示しました。
  • 全体的な正確性: テストされたすべてのシナリオにおいて97%の精度を記録しました。

• 人間による評価（知覚的品質）:

  • 自然さ: メロディの自然さに関する「好ましい」と「好ましくない」の評価比は 2:1 でした。
  • 音楽的品質: 全体的な品質に関する「好ましい」と「好ましくない」の評価比は 3:1 でした。
  • 平均意見スコア (MOS): 3つのリアライザーすべて（決定論的、LLM精緻化、LLM置換）は、1〜5のスケールで3.38から3.63のMOS評価を受けました。統計分析の結果、リアライザー間に有意な差は見られませんでしたが、決定論的リアライザーは一部の比較において、わずかに高い対比較差を示しました。
  • 保存性: 対話的な評価において、MusiChatはベースラインとなる再生成手法と比較して、メロディの保存性と歌詞の整列において、2〜3倍優れた性能を示しました。ベースラインの手法は、時間の経過とともにエラーを蓄積し、メロディを変化させる傾向がありました。

意義と主張

本論文は、MusiChatが対話型インターフェースを通じた一貫性のあるマルチターン音楽作成の実現可能性を示していると主張しています。音楽生成を、不透明なエンドツーエンドの生成から、歌詞による推論に基づいたハイブリッドな記号論的手法へとシフトさせることで、以下のことが可能になります。

• 反復的な洗練: ユーザーは、ゼロから作り直すのではなく、音楽的なアイデアを直接進化させることができます。
• 構造の保存: システムは「ソング・スケルトン」（メロディ、リズム、構造）を維持しながら、表面レベルの変更を可能にします。これは、最先端の生成モデルには欠けている能力です。
• アクセシビリティ: 「バイブ・コンポージング」のワークフローは、音楽経験がほとんど、あるいは全くないユーザーでも、自然言語を用いて複雑な音楽構造を作成・洗練できるようにし、参入障壁を下げます。

著者らは、本研究を解釈可能で協調的なクリエイティブAIへの一歩として位置づけています。これは、音楽生成を言語中心の推論プロセスへと再定義するものであり、純粋なニューラルネットワークによるブラックボックス・システムでは困難な、人間の監視と検査を可能にします。