テクニカル・サマリー：LiveBand – オーディオ領域におけるライブ伴奏生成

1. 問題定義

本論文は、ライブ・オーディオ入力ストリームからのリアルタイム音楽伴奏生成という課題に取り組んでいる。核心となる困難さは、**厳格な因果性（strict causality）**にある。すなわち、モデルは将来の入力（「フューチャー・ミックス」）にアクセスすることなく、低レイテンシで高忠実度な伴奏フレームを生成しなければならない。

既存のアプローチには、この設定において主に2つの制限がある：

1. 露出バイアスと誤差の累積： 従来の自己回帰モデルは、学習時に「教師強制（teacher forcing）」（過去の正解フレームを次ステップの入力として与える手法）を用いて学習されるため、推論時に分布の乖離が生じる。モデルが自身の過去の予測値を入力として使用する場合、小さな誤差が蓄積し、長期的なドリフトや音楽的な非同期を引き起こす。
2. フレームレベル vs シーケンスレベルの目的関数： 標準的なフレームレベルの予測目的関数は、わずかな先読み的な誤差を厳格に罰してしまう。しかし、将来のコンテキストが未知であるリアルタイムの設定では、熟練したミュージシャンであっても小さなタイミング調整を行うものである。厳格なフレームレベルの目的関数は、自然なジャムセッションに必要な全体的な一貫性を捉えることができない。
3. ルックアヘッド（先読み）への依存： 近年の研究では、生成された伴奏と入力ミックス間の強い整合性を実現するには、「ルックアヘッド（将来のミックス・フレームへのアクセス）」が必要であることが示唆されているが、これは厳格なリアルタイム制約に抵触する。

2. 手法：LiveBand

LiveBandは、学習済みの因果的オーディオ・オートエンコーダの**連続潜在空間（continuous latent space）**内で伴奏を生成するリアルタイム・システムである。そのアーキテクチャと学習パラダイムは、学習時と推論時のミスマッチを排除するように設計されている。

2.1 コア・コンポーネント

• 因果的オーディオ・オートエンコーダ (AE): 事前学習済みの、厳格に因果的なCoDiCodecのバリアント。ステレオ波形（44.1 kHz）を、約10 Hz、次元数128の連続潜在シーケンス（ダウンサンプリング比 4096×）へとエンコードする。エンコーダもデコーダも、将来のオーディオ・コンテキストにはアクセスしない。
• ジェネレータ (G): 潜在フレーム上で動作する因果的トランスフォーマー。
  • 入力: 各タイムステップ $t$ において、因果的に利用可能なミックス履歴 ($m_{\le t}$) と、独立したガウスノイズベクトル ($z_t$) を受け取る。
  • アーキテクチャ: プリノルム（Pre-norm）トランスフォーマー・ブロック、アダプティブ・レイヤー正規化、因果的マルチヘッド・セルフアテンション（Query-Key正規化およびRotary Position Embeddingsを使用）、およびSwiGLUフィードフォワード・ネットワークで構成される。
  • メカニズム: 将来のミックス情報や正解のターゲット潜在変数にアクセスすることなく、将来の伴奏フレーム $a_{t+1+\delta}$ （ここで $\delta$ は潜在フレーム単位の先読み量）を予測する。
• ディスクリミネータ (D): 非因果的な1D畳み込みネットワーク（学習時のみ使用）。対応するミックスに条件付けられた完全な伴奏シーケンスのリアリズムをスコアリングする。ミックスと伴奏の潜在変数の結合シーケンスを評価する。

2.2 学習パラダイム：教師強制の排除

中心的な革新は、**学習と推論の等価性（training-inference equivalence）**を確保するために教師強制を排除したことである。

• 正解フィードバックの不在: 学習中、ジェネレータは過去の正解伴奏フレームを自身の入力として決して受け取らない。代わりに、各ステップにおける隠れ状態に対する内部的なセルフアテンションと、独立したノイズベクトルに依存する。
• 並列因果パス: ジェネレータが自身の過去の出力に依存しないため、全シーケンスを因果的マスクの下で単一の並列フォワードパスとして生成できる。これは、ステップごとの自己回帰的な推論プロセス（KVキャッシュを使用）と計算上同一であり、これにより設計段階で露出バイアスを排除している。
• シーケンスレベルの敵対的監督: フレームごとの予測誤差を最小化する代わりに、Relativistic GAN (R3GAN) 目的関数を用いてモデルを学習させる。ディスクリミネータは生成されたシーケンス全体を対応する実シーケンスと比較して評価し、分布レベルの監督を提供することで、グローバルな音楽的一貫性を促進し、局所的なタイミングの微細なズレを許容する。

2.3 安定化技術

• アテンション・シンク (Attention Sinks): KVキャッシュの破棄による長時間のストリーミング中のドリフトを防ぐため、スカラー・アテンション・シンク機構を採用し、初期トークンへのアクセスを保証する。
• 適応的勾配ペナルティ (AdaGP): ディスクリミネータの損失における勾配ペナルチの重み ($\lambda$) を動的に調整し、ディスクリミネータがジェネレータに対して一定のターゲット・アドバンテージ ($a^*$) を維持するようにするオンライン・メカニズム。これにより、手動のハイパーパラメータ調整なしに敵対的学習を安定させる。

3. 主な貢献

1. 敵対的監督を備えた厳格な因果的トランスフォーマー: ルックアヘッドなしで動作し、ミックスへの強い追従性を実現する、シーケンスレベルの敵対的監督を用いて学習されたモデルの導入。
2. 学習と推論の等価性: 設計によって学習時と推論時の条件を完全に一致させた、初のストリーミング伴奏モデルであり、高価な逐次的ロールアウトを必要とせずに露出バイアスと誤差の蓄積を排除した。
3. 適応的勾配ペナルティ: 勾配ペナルティの重みの手動チューニングを不要にする、自動的にディスクリミネータの安定性を維持する新しい手法 (AdaGP)。

4. 実験結果

モデルは、最先端の自己回帰ベースラインである StreamMusicGen (SMG) に対し、Slakh2100 データセット（およびCLAP条件付きバリアントのための内部コーパス）を用いて評価された。

• 客観的指標: LiveBandは、同期設定 ($\tau=0$) および先読み設定 ($\tau=0.1s, 1s$) の両方において、すべての指標（FAD、Beat Alignment、COCOLA）でSMGを凌駕している。
  • ドリフト: 時間経過とともに性能が低下するSMGとは異なり、LiveBandはほぼゼロまたは好ましいドリフトを示しており、局所的な誤差が蓄積しないことを示している。
  • 先読み（Anticipation）: LiveBandは、SMGが苦戦する領域である、入力ミックスの1秒先を生成する設定においても高い性能を維持している。
• 主観的リスニングテスト: 19人の参加者を対象とした調査において、LiveBandは音質、時間的一貫性、およびミックスへの追従性のすべてにおいて、SMGよりも有意に好まれた。
• リアルタイム性能: 一般的な消費者向けGPU（RTX 3090）において、LiveBandは0.1秒の先読み予算に対し、1.1×（イガーモード）および 2.1×（コンパイルモード）のリアルタイム係数（RTF）を達成し、消費者向けハードウェアへのデプロイ可能性を証明した。

5. 意義と主張

本論文は、高品質なライブ伴奏のためにルックアヘッドを必要とする制限は、タスクの本質的な限界ではなく、むしろ教師強制やフレームレベルの目的関数といった、教師あり学習のミスマッチに起因するものであると主張している。

• ドリフトの解決: 次ステップ予測型の監督をシーケンスレベルの敵対的監督に置き換え、教師強制を排除することで、モデルは誤差を蓄積することなく、ライブ入力の前方へ生成することができる。
• 全体的な一貫性: 敵対的目的関数は、モデルに長期的な音楽構造を保持することを促し、リアルタイム演奏において必要とされる自然で小さなタイミング調整を許容することを可能にする。
• 実現可能性: 本研究は、シーケンスレベルの敵対的学習を用いることで、堅牢でインタラクティブなリアルタイム生成モデルを構築できることを示しており、テンポ、キー、ダイナミクスに適応し、レイテンシによる非同期が発生しないAIコンパニオンと共にジャムを行うことを可能にする。

著者らは、システムが強力な音楽的一貫性を達成している一方で、**オーディオ品質（忠実度）**については、グラウンドトゥルースと比較してまだ改善の余地があることを認めており、今後の研究はより高忠実度な因果的オートエンコーダに焦点を当てるべきであることを示唆している。