技術要約：LK Jam – リアルタイム・ヒューマンAIインタラクティブ音楽生成システム

1. 問題提起

本論文は、現在のAI音楽生成能力と、ライブでの身体性を伴う人間とAIの相互作用（human-AI interaction）の要件との間にある決定的な乖離を指摘している。ディープラーニングはオフラインの記譜的（symbolic）な音楽生成において進歩しているものの、既存のシステムは以下の3つの主要な制限により、リアルタイム即興演奏における厳格な要求を満たすことができていない。

• レイテンシのボトルネック: 主要なモデル（例：Transformer）は、高い推論レイテンシ（$O(N^2)$ の計算量）と膨大なパラメータ数を抱えており、デジタル・オーディオ・ワークステーション（DAW）のオーディオ・スレッドにおける厳格な低レイテンシ制約には適していない。
• インタラクション・ロジックの欠如: 現在のインタラクティブAIの多くは、真のパートナーというよりも「無限の継続者」として機能している。これらは「ロール（役割）認識」や明示的なターンテーキング（順番交代）のメカニメントを欠いており、ジャズの即興演奏（例：「トレーディング・フォーズ」）に不可欠な「聴く」ことと「応答する」ことのダイナミクスを理解できていない。
• エンジニアリング上のデプロイ障壁: 重い推論エンジン（ONNXやTensorFlowなど）をVST3プラグインに統合すると、動的なメモリ割り当てやスレッド競合といった非決定論的なランタイム挙動が導入され、リアルタイム環境においてオーディオのドロップアウト（音切れ）を頻繁に引き起こす。

2. 手法

著者らは、アルゴリズム設計と高性能エンジニアリングを三層のアプローチによって橋渡しするシステム、LK Jamを提案している。

A. アルゴリズム表現：ロール認識型疎イベントストリーム

計算コストの高い固定時間グリッドの代わりに、本システムはタイムスタンプに基づく疎なイベントストリームを利用する。

• 入力特徴量: モデルは、各イベントステップにおいて、以下の要素を結合した多次元特徴ベクトル（$x_t$）を処理する。
  • ピッチおよびベロシティの埋め込み。
  • マイクロタイミング（スウィング、レイドバック）を捉えるためのタイムシフト（$\Delta t$）の埋め込み。
  • テンションの軌跡を理解するための連続的なハーモニック・コンテキスト（$C_t$）。
  • ロール認識エンコーディング（$E_{role}$）: 人間とAIの入力を区別するバイナリ識別子。
  • フレーズ位置識別子（$E_{phrase}$）: フレーズの開始、継続、または終了をマークし、構造的な完結性を強制する。
• モデルアーキテクチャ: 自己回帰的なTransformerの計算量の急増を回避するため、これらの疎なストリームを$O(1)$の単一ステップの計算量で処理できる軽量な**GRU（Gated Recurrent Unit）**を選択している。

B. 学習戦略：3段階のプログレッシブ学習

基本的なハーモナイゼーションからエキスパートレベルのインタラクションへと移行するために、著者らは段階的な学習パイプラインを採用している。

1. ステージ1（アトミック・ハーモナイゼーション）: コードのルート、第3音、第7音に厳密に拘束された、アルゴリズム生成による単音メロディを用いた事前学習。これにより、ハーモニックな基盤を確立する。
2. ステージ2（スタイリスティック・ワンダリング）: 多様なハーモニック・シナリオ（例：ii-V-I、ブルース）への拡張、およびジャズ特有の技法（ビバップ・スケール、エンクロージャー）や自己モチーフの開発の導入。
3. ステージ3（エキスパートレベルのインタラクション）: 高品質な「トレーディング・フォーズ」データセットを用いた教師あり微調整（SFT）。このステージでは、ロール認識エンコーディングを明示的に活性化させ、モデルに「聴くー分析するー応答する」のサイクルや、模倣（imitation）や反転（inversion）といった特定のインタラクション戦略を学習させる。

C. エンジニアリング実装：ロックフリー・リアルタイム・アーキテクチャ

本システムは、JUCEフレームワークとRTNeural推論エンジンを用いたC++ VST3プラグインとして実装されている。

• スレッド管理: 厳格なトリプルスレッド構成により、高優先度のオーディオ・スレッド（MIDIキャプチャ／再生）、推論スレッド（重いモデル計算）、およびUIスレッドを分離している。
• ゼロ・アロケーション実行: RTNeuralのC++テンプレート・メタプログラミングを活用することで、ネットワーク・トポロジーと重みをコンパイル時に確定させている。これにより、実行時の**アロケーションフリー（メモリ割り当てなし）**な実行を保証し、オーディオのドロップアウトを引き起こす動的なメモリ割り当てのリスクを排除している。
• 通信: ロックフリーのキューとアトミックなダブルバッファリングを使用し、リアルタイムのオーディオ・クロックをブロックすることなく、スレッド間でデータを同期させる。

3. 主な貢献

本論文は、主に以下の3つの貢献を主張している。

1. 3Dデータエンコーディング戦略: マルチターン・インタラクションにおけるモデルのコンテキスト認識を高めるために、入力ストリーム内にロール識別子とフレーズ識別子を導入した。これにより、モデルが「聴いている」状態と「演奏している」状態を区別することを可能にした。
2. 低レイテンシ・エンジニアリング・フレームワーク: オフライン学習からDAWでのリアルタイム推論に至る完全なデプロイ・パイプラインを提供し、ロックフリーかつアロケーションフリーなアーキテクチャを用いることで、オーディオ・スレッドのドロップアウトを構造的に軽減した。
3. プログレッシブ学習戦略: AIの生成ロジックを人間の即興演奏の思考プロセスに適合させる手法であり、単純なコード・ハーモナイゼーションから複雑な双方向の音楽的対話へとモデルを移行させた。

4. 結果および評価計画

本論文は、本研究を予備的な技術報告書として提示しており、大規模なユーザー調査による確定的な定量的結果を主張するものではない。代わりに、期待される成果と評価指標を概説している。

• パフォーマンスの期待: 本アーキテクチャは、自己回帰的デコーディングにおいて厳格な$O(1)$の計算量を維持するように設計されており、オーディオ・スレッドがCPU負荷の高い推論タスクから解放されることを理論的に保証している。
• 定性的目標: 3段階の学習によって、モデルのパープレキシティ（perplexity）が低下し、構造的な整合性が向上することを期待している。
• アブレーション研究: ロール（$E_{role}$）およびフレーズ（$E_{phrase}$）識別子の除去が、目的のない無限のフレーズ生成を招くかどうかを検証し、それらの必要性を実証する計画である。
• 評価の次元: 今後の主観的評価のために、モチーフ応答戦略、フレーズ境界、ハーモニックへの忠実度、線形的装飾、リズム密度、メロディ輪郭の6つの次元によるフレームワークを提案している。

5. 意義

本論文は、LK Jamを次世代の**具現化されたAI（Embodied AI）**における堅牢な技術パラダイムとして位置づけている。極限のリアルタイム・エンジニアリングの制約に挑戦することで、以下のことを実証している。

• ロール認識は、AIを受動的な生成器から、能動的な共演者（co-performer）へと変貌させ、「仮想的なシナジー（virtual synergy）」を生み出すために不可欠である。
• 軽量モデル（GRU）とコンパイル時最適化（RTNeural）の組み合わせは、標準的なDAW環境内で超低レイテンシのインタラクションを実現するための実行可能な道筋を提供し、これまでライブ音楽におけるAIの展開を制限してきたデプロイ障壁を克服するものである。

著者らは、現在、レイテンシの安全性を確保するためにモノフォニック（単音）ストリームに焦点を当てているが、このアーキテクチャは、将来的なマルチトラックおよびマクロ構造的なプランニングへの拡張のための基礎的なフレームワークを提供するものであると強調している。