技術要約：Co-policy – 音楽パフォーマンスのための応答型人間・ロボット共同創造

1. 問題提起

本論文は、**身体性を伴う人間とロボットの音楽的共同創造（embodied human-robot musical co-creation）**という課題に取り組んでいる。生成AIは、非身体的なコンテンツ（テキスト、オーディオ、楽譜）の生成においては進歩を遂げているが、ロボットシステムは、真の創造的な寄与やリアルタイムの物理的適応を行うことなく、あらかじめ指定された音符を実行するだけの再生デバイスとして機能することが多い。

著者らは、解決されていない2つの科学的な問いを特定している：

1. セマンティック・トゥ・アクション・ギャップ（意味から行動への乖離）： ロボットはいかにして、不完全な人間の創造的シード（例：モチーフ、言葉による意図、あるいはスタイル）を、単なる機械的なコピーではなく、補完的な音楽的応答へと変換できるか？
2. 物理的実行とレイテンシ： この応答を、いかにして物理的に正確に、かつインタラクションレベルのレイテンシで実行するか？

既存のソリューションには、以下のようなトレードオフが存在する：

• 拡散ポリシー（Diffusion Policies）： 高い表現力を持つが、反復的なデノイジングによる高いレイテンシという問題を抱えており、緊密な人間とロボットの音楽的タイミングには適していない。
• 標準的な模倣モデル（Standard Imitation Models）： 多くの場合、平均的な行動へと収束（モード崩壊）してしまい、表現力豊かなパフォーマンスに必要な多様な打撃モードを失ってしまう。
• 非身体的な生成モデル（Disembodied Generative Models）： 実世界の実行に必要な物理的制約（到達可能性、楽器のダイナミクス）を欠いている。

2. 手法：Co-policy フレームワーク

Co-policyは、パイプラインをセマンティック・インテント・グラウンディング（意味的意図の接地）、制約付き音楽的変奏、およびビジュオモーター（視覚運動）実行の3つのステージに分離した、モジュール式で軽量な身体的AIエージェントである。

2.1 セマンティック・インテント・グラウンディングとプランニング

VLM（視覚言語モデル）をモノリシックなエンドツーエンドの生成器として扱うのではなく、Co-policyはそれをセマンティック・グラウンディング・モジュールとして使用する。

• セマンティック・アンカー・バンク（Semantic Anchor Bank）： ペアになった音楽的シード、楽譜画像、スタイル記述子、およびロボットの演奏可能性タグのデータベースを使用し、推論中に適切なコンテキストを検索する。
• ファインチューニングされたQwen-vl (F-Qwen)： VLMは、自由形式のテキストではなく、構造化されたJSONプランを出力するようにファインチューニングされている。これは、人間の音声、ライブ音楽シード（オーディオから抽出）、および視覚的観察（RGB）を処理し、ロボットの役割（例：「伴奏」）、スタイル、テンポ、および到達可能な音符を定義する。
• 制約付き変奏プランナー（Constrained Variation Planner）： プランナーは、以下の4つの基準を満たすロボットの音符応答（$N^r_t$）を生成する：
  1. モチーフの一貫性： 人間のシードから認識可能な構造を保持すること。
  2. 和声的正当性： 調性的衝突を回避すること。
  3. 新規性： 直接的なコピーを防ぐこと（創造的な寄与を確保する）。
  4. 身体的演奏可能性： プランがロボットの作業空間およびレイテンシの制限内で実行可能であることを保証すること。

2.2 ガウス混合ビジュオモーター・ポリシー (GMP)

レイテンシとマルチモーダル性の課題に対処するため、本論文では、シングルパスの条件付き混合密度ポリシーであるGMPを導入している。

• ガイド付き自己注意（Guided Self-Attention: GSA）エンコーダ： 視覚的推論におけるグローバル・ローカルの不均衡を解消するため、エンコーダはデュアルストリーム・アーキテクチャを使用する：
  • Swin Transformer ストリーム： 長距離の空間的依存関係（シーンのレイアウト）を捉える。
  • DenseNet ストリーム： ピクセル単位の局所的特徴（接触領域）を抽出する。
  • クロスストリーム結合（Cross-Stream Coupling）： クエリはグローバル・ストリームから取得され、キーと値はローカル・ストリームから取得される。これにより、モデルはグローバルなコンテキストを用いて「ターゲットはどこか？」を問いかけつつ、ローカルな証拠を用いて回答することができ、特定のチャイムのベルの局在化を改善する。
• 混合密度アクション・ヘッド（Mixture-Density Action Head）： 単一の決定論的なアクションを予測する（これがモード崩壊を招く）代わりに、GMPはフル・ロボット・アクション・ベクトル（または短期間の軌跡）に対する条件付きガウス混合分布を予測する：
  $$p_\theta(\tau_t | O_t, N^r_t, c_t) = \sum_{k=1}^K \pi_k \mathcal{N}(\tau_t; \mu_k, \Sigma_k)$$
  • 各コンポーネント $k$ は、特定の関節ではなく、潜在的なアクション・モード（例：上方からの打撃、側面からのスイング、あるいは優しいタップ）を表す。
  • これにより、単一のフォワードパス内で複数の実行可能な物理的応答を保持し、拡散モデルのような反復的なデノイジングを回避する。
• 推論： システムは最も可能性の高いモード（$\arg\max \pi_k$）を選択するか、混合期待値を集計することで、低レイテンシの実行を可能にする。

3. 主な貢献

1. 身体的共同創造の形式的定義： 本論文は、共同創造を、ロボットが不完全な人間のシードに対して補完的な応答を寄与するクローズドループの相互作用として定義し、これをロボットの再生や非身体的な生成と区別している。
2. モジュール式身体的エージェント： セマンティック・グラウンディングのためのF-Qwen、音楽的変奏のための制約付きプランナー、および実行のためのGMPを組み合わせたフレームワーク。このモジュール式のアプローチは、物理的接地を維持しながら、モノリシックなエンドツーエンドVLAモデルのデプロイコストを回避する。
3. 低レイテンシGMP： 拡散ベースのデノイジングによるレイテンシを伴わずに、マルチモーダルなアクション分布をシングルパスで予測する、条件付き混合密度ポリシー。

4. 実験結果

システムは、実際のチャイム演奏およびManiSkill2シミュレーションプラットフォームを用いて評価された。

4.1 実ロボット評価（チャイム演奏）

• 共同創造の質： ブラインド形式の専門家評価（10名のプロのチャイム奏者）において、F-QwenとGMPを備えたCo-policyは、セマンティック音楽で74.8、コンチェルト（協奏曲）共同創造で62.0の平均スコアを達成した。これは、拡散ポリシーのベースライン（66.3および55.8）や、$\pi_{0.5}$、GR00Tといった他のベースラインを上回った。
• 実行精度： Co-policyは、アクション成功率（$Acc_a$）0.78とチューニング精度（$Acc_t$）0.88を達成し、総合的な精度は0.69となった。これは、拡散ポリシー（総合精度0.56）と比較して大幅な向上である。
• レイテンシ： コマンド後のアクション周波数は、同一のハードウェアおよびアクションホライゾン設定下で、Co-policyは18.6 Hzであり、拡散ポリシー（1.01 Hz）よりも大幅に高かった。

4.2 アブレーション研究

• セマンティック・アンカリング： 標準的なQwen-vlをファインチューニングされたF-Qwenに置き換えることで、セマンティック音楽で7.4%〜13.3%、コンチェルト・タスクで3.5%〜9.6%の共同創造スコア向上が見られた。
• GMPコンポーネント： GMPエンコーダの構成要素のアブレーションにより、Swin Transformerステージが32%、DenseNetブロックが27%、GSAメカニズムが21%、混合密度ヘッドが16%の性能に寄与していることが示された。
• 汎用性： ManiSkill2シミュレーションプラットフォーム（Pour, Fill, Hang, Excavateタスク）において、GMPは堅牢な汎用性を示し、特定のチャイム・タスクを超えたビジュオモーター・ポリシーの有効性を検証した。

5. 意義と主張

本論文は、物理的に接地されたアクション生成が、人間とAIの共同創造における不可欠な要素であると主張している。

• 再生を超えて： 本システムは、ロボットが不完全な人間のシードを、セマンティックに整合し、音楽的に一貫し、かつ物理的に実行可能な補完的応答へと変換できることを示している。
• 解釈可能性： セマンティック・グラウンディング、プランニング、および実行を分離することで、モノリシックなエンドツーエンド・モデルとは異なり、失敗（セマンティック、知覚、または実行のいずれか）の独立した検証を可能にしている。
• レイテンシ vs 表現力： 本研究は、条件付き混合密度ポリシーが、拡散モデルでは困難なトレードオフである「（複数の実行可能なアクション・モードを保持する）表現力」と「厳格なインタラクション・レイテンシの要件」を両立できることを示している。

著者らは、現在のシステムが主にチャイム演奏で検証されており、クローズドループの触覚フィードバックではなく、高レベルの記号的なオーディオ・キューに依存していることを認め、控えめな範囲を設定している。彼らは、この研究を、創造性が物理的な実現可能性や楽器の特性によって制約される、身体的AIにおける「ガイデッド・バリエーション（誘導された変奏）」への一歩として位置づけている。