技術要約: DEBATE2CREATE (D2C)

問題の定式化

ロボットの共同設計（co-design）には、ロボットの形態（$m$）と、報酬関数（$r$）として定義される制御目的の同時最適化が含まれる。これら2つの要素は根本的に結合している。すなわち、身体構造の変化は最適な歩容（gait）を変化させ、報酬によるペナルティの変化は、それまで機敏であった身体を不安定にする可能性がある。既存のアプローチは通常、形態と報酬を別々の問題として扱い、一方を固定した状態で他方を最適化する。これは共適応（co-adaptation）の機会を見逃しており、ある形態に合わせて調整された報酬が別の形態では機能しないといった、不適切な解を招くことが多い。さらに、単一エージェントによる生成は既知のパターンを再利用する傾向があり、共同設計に必要とされる多様性を制限してしまう。結合された探索空間は高次元かつ非線形であり、網羅的な探索は実用的ではない。

手法: DEBATE2CREATE

DEBATE2CREATE (D2C) は、物理ベースの評価に基づいた、構造化された反復的なディベートとしてロボットの共同設計を定式化する、マルチエージェント大規模言語モデル（LLM）フレームワークである。本フレームワークは、固定トポロジー、候補ごとの強化学習（RL）プロトコルの下で動作する。

コアアーキテクチャ

システムは、以下の専門エージェントを含む**テーゼ・アンチテーゼ・ジンテーゼ（正・反・合）**のループを採用している：

1. デザイン・エージェント（Design Agent）: ロボット設計エンジニアとして機能する。タスクの説明、直近のシミュレーション指標、および「殿堂入り（hall-of-fame）」アーカイブ（トップパフォーマンスの設計・報酬ペアの記録）からのコンテキストに基づき、現在の形態への具体的な編集（例：肢の長さ、関節の配置）を提案する。
2. コントロール・エージェント（Control Agent）: 報酬関数エンジニアとして機能する。以下の2つの役割を担う：
   • アンチテーゼ（反論）: シミュレーション前に、デザイン・エージェントが提案した形態を批判し、制御性の問題や構造的な弱点を特定する。
   • 報酬生成: デザイン・エージェントが提案を修正（ジンテーゼ）した後、コントロール・エージェントは新しい形態に合わせた報酬関数のコードスニペットを生成する。
3. 基準特化型ジャッジ（Criterion-Specific Judges）: 4名のLLMジャッジによるパネルが、各ラウンドのトップスコア候補のパフォーマンス指標を分析する。各ジャッジは特定の目的（速度、安定性、エネルギー効率、または新規性）に焦点を当て、テキストによるフィードバックを提供する。このフィードバックは、探索を狭い局所解から遠ざけ、多目的のトレードオフを浮き彫りにする。
4. 物理シミュレータとアーカイブ: すべての選択決定は、経験的なパフォーマンスに基づいている。候補は、PPOまたはSACを用いてBrax物理シミュレータ内で訓練される。標準化されたタスクスコア $S$（例：前進距離）が用いられ、候補を「殿堂入り」アーカイブ内でランク付けする。アーカイブには、後続のディベートラウンドに情報を与えるための、最良の設計・報酬ペアが保存される。

主な相違点

• グラウンディング（接地性）: ディベート・フレームワークにおいてLLMが説得力を仲裁するのとは異なり、D2Cは選択のための真理値として物理指標を使用する。LLMジャッジは定性的なガイダンスのみを提供する。
• 訓練と評価の分離: 報酬 $r$ は方策 $\pi^*$ の訓練に使用されるが、最終的な選択は、仕様ゲーミング（specification gaming）を防ぐために、報酬に依存しない標準化されたタスクスコア $S$ に基づいて行われる。
• 信頼性: システムには、報酬コードの自己修復メカニズム（構文チェックとテスト実行）および形態のXMLバリデーションが含まれており、候補の破棄率は1%未満である。

主な貢献

1. マルチエージェント・ディベート・フレームワーク: D2Cは、役割が分離された弁証的なディベート・ループとクロスエージェントによる批判を通じて、形態と報酬を共同最適化する初のフレームワークである。
2. 基準特化型ジャッジ: 特化したジャッジの使用により、多目的のフィードバックが得られ、単一の統合された目的ではなく、多様なソリューションへの探索を導くことで、指標のカバー範囲を向上させる。
3. 実証的検証: 本論文は、反復的なディベートがシングルパスの生成よりも大幅な利点をもたらすこと、および学習された報酬形成が形態間で転移可能であることを示すアブレーション研究と転移実験を提供している。

実験結果

フレームメントは、5つのMuJoCoロコモーション・ベンチマーク（Ant, HalfCheetah, Hopper, Swimmer, Walker2D）で評価された。

• パフォーマンス: D2Cは、評価されたすべてのLLMベースおよびブラックボックス・ベースライン（RoboMoRe, Eureka, Bayesian Optimizationを含む）の中で、最高のデフォルト正規化スコアを達成した。
  • Ant: デフォルトの形態に対して3.2倍の改善。
  • Swimmer: 9倍近い改善。
  • その他: HalfCheetah, Hopper, Walker2Dにおいて、1.3〜1.5倍の一貫した利得。
• 反復ディベート vs ゼロショット: 反復的なディベートは、計算量を一致させたゼロショット生成（フィードバックなしで80個の候補を生成）と比較して、18〜35%の利得をもたらした。
• 共同設計の相乗効果: 5つのタスクのうち4つにおいて、形態と報酬の共同最適化は、いずれか一方の成分のみを最適化する場合を上回った。
• 転移可能性: D2Cが生成した報酬は、デフォルト（未修正）の形態にも転移し、4/5のタスクでパフォーマンスを向上させた。これは、学習されたシェイピングが形態固有のハックではなく、転移可能な移動原理を捉えていることを示唆している。
• 多様性: D2Cは、ベースラインと比較して、構造的に異なる形態（例：より広いスタンス、長い肢）や、異なる特徴の組み合わせを持つ報酬関数を生成した。

意義と主張

本論文は、構造化され、シミュレータに接地されたマルチエージェント間の相互作用が、形態と報酬の共同最適化のための有用なメカニズムであることを主張している。フレームワークの有効性の主要な証拠は、単なる最終スコアではなく、意図されたメカニズムに一致する改善パターンである：

• メカニズムの検証: D2Cとゼロショット・ベースラインの間のパフォーマンス差は、反復的な批判と合成が、シングルパスの生成を超えて探索を導くことを裏付けている。
• 共同設計の必要性: クロスオーバー実験（表1）は、形態のみ、あるいは報酬のみの探索では特定の失敗モードに対処できないことを示している。例えばHopperでは、形態単体ではデフォルトを下回っていた場合でも、共同設計された報酬によって50%の利得を回復した。
• ジャッジの役割: ジャッジは方向的な探索補助として機能し、パラメータの変化（例：安定性に関する批判が胴体の修正につながるなど）を予測し、多目的環境におけるパレート・ハイパーボリュームの被覆率を向上させる。

著者らは、D2Cをシミュレーションによるプロトタイピングのための研究用アーティファクトとして位置づけている。彼らは、計算量、シム・トゥ・リアル（sim-to-real）の転移リスク（仕様ゲーミング）、およびプロプライエタリなLLMバックボーンへの依存という限界を認めており、本手法はさらなる検証なしに直接ハードウェアへ展開するためのものではなく、研究を目的としたものであると述べている。