技術的概要：ECo-MoE（身体条件付き混合エキスパート）はロボットの進化可能性を高める

問題提起

ロボットの形態と制御の共最適化（共設計）は、スケーラビリティと性能の間の根本的なトレードオフに直面している。既存のアプローチは、通常、非効率な二つの極端に陥る。

1. 個別の方策: 各々のユニークなロボット設計ごとに専用の制御方策を訓練することは、大規模な個体群を進化させる上で計算量的に不可能である。
2. 単一の汎用コントローラー: 最近の最先端研究（Li ら、2025）が行っているように、すべての設計に対して単一の「汎用」コントローラーを訓練すると、過度に保守的な構造や行動が生じることが多い。このアプローチは、高度に多様な形態にわたって一般化することに苦しみ、特にタスクの複雑さが増すにつれて、疎なあるいは欺瞞的な探索ランドスケップを十分に探索できない。

さらに、進化は一般的に知的なエージェントや新規の形態設計を生成するための強力なメカニズムであるが、計算コストが高い。進化を扱いやすくするために形態の解像度を低下させることは、しばしば現実世界のロボット工学への関連性を犠牲にする。著者らは、祖先の知識を保持しつつ、獲得済みの制御知識を乱すことなく新しい身体計画へのモジュール適応を可能にする中間的な解決策を求めている。

手法

本論文は、潜在設計ベクトル（遺伝子型）の分布と制御エキスパート（ニューラルモジュール）の混合を共最適化するフレームワークである**ECo-MoE（身体条件付き混合エキスパート）**を導入する。

1. 結合共最適化フレームワーク

システムは二つの時間スケールで動作する。

• 進化（低速）: CMA-ES を用いて、遺伝子型 $z \in \mathbb{R}^{512}$ の潜在分布 $N(\mu, \Sigma)$ を更新する。各遺伝子型は、事前学習された変分オートエンコーダー（VAE）を介して、軟組織と剛体骨からなる 3 次元内骨格形態（64³ ボクセル）にデコードされる。
• 学習（高速）: PPO を用いてコントローラーのパラメータを更新する。コントローラーはロボットの状態 $s$ とその潜在遺伝子型 $z$ を受け取り、動作 $a$ を生成する。
• 目的: システムは、学習のための密な行動報酬 $R(\tau)$ と、進化のための疎な設計適応度 $F(\tau)$ を最大化する。

2. 身体条件付き混合エキスパート（ECo-MoE）

単一の単一構造の方策の代わりに、コントローラーは $K=4$ のエキスパートサブネットワーク（縮小されたグラフトランスフォーマー）とゲーティングネットワークから構成される。

• ゲーティング機構: 線形ゲーティング層が潜在遺伝子型 $z$ を入力として受け取り、ルーティング重み $w_\phi(z) = \text{softmax}(Wz + b)$ を生成する。
• 方策の集約: 最終的な方策は、エキスパート出力の加重和である。
  $$\pi_{\theta,\phi}(a | s, z) = \sum_{k=1}^{K} w_k^\phi(z) \pi_k^\theta(a | s)$$
• 多様性正則化: 「エキスパートの崩壊」（ゲートが単一のエキスパートのみに依存する現象）を防ぐため、損失項 $L_{div}$ が潜在空間で遠く離れた遺伝子型に対して異なるルーティング重みを促す。これにより、異なる身体計画が、学習された感覚運動回路の異なる組み合わせを活性化することが保証される。

3. 「デモによる進化（Evo by Demo）」

フレームワークは、事前知識を用いて進化を導くメカニズムを導入する。

• 事前学習済みエキスパートの注入: 混合内の特定のエキスパートを、特定の「事前設計されたデモ」（例：特定の四足歩行ロボット）で事前学習された方策に置き換える。そのパラメータは凍結される。
• 潜在事前分布の初期化: 初期潜在分布の平均と標準偏差は、事前設計されたデモの潜在符号化に基づいて設定できる。
• 互換性誘導: 学習された互換性スコア $\hat{c}_g(z)$（凍結されたエキスパートに割り当てられたゲート重み）を用いて、適応度スコアを補強する。$\tilde{F}(z, \tau) = F(\tau) \cdot (\hat{c}_g(z))^\alpha$。これにより、進化は事前学習されたエキスパートの制御戦略と互換性のある形態へと誘導される。

主要な貢献

1. モジュール型共設計: 本論文は、ロボットの潜在遺伝子型によってゲーティングされるエキスパートの混合を使用することで、単一構造コントローラーに対するスケーラブルな代替案を提案する。これにより、他のモジュールの知識を乱すことなく、新しい種のためにコントローラーの一部を刷新することが可能になる。
2. 進化可能性の向上: 著者らは、モジュール性が、非モジュール型のベースラインと比較して、複雑な環境（例：直立歩行や凹凸のある地形）においてロボットが効果的な行動を進化させる能力を著しく向上させることを実証した。
3. 誘導可能な進化（「デモによる進化」）: 本論文は、事前学習済みモデルによって定義された標準的な構造に向けて自由形式の進化を誘導する方法を導入し、進化の探索能力と教師あり学習の精度を効果的に組み合わせる。

結果

実験は、平坦地、直立歩行、およびクレーター（凹凸のある地形）の 3 つの環境で行われた。

• 性能の向上:

  • 平坦地: ECo-MoE はベースライン（単一構造コントローラー）と同等の性能を示した。単純な移動タスクには身体条件付きの専門化は必要ないためである。
  • 複雑なタスク: ECo-MoE は、直立歩行およびクレーターにおいてベースラインを大幅に上回った。モジュール型アプローチにより、姿勢を維持し障害物を navigate できる、より多様で頑健な設計を進化させることが可能になった。
  • パラメータ効率: 複数のエキスパートを使用しているにもかかわらず、ECo-MoE の総方策サイズはベースラインよりわずかに小さく、各エキスパートが動作生成に割り当てられるパラメータは大幅に少なかった。

• 進化可能性の分析:

  • 潜在空間の可視化は、ECo-MoE が必ずしもベースラインよりも広い領域を探索したわけではないが、遭遇した設計のより良い**利用（exploitation）**を達成したことを示した。
  • ルーティング重みは世代を通じて動的に適応し、エキスパートは特定の構造的特徴に特化するようになった。
  • システムはエキスパートの数（2、4、8 でテスト）に対して頑健であり、4 が最良のバランスを提供した。

• デモによる進化:

  • 事前設計された初期化と凍結された事前学習済みエキスパートを組み合わせるCoSteeringが、特定の形態特性（例：放射相称性と特定の肢の数）に向けて進化を導く最も効果的な方法であった。
  • このアプローチは、ランダムな初期化と比較して、より高い「実効肢数」と低い「質量バイアスベクトル大きさ」（よりバランスの取れた解剖学）を持つ進化ロボットを生み出した。
  • PredesignOnly（事前学習済みエキスパートなしの初期化）は高い適応度を達成したが、CoSteeringはターゲットデモと構造的に最も類似した形態を生み出した。

意義と主張

本論文は、ECo-MoE が、共有されたモジュール遺伝子と神経回路が多様な身体部位と運動パターンを生成する、自然界に見られるモジュール型クロス身体制御システムの高レベルな抽象化を提供すると主張している。

• スケーラビリティ: このアプローチは、制御を特定の形態から切り離しつつ統一されたフレームワークを維持することで、複雑な身体化エージェントを進化させるためのスケーラブルな道筋を提供する。
• 制御可能性: モジュール型の変更を可能にすることで、システムはより制御可能な設計の進化をもたらし、有害な突然変異に対して緩衝する。
• 実用的な含意: この研究は、「デモによる進化」が望ましい特性を持つ新規のソフトボディロボットの発見を誘導する道筋を示唆しており、現在の剛体形態よりも有益で危険性の少ないエージェントにつながる可能性がある。
• 限界: 著者は控えめに、現在の VAE 潜在空間は、訓練データで十分に表現されていない分布外形態（二足歩行や六足歩行など）の再構成に苦労していると指摘している。将来の研究としては、進化中に VAE を段階的に適応させ、潜在多様体を拡張することが提案されている。実験は現在、シミュレーション上の陸上移動に限定されており、物理的な実現やより多様な行動（遊泳、操作など）は将来のステップとして特定されている。