技術的サマリー：検索が記憶へと転化する時

問題定義

大規模言語モデル（LLM）を提案生成器として利用する進化ロボティクス設計の現在のアプローチは、「記憶欠如」という限界に悩まされている。標準的なループ（例えば遺伝的アルゴリズム）において、シミュレータの結果は次世代の個体群を形成するが、形態が成功または失敗した「なぜ」という具体的な証拠は、個体群が進化するや否や破棄されてしまう。古典的な形態探索は高い適応度を持つ身体を発見するものの、安定性、接触力学、荷重支持構造といった、再利用可能な知識としての根本的な設計原理を保持することに失敗している。その結果、設計空間が変化した際（例えば 5×5 グリッドから 10×10 グリッドへのスケーリング）、エージェントはこれらの原理をゼロから再学習せねばならず、高価な評価予算を浪費することになる。

手法：AUTO-ROBOTIST

著者らは、高価な物理的検索の痕跡を、明示的、監査可能、かつ転送可能なスキルライブラリへと変換するように設計された、自己進化型の LLM エージェント「AUTO-ROBOTIST」を導入する。このシステムは、モジュラーなソフトロボット（ボクセルベース）と PPO 訓練済みコントローラーのペアを設計する「EVOGYM」ベンチマーク内で動作する。

コアアーキテクチャ

エージェントは、検索個体群（$P_t$）と共に進化し続ける、スキル（$S_t$）の永続ライブラリを維持する。生ログやエリート個体を保存する従来の記憶とは異なり、スキルは構造化された 3 段階のレコードである：

1. L1（アーキタイプ）: 適用条件を備えたコンパクトな構造概念（例：荷重支持アーチのための「ポータルフレーム」）。
2. L2（ルール）: 証拠に基づく正のルール（適応度を向上させる傾向）と負のルール（失敗モード）。各ルールは、親個体に対する相対的な適応度向上の移動平均を追跡する。
3. L3（観察）: ルールを支持する、具体的な評価済みの子個体と親個体、タスク文脈、スケール、および適応度向上分。

運用ループ

このプロセスは、設計進化とスキル進化の間を交互に行う：

1. 提案生成（設計進化）:

   • エージェントは、現在のタスクとスケールに基づいて関連するスキルを检索する。
   • パス A（スキル条件付き）: LLM は、正/負のルールおよび過去の観察に基づき、检索されたアーキタイプに向かってエリート親個体を編集する。
   • パス B（探索）: カバレッジを確保し、無効な出力に対処するため、標準的な遺伝的アルゴリズム（GA）変異パスが並行して実行される。
   • 提案された身体は、有効性チェック（接続性、アクチュエータの存在）を受け、シミュレーション内で評価される。

2. ライブラリ維持（スキル進化）:

   • ADD: 既存のスキルに一致しない未割り当ての証拠（形態）を LLM がレビューし、反復する構造が検出された場合に新しい L1 アーキタイプを作成する。
   • DIAGNOSE: 新しい観察が既存のルールの移動平均向上分を更新する。LLM は、証拠がルールを支持するか、矛盾するか、あるいは新しいルールを作成するかを決定する。負のルール（失敗モード）は第一級の項目として扱われる。
   • MERGE: 冗長なアーキタイプはクラスタリングされ、監査証跡を保持しつつライブラリの肥大化を防ぐために統合される。

3. クロススケール転送:

   • より大きな設計空間（例：5×5 $\to$ 10×10）へ移動する際、エージェントはソーススキルライブラリをインポートする。
   • L1 および L2 ルールは事前分布として機能し、生ボクセルのアップサンプリングを必要とせずに検索を導く。新しい証拠が収集されるにつれ、エージェントは事前分布に導かれた探索から、ターゲットに根ざした洗練へと移行する。

主要な貢献

1. LLM 設計の再定義: 本論文は、LLM を単なる提案生成器として使用するパラダイムから、検索経験を転送可能な設計スキルへと変換するエージェントとして使用するパラダイムへとシフトさせる。
2. 証拠に基づくスキルライブラリ: アーキタイプ、ルール、観察を分離する自己進化型ライブラリの導入。この構造により、記憶は解像度間で転送可能であるほど抽象的でありながら、監査可能かつ編集可能であるほど具体的なものとなる。
3. 実証的検証: 移動、通過、物体操作の 7 つの EVOGYM タスクにおける広範な評価により、エージェントがゼロから（コールドスタート）スキルを学習し、それらをより大きな設計空間へ成功裡に転送できることが実証された。

実験結果

システムは、ウォーカー、ブリッジウォーカー、バランサー、キャリア、クライマー、ジャンパー、プッシャーの 7 つのタスクで評価された。

• コールドスタート検索（5×5）: AUTO-ROBOTIST は、すべての 7 つのタスクにおいて、標準的な遺伝的アルゴリズム（GA）ベースラインと同等かそれ以上の性能を達成した。平均して1.47 倍の収束速度向上を達成し、検索予算の**70%**において GA を上回るリードを維持した。最も顕著な改善は、複雑な荷重支持と接触を必要とするタスク（キャリア、ジャンパー、プッシャー）で観察された。
• クロススケール転送（5×5 $\to$ 10×10）: 学習されたスキルを 10×10 の設計空間へ転送した際、AUTO-ROBOTIST はすべての 7 つのタスクで GA ベースラインを上回った。
  • 終点の適応度を平均**+1.55**向上させた。
  • 7 つのタスクのうち 6 つで、少なくとも**90%**のリード率を達成した。
  • キャリアタスクでは最大の改善（+5.71 適応度ポイント）が見られ、ペイロード支持のための構造的な事前分布を転送することの価値が浮き彫りになった。
• アブレーションと分析:
  • スキル対コピー: 単に 5×5 のエリート個体を 10×10 へアップサンプリングするだけでは、機能性が破壊されることが多かった。AUTO-ROBOTIST は、生幾何学ではなく関係性（例：「アクチュエータの周りを支持する」）を転送することで成功した。
  • 記憶コンポーネント: アブレーション研究により、すべてのコンポーネント（診断、マージ、L2/L3 ルール）が性能に寄与していることが確認された。GA 変異パスを除去すること（「純粋 LLM」）は著しい低下を招き、ハイブリッド探索の必要性を示している。

意義と主張

本論文は、AUTO-ROBOTIST が、高価な物理的評価を再利用可能で監査可能な設計原理へと変換できることを LLM エージェントが実証していると主張する。

• 試行錯誤から知識の蓄積へ: システムは、検索の痕跡が単一の最適化サイクル後に破棄されるのではなく、将来の実行を改善する「設計理論」として抽出可能であることを証明する。
• 監査可能性: ルールを支持する具体的な観察と適応度向上分を保存することで、設計プロセスを検査可能にする。ユーザーは、提案がどのような失敗または成功に動機付けられたかまで遡って追跡できる。
• スケーラビリティ: このアプローチは、構造的な関係性（例：「垂直アクチュエータを安定化させるために剛性の側面フレームを使用する」）がスケール不変であることを示しており、小さな設計空間で得られた知識が、はるかに大きく複雑な空間における検索を効果的に導くことを可能にする。

著者らは、この作業を監査可能な設計メモリの構築のための研究フレームワークとして位置づけ、現在の結果はシミュレーション内にあるものの、この手法は科学分野におけるより効率的で解釈可能な工学への道筋を提供すると強調している。彼らは、3D 展開、ハードウェアの安全性、およびシミュレーションから実世界への転送に関する限界を明示的に指摘し、このシステムを自律的なハードウェア展開ツールではなく、研究のためのプロトタイプとして位置づけている。