技術要約：複雑なロボット制御におけるニューラル縮退ダイナミクスのための適切な抽象化の学習

問題提起

高精度なエンボディドAIシミュレータ（Project Chronoなど）は、マルチボディダイナミクス、摩擦接触、および変形可能な地形を含む複雑なロボットシステムの評価に必要な物理的リアリズムを提供します。しかし、その計算コストは、数百万回の環境遷移を必要とする大規模な強化学習（RL）には不向きです。一方で、学習されたダイナミクスモデル（ニューラルサロゲート）は、高次元のシミュレータ状態全体を学習しようとして失敗するか（不要かつ困難であるため）、あるいは制御に不可欠な物理現象（タイヤのスリップや荷重移動など）が失われるほどシステムを簡略化しすぎるという問題があります。中心となる課題は、計算効率と制御への有用性を両立させるために、ニューラルモデルが何を保持し、何を入力として受け取り、何を解析的に再構成し、そして何を除外すべきかを決定することです。

手法：ニューラル縮退ダイナミクス（NRD）フレームワーク

著者らは、モデルが伝播させる状態と、入力および解析的に復元可能な量とを分離するフレームワークを提案しています。コアとなる哲学は、「縮退（Reduced）」とは次元の最小化ではなく、**タスクに関連する忠実度（Fidelity）**を保持することであるという点です。

1. フレームワークのパイプライン

パイプラインは以下の4つのステージで構成されます：

1. データ収集： シミュレータ（Chrono）から高精度な軌跡を収集し、状態と行動のペアを生成します。
2. NRDモデリング： 因果的トランスフォーマーベースのニューラルネットワークが、履歴ウィンドウ内の縮退状態、行動、およびオプションのコンテキストに基づき、タスク固有の縮退状態の次ステップの増分（$\Delta \hat{z}_t$）を学習します。
3. ポリシー訓練： 学習されたNRDモデルは固定（フリーズ）され、ベクトル化（GPU上で数千コピー）されます。制御ポリシーは、この固定された高スループットな環境内で近接方策最適化（PPO）を用いて完全に訓練されます。
4. 検証： 訓練されたポリシーは、変更なしに高精度シミュレータへと転送され、クローズドループ評価が行われます。成功の定義は、サロゲート内での性能ではなく、高精度環境における性能です。

2. 状態抽象化の原則

縮退状態（$z_t$）は、遷移ダイナミクスが依存し、かつ不確実性や接触に依存する変数のみを含むように設計されています。

• 伝播される状態： 再帰的な変数（例：本体の速度、関節位置、タイヤ荷重）。
• 入力： 外生的なコマンド（行動）およびレジーム・コンテキスト（例：地形タイプ）。これは、同じ状態と行動のペアであっても、異なる物理条件下で異なる挙動を示す場合に使用されます。
• 解析的再構成： 伝播される状態の決定論的な関数である量（例：車両のグローバルポーズ、順運動学によるエンドエフェクタの位置）は、ネットワークの外側で復元されます。

3. モデルアーキテクチャ

NRDモデルはGPTスタイルの因果的トランスフォーマーを利用します。入力は、縮退状態、行動、およびコンテキストコードを連結したシーケンスとしてトークン化されます。モデルは状態の増分（$\Delta \hat{z}_t$）を予測し、これを現在の状態に加算することでロールアウトを進めます。モデルの選定基準は、一ステップの予測誤差ではなく、ホライゾンにわたるオープンループ・ロールアウトの忠実度に基づいています。これは、一ステップの誤差だけでは自己回帰的な生成中の安定性を保証できないためです。

ケーススタディ

ケーススタディ I：地形適応型HMMWVダイナミクス

• タスク： 硬質な平坦地形、凹凸のある硬質地形、および変形可能なCRM（連続体表現モデル）土壌におけるHMMWVの軌跡追従。
• 抽象化： 本体運動（速度、姿勢、回転速度）と8チャンネルのテラメカニクス・ブロック（4つのタイヤ垂直荷重と4つの車輪速度）からなる15次元の縮退状態。
• コンテキスト： 同じ状態と行動のペアの下でも異なるダイナミクスを展開する現象を区別するために、2クラスのワンホット・コード（硬質 vs CRM）が入力として提供されます。
• 結果： 混合された硬質/CRMデータで訓練された単一の「ジェネラリスト」ポリシーは、すべての地形においてシングルテレインのスペシャリストを上回り、未知の凹凸のある硬質地形に対してもゼロショットでの転送を実現しました。このジェネラリストは、自身の訓練地形においてもスペシャリストより低い中央値および平均の追従誤差を達成しました。

ケーススタディ II：履帯式車両と多関節アーム

• タスク： 単一のプラットフォームにおける2つの独立した制御目的：履帯式車両の平面的な目標到達、および前方に搭載された4自由度アームのエンドエフェクタ到達。
• 抽象化：
  • 車両： 3次元の平面状態（$v_x, v_y, \omega_z$）。グローバルポーズは解析的に積分されます。
  • アーム： 8次元の関節空間状態（$q, \dot{q}$）。エンドエフェクタの位置は順運動学を介して復元されます。
• 安全性： 幾何学的なセーフティ・シールド（順運動学に基づく）が、NRDモデルに接触物理を学習させることなく、訓練中の衝突や関節制限の違反を防ぎます。
• 結果： 凍結されたNRDモデル内で完全に訓練されたポリシーは、Chronoへの転送に成功しました。
  • 車両： 0.75m以内で100/100の目標に到達。
  • アーム： 0.05m以内で97/100の目標に到達し、接触や関節制限の違反はゼロでした。

主な結果とパフォーマンス

• スループット： NRDモデルは、高精度シミュレータよりも約4桁高速に動作します。
  • ケーススタディ I (CRM土壌)：約11,500倍の高速化。
  • ケーススタディ II (履帯式車両)：約58,400倍の高速化。
  • ケーススタディ II (アーム)：約8,300倍の高速化。
• 転送忠実度： 縮退モデル内で訓練されたポリシーは、高精度シミュレータにおいても高い性能を維持し、抽象化が制御に関連する物理を保持していることが検証されました。
• 汎化性能： 地形条件付きのHMMWVポリシーは、明示的な訓練データなしで凹凸のある地形への堅牢なゼロショット汎化を示し、抽象化が特定の地形を記憶するのではなく、基礎となる物理を捉えていることを証明しました。

意義と主張

本論文は、ニューラルダイナミクスのための「正しい抽象化」とは、固定された低次元表現ではなく、以下の特性を持つタスク依存のデザインであると主張しています：

1. タスクに関連する忠実度の保持： 制御タスクに必要な特定の物理変数（例：タイヤのスリップ、関節慣性）を保持しつつ、無関係または決定論的な情報を破棄する。
2. コンテキストの活用： 縮退状態だけでは物理的挙動を区別できない場合の曖昧さを解消するために、明示的なレジムラベルを使用する。
3. スケーラブルな学習の実現： これらのモデルを固定しベクトル化することで、反復的なオンポリシーRLを実用的なものとし、正確な物理シミュレーションとスケーラブルなロボット学習の間の溝を埋める。

著者らは、NRDモデルの究極の検証は、その一ステップの予測誤差や内部報酬ではなく、訓練されたポリシーが高精度シミュレータへクローズドループ転送できるかどうかであると強調しています。本研究は、適切な抽象化を用いれば、単一の学習されたモデルが、多様なロボットの形態と制御タスクのための大規模並列訓練環境として機能できることを示しています。

限界

著者らは以下の限界についても言及しています：

• Sim-to-Sim 転送： 検証はシミュレーション内でのみ行われており、実機への転送については扱っていません。
• ヒューリスティックな設計： 現在の縮退状態の選択は、自動発見ではなく、物理的知見と手動の実験に依存しています。
• 接触モード： 本フレームワークは、明示的な接触モードの遷移（例：把持、衝撃）については評価されていません。アームのモデルは自由空間運動のみで訓練されています。接触に富む操作への拡張には、接触条件付きのダイナミクスが必要になる可能性があります。