DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs

テクニカル・サマリー：DynaWM：連続する階段における滑らかな移動のための、ワールドモデルとモメンタム・ターゲットを用いたダイナミクス認識型蒸留

問題提起
二足歩行型ホイールロボットは、モデル予測制御や深層強化学習を用いることで、傾斜地や単一の段差の走破において成功を収めてきたが、長く連続する階段のナビゲーションは依然として大きな課題である。現在の教師・生徒（teacher-student）蒸留フレームワークに依存するソリューションは、主に以下の3つの制限に直面している：

1. ダイナミクス認識表現の弱体化： 方策勾配のみを通じて最適化された教師エンコーダは、即時的な報酬に直接関連する地形特徴量のみを符号化し、地面のダイナミクス・モデリングに不可れる広範な幾何学的情報を無視する傾向がある。
2. 次元崩壊（Dimensional Collapse）： 同時並行的な教師・生徒学習において、教師の表現が急速に更新されると、生徒エンコーダが本質的な地形特徴量を捉えるのではなく、自明な表現（平均的な予測への適合）へと崩壊してしまう。
3. 不透明性： 既存のフレームワークにおける潜在空間は「ブラックボックス」として機能しており、地形の高さに対する真のモデリング能力を検証したり、学習中の解釈性を確保したりすることが困難である。

これらの問題は、連続する階段に直面した際の運動の滑らかさと地形適応性の欠如を招き、信頼性の高いSim-to-Real（シミュレーションから実機への移行）展開を阻害している。

手法：DynaWM
著者らは、地形符号化を強化し、知識転送を安定させるために設計された表現学習フレームワークであるDाDynaWM（Dynamics-aware distillation with World model and Momentum targets）を提案する。このフレームワークは、相互に接続された3つのモジュールで構成されている：

1. 正則化としてのワールドモデル：
   順ダイナミクスへの意識を強制するために、教師エンコーダの正則化器としてワールドモデルを導入する。教師エンコーダ（$E_{\theta_t}$）は潜在変数（$z_t^t$）を生成し、これらは特権的観測（privileged observations）と組み合わされてワールドモデル（$W_\omega$）に送られ、次ステップの特権状態（$\hat{s}_{t+1}$）を予測する。

• メカニズム： 予測損失（$L_{pred}$）を最小化することで、ワールドモデルを訓練し、教師エンコーダに勾ロジメントを伝播させる。
• 効果： これにより、エンコーダは即時的な報酬には無関係なノイズとして破棄されるのではなく、順ダイナミクス（地形の幾何学形状や摩擦など）に不可欠な情報を保持することを強制される。ワールドモデルは、長距離の時間依存性を捉えるために、Dense-LayerNorm-Swishブロックを備えた深い残差ネットワークとして実装されている。

2. 安定した蒸留のためのモメンタム・ターゲット・エンコーダ：
   同時並行学習中における教師エンコーダの非定常性に対処するため、BYOL（Bootstrap Your Own Latent）に着想を得たモメンタム・ターゲット・エンコーダを採用する。

• メカニズム： 生徒が急速に変化するオンラインの教師に直接回帰する代わりに、生徒自身の重みの指数移動平均（EMA）を維持するターゲット・エンコーダ（$E_{\hat{\theta}_s}$）から学習する。また、次元崩壊を防ぐために、オンラインの生徒に予測ヘッドを追加する。
• 効果： これにより、一貫した安定した蒸留ターゲットが提供され、次元崩壊を防ぎ、固有受容感覚の履歴のみから堅牢なダイナミクス認識表現を生徒が学習することを可能にする。

3. 報酬設計と学習：
   階段昇降時に観察される過度なヒップへの依存や体の振動といった問題を軽減するため、報酬関数は特定の制約（関節可動域、ホイールベースの距離、ベース位置の境界、および脚のバランス）で拡張されている。学習にはPPOを用いた同時並行教師・生徒（CTS）パラダイムを利用し、地形の種類（平坦、傾斜、段差、凹凸）および物理パラメータ（質量、摩擦、PDゲイン）にわたるドメイン・ランダム化を取り入れることで、Sim-to-Realのギャップを埋めている。

主な貢献

• ワールドモデルによる正則化： 順ダイナミクスへの意識を強制するためのワールドモデルの導入。これにより、学習された表現が報酬の最大化だけでなく、地形の幾何学形状とダイナミクスを確実に捉えるようにする。
• モメンタム・ターゲットによる安定した蒸曲： モメンタム・ターゲット・エンコーダの使用により、教師の非定常な更新によって引き起こされる次元崩壊を効果的に防止し、安定した蒸留ターゲットを提供する。
• 透明な評価： 主成分分析（PCA）および定量的指標（PC-Correlation、Linear Probing $R^2$、CCA）を適用することで、エンコーダが地形の高さを階層的に捉えていることを検証し、表現品質の透明な可視化を実現した。

実験結果
本手法は、シミュレーション（IsaacGym）および実世界のJiaRan二足歩行型ホイールロボットを用いて評価された。

• 表現の質： PCAの可視化および定量的指標により、提案手法は地形の高さに対して0.96のPC-Correlationを教師エンコーダで、0.87を生徒エンコーダで達成し、ワールドモデルやモメンタム・ターゲットを持たないアブレーション（絡み合った表現や崩壊が発生）を大幅に上回った。
• シミュレーション性能： 多様な連続階段（幅と高さが最大20cmまで変化）において、DynaWMは26cm幅の段差で最大100%、20cm高の広い段差で**89.3%**の成功率を達成し、CTSやRMAなどのベースラインを凌駕した。
• 運動の滑らかさ： 本手法は、CTSと比較して優れた運動の滑らかさ（低いジャークおよびベース加速度）を示し、エネルギー消費量においても同等の性能を示した。
• 実世界への展開： 突起のある不規則な階段や、訓練時の高さを超える連続した段差を含む未知の地形を用いた実世界実験において、ロボットは100%の成功率（5試行中5回成功）を達成し、CTSベースラインよりも著しく滑らかな動きを実現した。

意義と主張
本論文は、DynaWMが特権学習と展開可能な制御の間のギャップを正常に埋めたことを主張している。ダイナミクス認識型の正則化を通じてエンコーダが包括的な地形幾何学を捉えることを保証し、蒸留プロセスを安定させることで、本手法は二足歩行型ホイールロボットが高度な適応性と滑らかさを持って長い連続階段を走破することを可能にする。著者らは、このアプローチが、連続する階段のシナリオにおいて運動の滑らかさと地形適応性の維持に失敗することが多い、現在の教師・生徒フレームワークの限界を克服することを実証している。本研究は、順ダイナミクスの明示的なモデリングと安定したターゲット生成が、脚式ホイール移動における堅牢なSim-to-Real転移にとって極めて重要であることを示している。