💻 コンピュータサイエンス

Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision

本論文は、モデルベースのコントローラと、実世界の不確実性を補償しシム・トゥ・リアル（sim-to-real）の転移を向上させるために特権的なモデルベースのオラクルから教師あり学習を通じて効率的に学習された強化学習ベースの残差ポリシーを組み合わせた、堅牢な二足歩行フレームワークを提案する。

原著者： Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

公開日 2026-01-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩き方を教える場面を想像してみてください。それは、重くて硬いブーツを履いて、ぐらつく不安定な床の上を歩く幼児に歩き方を教えるようなものです。そこには主に2つの問題があります。

「完璧な世界」の問題： もし完璧なコンピュータ・シミュレーションを使ってロボットに教え込むと、現実の世界に足を踏み入れた瞬間に転んでしまいます。なぜなら、現実の世界は混沌としており、ノイズが多く、予測不能だからです。
「試行錯誤」の問題： もし、単に何度も転んで学習することを期待するという方法（これは強化学習と呼ばれます）だけでロボットを教えようとすると、膨大な時間がかかり、エネルギーを無駄にし、かつ危険です。

この論文は、両方の良いところを組み合わせた巧妙な「ハイブリッド」な解決策を提案しています。これは、ロボットに歩き方を教えるための**「3人組のチーム」**のようなものです。

物語に登場する3つのキャラクター

ベテランコーチ（ベース・ポリシー）：
これは、伝統的な数学ベースのコントローラーです。物理学のルールを知っており、ロボットがどのように歩くべきかという確かな計画を持っています。例えるなら、完璧な歩幅を知っている厳格なコーチです。しかし、このコーチはロボットに関する少し不正確な地図を使って作業しています。もしロボットの関節が錆びついていたり、床が滑りやすかったりすると、コーチの計画は崩れ始め、ロボットはつまずいてしまいます。
全知全能の神託者（オラクル・ポリシー）：
これは、コンピュータ・シミュレーションの中にのみ存在する「スーパーコーチ」です。この存在は特権的な情報を持っています。ロボットの正確な重量、床の正確な摩擦係数、モーターの正確な速度を知っているのです。そのため、あらゆる状況において、取るべき完璧で理想的なステップを計算できます。

重要な注意点： 実物のロボットはこのスーパーコーチを見ることはできません。スーパーコーチは、あくまで練習中に生徒を導くためにそこに存在しています。

生徒（残留RLポリシー）：
これが実際に訓練されている「脳」です。これは、実践を通じて学ぶスマートなAIです。その役割は、ベテランコーチの声を聞きつつ、同時に全知全能の神託者を観察することです。

トレーニングの方法：「シャドーイング」法

通常、AIを教えるときは、「転ばなければ成功、転んだら失敗」と言うだけです。これは、運転を学ぶ際に、事後に「衝突した」とか「衝突しなかった」とだけ言われるようなものです。これでは遅すぎますし、フラストレーションが溜まります。

この論文は、**「教師あり強化学習」**という新しい方法を紹介しています。

ここで比喩を使います：
生徒が綱渡りをしようとしていると想像してください。

ベテランコーチは基本的な指示を出します。「一歩前に進め」。
全知全能の神託者は、突然の突風（現実世界の不確実性）を察知し、バランスを保つために生徒がわずかに左に傾く必要があることを知っています。
生徒はコーチに従おうとします。
魔法のステップ： 生徒が転ぶのをただ待つのではなく、神託者が、生徒が本来取るべきだった正確な修正動作をささやきます（「左に5度傾け」）。
そして、生徒がその「ささやき」を模倣できなかった場合、生徒は（数学的な数式を通じて）罰せられます。

生徒に、完璧な修正動作を常にコピーするように強制することで、生徒は単に転んで学ぶよりもずっと速く学習できるのです。

「ランダム化」ジム

ロボットが現実の世界に備えられるように、トレーニングは「カオス・ジム」で行われます。

コンピュータは、ロボットの重量をランダムに変えたり、床を滑りやすくしたり、センサーのノイズ（ラジオの静電気のようなもの）を加えたり、さらにはロボットの脳への信号の遅延を発生させたりします。
ベテランコーチはこの混沌の中で予測を行わなければなりません。
神託者は、その混沌が何であるかを正確に把握しており、完璧な対抗策を提示します。
生徒は、コーチの予測と神託者の完璧な動きとの間の溝を埋める方法を学びます。

研究結果

研究者たちは、これを3つの異なるロボット（小型、中型、大型）でテストしました。結果は以下の通りです。

ベテランコーチ単体の場合： 環境が乱れると、ロボットはすぐに転倒しました。あまりにも硬直的すぎたのです。
生徒単体の場合（標準的なAI）： 最初から学習しようとしましたが、苦戦しました。報酬（うまく歩けたかどうかの指標）があまりに曖昧であったため、学習に時間がかかり、しばしば失敗しました。
生徒＋神託者（この論文の手法）： このチームは強力でした。
- ロボットははるかに速く（数日ではなく数時間で）歩行を習得しました。
- 彼らは驚異的な堅牢性を獲得しました。シミュレーションを極端に混沌とした状態（ロボットの重量や床の摩擦の変化）にしても、ロボットは歩き続けました。
- 実物のロボットは、その完璧な情報に実際にはアクセスできないにもかかわらず、彼らは「全知全能の神託者」とほぼ同等のパフォーマンスを発揮しました。

結論

この論文は、「硬直した数学」か「遅い試行錯誤」かのどちらかを選ぶ必要はないことを示しています。「スーパーエキスパート（神託者）」を使って学習AI（生徒）を導き、同時にAIが基本的なプランナー（コーチ）の指示も聞くようにすることで、現実の世界が混沌として予測不能であっても、ロボットに頑健かつ効率的に歩行を教えることができるのです。

それは、生徒に教科書（コーチ）を与え、さらにすべてのテスト問題の答えを知っている家庭教師（神託者）をつけるようなものです。これにより、生徒は毎回失敗を経験することなく、正しい習慣を即座に身につけることができるのです。

技術要約：モデルベースの監督を用いた、強化学習による堅牢なトルクベース・ロコモーションの効率的な学習

問題提起

二足歩行ロボットのための効果的なトルクベースのロコモーション・ポリシーを学習することは、依然として大きな課題である。トルク制御は応答性とコンプライアンスの高い挙動を可能にするが、複雑で非線形なダイナミクスを精密に扱う必要がある。トルクレベルでの直接的なポリシー学習は、接触の不確実性、センサノイズ、アクチュエーション遅延、および未モデル化のダイナミクス（関節摩擦や構造的柔軟性など）といった実世界の不確実性が存在する条件下では、特に困難である。

従来のモデルベース制御手法（例：WBCを用いたDCM軌道計画）は、正確なシステムモデルに依存している。しかし、モデルと物理システムの間の乖離が大きくなると、その性能は低下する。一方、純粋なデータ駆動型ディープ強化学習（DRL）アプローチは、ドメインランダム化を通じてモデル誤差に対して堅牢であるものの、データの非効率性、報酬設計への敏感さ、そして解釈性や安全性保証の欠如に悩まされることが多い。既存のハイブリッド戦略の多くは報酬信号のみに依存しており、広範な試行錯誤の反復を必要とし、学習中のガイダンスも限定的である。

手法

著者らは、モデルベースの二足歩行ロコモーションと残差強化学習（Residual RL）を統合し、さらに新しいモデルベースの監督メカニズムによって強化された制御フレームワークを提案している。このアーキテクチャは、主に以下の3つのコンポーネントで構成される。

ベース・ポリシー ( $\pi_b$ ): 不正確なダイナミクスモデルとノイズを含む状態観測の下で動作する、Divergent Component of Motion (DCM) 軌道計画器と逆動力学に基づくWhole-Body Controller (WBC) からなるモデルベース・コントローラ。これは信頼できるが不完全な基盤として機能する。
オラクル・ポリシー ( $\pi^*$ ): ロボットの正確なダイナミクス、真の状態（ノイズフリー）、およびモータパラメータ（アクチュエーション遅延、効率など）を含む「特権的」なシステム情報にアクセスできるモデルベース・コントローラ。このポリシーは、ランダム化された条件下で理想的な補正アクションを生成するが、学習中の監督者としてのみ使用される。
残差RLポリシー ( $\pi_r$ ): ベース・ポリシーの不正確さを補償するための残差トルク指令を出力するように、Proximal Policy Optimization (PPO) を通じて学習される学習可能なポリシー。

主要な技術的要素:

ドメインランダム化: 学習環境において、センサノイズ、ロボットのダイナミクス（質量、摩擦、減衰、モータ効率）、および環境要因（床の摩擦、凹凸）をランダム化し、ポリシーを実世界の変動にさらす。
教師あり強化学習: 標準的なRLが報酬成形のみに依存するのに対し、本フレームワークは教師あり損失項 ( $L_{sup}$ $L_{s u p}$ ) を導入している。残差ポリシーは、オラクルによる補正アクション ( $\tau^*_t - \tau^b_t$ $τ_{t}^{*} - τ_{t}^{b}$ ) を模倣するように明示的に誘導される。
- 全損失は加重和となる： $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$ 。
- 教師あり損失は、オラクルの残差アクションに対して高い尤度を割り当てるようポリシーを促す。
観測空間: ポリシーは、再帰型ニューラルネットワーク (LSTM) を利用して、ノイズを含む観測履歴（関節状態、ベース・ポリシーのトルク、追従誤差）を処理する。クリティック・ネットワークは、学習中に、より正確な価値推定を行うために、特権的観測（真の状態、オラクルのトルク）をさらに利用する。

主要な貢献

本論文は、以下の4つの主要な貢献を述べている。

統合制御フレームワーク: モデルベース制御の構造的な信頼性と、モデルの不正確さを軽減するための残差RLの適応性を組み合わせた、新しいアーキテクチャ。
モデルベース・オラクル・ポリシー: 特権情報を活用して最適な制御信号を生成し、学習プロセスを監督するオラクル・ポリシーの導入。
教師ありRL目的関数: 標準的なRL目的関数を補完し、報酬成形のみに依存することなく学習効率を向上させるために、オラクルのアクションを教師あり損失に組み込んだ学習フレームワーク。
クロスプラットフォーム検証: 3つの異なる二足歩行ロボット（Kangaroo、Unitree H1-2、Bruce）を用いた包括的な評価により、特定のパラメータチューニングなしでの異なるハードウェアプラットフォームに対する堅牢性と汎用性を実証。

結果

本手法は、広範なドメインランダム化 ( $\beta=1$ ) の下で、Kangaroo、Unitree H1-2、およびBruceロボットを用いて評価された。

ベースラインとの比較:
- オラクル (O): すべてのプラットフォームで最小限の追従誤差を伴う100%の成功率を達成し、効果的な監督者としての役割を実証した。
- ベース・ポリシー (B): ランダム化の下で完全に失敗（成功率0%）し、適応なしの標準的なモデルベース制御の脆弱性を浮き彫りにした。
- 標準的な残差RL (ResRL): 成功率が低く（0-10%）、明示的なガイダンスなしではトルクベースのロコモーションの学習に苦戦した。
- 模倣学習 (IL): Kangarooでは良好な性能（成功率70-100%）を示したが、Bruceでは苦戦（成功率80%）し、特定のダイナミクス領域におけるオラクルの信頼性への敏感さを示唆した。
- 提案手法 (BOR - Base + Oracle Residual): KangarooとH1-2で100%の成功率を、Bruceで80%を達成した。標準的なResRLや純粋なILを大幅に上回り、DCMおよび足の追従においてオラクルレベルの性能に迫った。
不確実性に対する堅牢性: 様々なレベルのランダム化 ( $\beta \in [0.1, 0.7]$ ) でテストした際、提案手法は100%の成功率を維持したが、標準的なモデルベース・コントローラ (MBC) は不確実性が増すにつれて大幅に失敗した。
学習効率: 教師ありアプローチは、わずか1,500エピソード（約4.16時間のシミュレーション）で80%以上の成功率に収束したが、標準的な残差RLは同様の条件下でほとんど進展が見られなかった。
汎用性: 本フレームワークは、再チューニングなしで凹凸のある地形や異なるロボット形態へと正常に転移し、単なるオラクルへの模倣を超えた適応的な挙動を学習できることを示した。

意義と主張

本論文は、このアプローチがモデルベース制御とデータ駆動型RLの間の溝を効果的に埋めるものであると主張している。モデルベースの事前知識とデータ駆動型の適応を統合することで、本手法は二足歩行ロコモーションにおけるSim-to-Real転移のためのスケーラブルな解決策を提供する。

著者らは、オラクルが報酬エンジニアリングに過度に依存することなく、補正行動へとポリシーを導くことで、フレーム幅の学習効率と堅牢性が向上することを強調している。彼らは、オラクルが強力な教師信号を提供する一方で、高度に確率的な状況や、オークルのモデルベース計画が最適ではなくなる凹凸のある地形などの場合に、オラクルから逸脱するアクションを探索するためにRLコンポーネントが不可欠であると指摘している。本研究は、教師あり強化学習が、ヒューマノイドロボットのトルクベースのロコモーション制御において、効率的で堅牢かつ転移可能なソリューションを提供することを実証している。