論文「Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots」の技術的サマリー

本論文は、二足歩行ロボット（ヒューマノイド）における「多技能の継続的学習（Continual Learning）」と「破滅的忘却（Catastrophic Forgetting）」の課題を解決するための新しいフレームワーク「Tree Learning（ツリー学習）」を提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と課題 (Problem)

ヒューマノイドロボットの制御は、単一タスクから多技能の拡張へと進化していますが、以下の主要な技術的課題が存在します。

• 破滅的忘却: 新しい運動スキルを学習する際、既存の基礎的な能力（例：平地歩行）が失われる問題。
• 既存手法の限界:
  • Mixture-of-Experts (MoE) 系: 新しいスキル追加時にネットワークトポロジーの複雑な調整が必要であり、計算コストが増大する。
  • 大規模モデル: 非常に大規模なモデルの学習を必要とし、エッジデバイスでの軽量展開が困難。
  • モーション模倣系: 新しい動きを学習する際に方策（Policy）の再学習が必要で、既存能力の劣化を招きやすい。
• 汎化と効率性: 低コストで多様な環境（階段、不整地など）に対応するクロスモーダルな運動汎化が困難。

2. 提案手法：Tree Learning (Methodology)

生物進化における「親の形質の継承」と「専門化の進化」に着想を得た、階層的なパラメータ継承メカニズムを採用したフレームワークです。

2.1. 階層的パラメータ継承アーキテクチャ

• ルートスキル (Root Skill): 平坦な地面での歩行を「ルート」として定義し、まずこれを完全に学習させます。
• ブランチスキル (Branch Skills): ルートスキルから派生するスキル（片足立ち、階段昇降、走行、しゃがみ、ボール蹴りなど）を「ブランチ」として定義します。
• パラメータ継承: 各ブランチの学習は、親となるスキル（ルートまたは上位ブランチ）のネットワーク重みを初期値として使用します。これにより、ゼロからの学習による効率低下を防ぎます。
• 物理的隔離: 推論時には、異なるスキルごとに物理的に隔離されたサブネットワーク（ONNX 形式）を使用します。これにより、マルチタスク学習における勾配干渉を根本的に排除し、破滅的忘却を防止します。

2.2. 多モーダルフィードフォワード適応メカニズム

運動の特性に応じたフィードフォワード動作設計を採用しています。

• 周期運動 (歩行、走行など): 位相変調（Phase Modulation）を用い、左右の脚の交互動作をコサイン関数でスケジュールします。これにより、RL 探索のコストを削減し、運動の基準軌道を提供します。
• 非周期運動 (しゃがみなど): 線形補間（Interpolation）を用いて関節角度の基準軌道を生成し、動作の深さ（例：しゃがみ幅）を連続的に調整可能にします。

2.3. 報酬設計と学習戦略

• 報酬 shaping: 速度追従、重心高さ、姿勢制約、生存報酬、エネルギーペナルティなどの基本報酬コンポーネントを定義し、スキルごとに再構成・補完します。
• プログレッシブ・カリキュラム学習: 階段昇降などの複雑なタスクでは、段の高さを段階的に上げる（0.01m → 0.15m）ことで、局所最適解に陥るのを防ぎ、効率的な収束を促します。
• アルゴリズム: Unity ML-Agents 環境上で PPO（Proximal Policy Optimization）アルゴリズムを使用。

3. 主要な貢献 (Key Contributions)

1. 破滅的忘却の根本的解決: 物理的に隔離されたサブネットワークとパラメータ継承により、既存スキルを 100% 保持したまま、損失なしで多技能を拡張可能にしました。
2. 低コストなスキル反復パイプライン: 特定のブランチのみを微調整（Fine-tuning）することで、計算コストと時間を大幅に削減しています。
3. 実用的な検証: Unitree G1 ヒューマノイドロボット（シミュレーション）を用い、11 種類の高度な動的スキル（走行、ジャンプ、階段昇降、匍匐前進など）の効率的な拡張と、リアルタイムなインタラクティブな切り替えを実現しました。

4. 実験結果 (Results)

Unitree G1 を対象としたシミュレーション実験（Unity 環境）で以下の結果が得られました。

• マルチタスク学習との比較:
  • 6 つの代表スキル（歩行、走行、しゃがみ、ジャンプ、這いずり、片足立ち）において、Tree Learning は同時マルチタスク学習（Multi-task baseline）よりも高い最終報酬を達成しました。
  • 特に動的なスキル（ジャンプ、走行）において、Tree Learning は安定した高報酬（例：走行で 6138）を得ましたが、マルチタスクベースラインは低く（例：走行で 609）、収束に失敗するケースがありました。これは、異なる報酬関数間の勾配競合が原因であると分析されています。
• スーパーマリオ風インタラクティブシナリオ:
  • 幽霊からの逃走（走行）、階段の昇降、匍匐前進、箱へのジャンプ、ボール蹴りなど、複数のスキルを厳密なタイミングで切り替えるタスクを成功させました。
  • 手動切り替えおよび自動切り替え（環境認識に基づく）の両方で、姿勢の急変や転倒なく、滑らかな動作遷移を実現しました。
• 中国庭園における自律ナビゲーション:
  • 約 240 秒間の連続移動タスクにおいて、歩行、走行、階段昇降を環境に応じて自動切り替えました。
  • 22 の目標地点のうち 21 地点を正常に到達（1 回の回復のみ）し、高いナビゲーション信頼性を示しました。
  • 重心（CoM）の高さや姿勢（ロール・ピッチ角）のデータから、スキル切り替え時の姿勢安定性が保たれていることが確認されました。

5. 意義と将来展望 (Significance & Future Work)

• 意義:
  • 従来の RL 制御アプローチに対し、学習効率の向上、破滅的忘却の回避、広範なシナリオ適応性、実用的なインタラクション（超低遅延のスキル切り替え）を実現しました。
  • 複雑な技能蓄積に伴う勾配競合をメカニズムレベルで回避する、効率的なシステムレベルの解決策を提供しています。
• 限界と将来:
  • 現在は Unity シミュレーション環境での検証にとどまっており、実機への転送（Sim-to-Real）にはモータダイナミクスやセンサーノイズなどのギャップが存在します。
  • 今後の課題として、ドメインランダム化や状態推定技術の導入による実機へのゼロショット転送、およびダンスなどの長周期複雑動作の自動化（モーションリターゲティング）が挙げられています。

総じて、Tree Learning は、ヒューマノイドロボットが現実世界で多様なタスクを継続的に習得し、柔軟に実行するための強力な基盤技術として期待されます。