論文要約：学習転移性：U 字型階段登攀における四足歩行ロボットの性能向上のための 2 段階強化学習アプローチ

本論文は、建築現場などの複雑な環境において、四足歩行ロボット（ロボットドッグ）が U 字型階段を含む多様な階段を自律的に登攀する課題に焦点を当て、深層強化学習（Deep RL）を用いた解決策を提案しています。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

• 背景: 建設現場では、無人地上車両（UGV）が物流、進捗管理、安全点検などに利用されています。従来の車輪型やクローラ型 UGV は平坦な床面でのみ動作可能ですが、四足歩行ロボットは段差や瓦礫のある環境、特に屋内の階段を移動できる点で優位性があります。
• 課題: 現在の四足歩行ロボットは、階段の登攀において不安定であり、人間の介入を必要とするケースが多いです。特に、U 字型（中折れ）階段や螺旋階段など、形状が複雑で方向転換を伴う環境での自律登攀は大きな技術的ハードルとなっています。
• 研究目的: 異なる形状の階段間での「学習転移性（Transferability）」を高め、U 字型階段を含む多様な環境でロボットが自律的に登攀できる強化学習フレームワークの構築と検証。

2. 手法：2 段階エンドツーエンド強化学習フレームワーク

本研究では、NVIDIA Isaac Lab シミュレーション環境上で、Unitree Go2 ロボットドッグを対象に、PPO（Proximal Policy Optimization）アルゴリズムを用いた 2 段階のトレーニング手法を採用しました。

2.1 入力と観測

ニューラルネットワークへの入力は以下の要素を含みます：

• ロボットの自己状態: 身体座標系における線形速度、角速度、重力ベクトル、関節位置コマンド。
• 目標状態: 目標のポーズ。
• 環境状態: 21x21 の局所高さマップ（Height Map）として表現された地形情報。

2.2 ネットワークアーキテクチャ

• ポリシー（Actor）ネットワーク: 局所高さマップを処理する浅い畳み込みニューラルネットワーク（CNN）エンコーダと、3 層の多層パーセプトロン（MLP）で構成。CNN は地形の幾何学的特徴を抽出し、これを自己状態と結合して MLP に渡します。
• クリティック（Critic）ネットワーク: ポリシーと CNN エンコーダを共有し、MLP の重みは独立して学習します。これにより、地形認識モデルの分離学習が不要となり、サンプル効率の向上が図られています。

2.3 報酬設計とペナルティ

• タスク報酬: 目標到達までの距離に基づくナビゲーション報酬（1 段階目）や、階段の中央を歩くことを促すセンターリング・パス報酬（2 段階目）を使用。
• 一般ペナルティ: モータ出力、過剰なトルク、急激な動作変化、物理限界の到達、過剰な関節速度・加速度に対するペナルティ。
• 特別ペナルティ（ストールペナルティ）: ロボットが目標領域外で 0.3 m/s 未満の速度で停止した場合、定数の負の報酬を与えます。これにより、難易度の高い地形でロボットが立ち往生せず、探索行動を促すことを目的としています。

2.4 カリキュラム学習

階段の段高と踏み面の幅を段階的に変化させる 10 レベルの難易度でトレーニングを行います。目標到達に成功すればレベルアップし、失敗すればレベルダウンするというルールを適用し、学習速度の向上とカタストロフィック・フォージング（学習忘却）の防止を図りました。

3. 主要な貢献

1. U 字型階段登攀の成功: ストールペナルティを導入することで、U 字型階段の登攀における目標到達率を向上させました。
2. 双方向の学習転移性の検証:
   • U 字型階段で学習したポリシーが、直線、L 字型、螺旋階段へ転移する能力。
   • 直線、L 字型、螺旋階段で学習したポリシーが、U 字型階段へ転移する能力。
3. 価値関数の可視化: クリティックネットワークの値分布を解析し、学習された価値関数が単なるユークリッド距離ではなく、地形の幾何構造に基づいた「長期的な実現可能性（Long-horizon feasibility）」をエンコードしていることを示しました。

4. 実験結果

実験は、U 字型階段での登攀（EXP1）と、異なる階段形状間での転移性評価（EXP2）で行われました。

4.1 U 字型階段登攀（EXP1）

• レベル 1〜5 では高い成功率を示しましたが、レベル 6（最も難易度が高い）では成功率が急激に低下しました。
• 価値マップの可視化により、ロボットが階段の入口、登攀経路、目標付近で高い価値を認識し、壁や段差の端では低い価値を認識していることが確認されました。

4.2 転移性評価（EXP2）

A. U 字型モデルの他地形への転移:

• 直線階段: 成功率 97.2%（転移性 97.6%）。非常に高い性能を示しました。U 字型階段に含まれる直線区間の学習が寄与しています。
• L 字型階段: 成功率 73.9%（転移性 83.6%）。中程度の性能。U 字型の「直線＋折れ曲がり」の構造が部分的に共通しています。
• 螺旋階段: 成功率 35.3%（転移性 50.6%）。性能が大幅に低下。U 字型環境では連続する曲率や非対称なステップ形状が十分に学習されていないためです。

B. 他モデルの U 字型階段への転移:

• 直線、L 字型、螺旋階段で学習したモデルを U 字型階段に適用した場合、成功率はすべて 1〜2% 程度に留まりました。
• 非対称性の発見: U 字型階段は、他の単純な形状よりも複雑で多様な移動・ナビゲーション行動を要求するため、U 字型で学習したモデルは他地形へ転移しやすいが、逆は成立しないという「非対称な転移性」が確認されました。

5. 結論と意義

• 結論: 提案した 2 段階強化学習フレームワークとストールペナルティは、四足歩行ロボットが U 字型階段を含む複雑な環境で自律登攀する能力を向上させる有効な手法です。特に、U 字型環境での学習は、より単純な地形への汎化能力が高い一方で、他の地形からの学習では U 字型の複雑さを捉えきれないことが明らかになりました。
• 意義:
  • 建設現場における多階層移動の実現に向けた重要な一歩。
  • 複雑な幾何構造を持つ環境（U 字型階段）を学習データとして含めることの重要性を示唆。
  • 将来的には、シミュレーションから実世界への転移（Sim-to-Real）実験を行い、実環境での有効性を検証する計画です。

本論文は、ロボットドッグが建築現場の階段を安全かつ自律的に移動するためのアルゴリズム的基盤を提供し、建設ロボティクスの実用化を加速させる可能性を秘めています。