Vision-based Goal-Reaching Control for Mobile Robots Using a Hierarchical Learning Framework

技術要約：階層型学習フレームワークを用いた移動ロボットのための堅牢なビジョンベース目標到達制御

問題提起
大規模な移動ロボット（例：6000 kgのスキッドステア式プラットフォーム）において、過酷で部分的に既知の環境（採掘、建設、林業など）での信頼性の高い目標到達は依然として困難である。強化学習（RL）は高い性能を提供する一方で、重量級ロボットへの導入は、安全性への懸念、複雑な非線形アクチュエータ力学、および系統的な故障のリスクによって困難を極める。既存のRL手法の多くは、完全な低レベルのアクチュエーションを想定しているか、あるいはより軽量なロボット向けに設計されており、重量級のインホイール・アクチュエータ・チェーン特有の制約、スリップによる摂動、およびリアルタイム動作における形式的な安全保証の必要性に対処できていない。

手法
本論文は、以下の4つの異なる層を統合した、階層的で安全性を考慮した制御フレームワークを提案する：

1. 視覚的ローカライゼーション： システムは、リアルタイムのステレオ視覚ポーズ推定インターフェースとして ORB-SLAM3 を利用する。これは、GNSSなしでも機能するように、ループクロージング、マップ融合、および再ローカライゼーション機能を備え、ロボットの平面ポーズ（$x, y, \theta$）をプランナーとスーパーバイザーに提供する。
2. 制約付きRLモーションプランナー： 離散的な Q学習 エージェントが、滑らかで実行可能な運動参照を生成する。
   • 状態と行動： 状態空間は、目標までの距離、方位誤差、線速度、および角速度を離散化する。極めて重要な点として、エージェントは直接的な速度ではなく、加速度（$a_v, a_\omega$）を出力することで滑らかさを確保する。
   • 報酬シェイピング： 報酬関数は、タスクの進捗（距離減少、タイムアウトペナルティ）と、振動を抑制し、方位の単調性を強制し、目標付近での符号反転を抑制するための特定のシェイピング項を組み合わせている。
   • ポリシー制約： プランナーには、重量級のスキッドステア・ロボットに典型的な残留的な方位の揺らぎを排除するために、ヒステリシスおよびゼロロック・ロジック（目標と整列した際に角加速度をゼロにクランプする機能）が組み込まれている。
3. アクチュエータレベル制御（DNN + RAC）：
   • フィードフォワード： **スケールド共役勾配法（SCG）**で学習されたディープニューラルネットワーク（DNN）が、所望の車輪速度から公称制御入力への準静的なフィードフォワード写像を近似する。この写像は、アスファルトおよび緩い土壌の地形から収集されたデータを用いてオフラインで学習される。
   • フィードバック： 対数バリア関数を備えた**ロバスト適応制御器（RAC）が、残留モデル誤差、スリップ、および有界な不確実性を補償する。この制御則は、摂動に依存する残留集合への指数関数的な収束を伴う一様最終有界（UUB）**な追従を保証する。
4. 監視安全ロジック： サンプリングされたスーパーバイザーが、安全境界の違反（安全円への距離に基づく対数バリアを使用）およびローカライゼーションの不整合（例：異常なポーズの跳躍）を監視する。故障や安全でない条件を検知すると、システムは決定論的なブレーキプロファイルを起動し、ロボットを安全帰還モードに切り替え、定義された検査サイトへと誘導する。

主な貢献
著者らは、その新規性が新しいSLAM、RL、または制御アルゴリズムの発明にあるのではなく、重量級のオフロードプラットフォームのための問題特化型の統合と実現にあることを強調している：

1. 統合： ORB-SLAM3、制約付きQ学習、SCG学習DNN、およびRACを、6000 kgのロボットのための単一の制御スタックに結合したこと。
2. 制約を考慮したRL： 加速度ベースの行動、特定の報酬シェイピング、および重量級スキッドステアの力学に適合した実行時ロジック（ヒステリシス/ゼロロック）を備えたQ学習プランナーの設計。
3. アクチュエータの実装： インホイール・アクチュエータ・チェーンの非線形性と不確実性を処理するために、DNNフィードフォワード写像と対数バリアRACを組み合わせた実装。
4. 安全スーパーバイザー： ローカライゼーションの故障を検出し、安全帰還軌道を強制するステートマシン型のスーパーバイザーの開発、および故障注入シナリオを通じた検証。
5. 実験的検証： 6000 kgのロボットを用い、アスファルトおよび軟弱な土壌の地形にわたる実験を行い、故障注入後の自律的な回復を実証したこと。

実験結果
実験は、6000 kgのスキッドステア式ロボットを用いて、3.5 kmの走行（アスファルト50%、軟弱な土壌50%）にわたって実施された。

• 目標到達： システムは、SLAM推定フレームにおいて、最終位置の二乗平均平方根誤差（RMSE）を約3～4 cm（アスファルトで0.0317 m、軟弱な土壌で0.0382 m）に抑えた。
• 追従性能： DNNベースのRACは、定常偏差、ピーク時間、および最大オーバーシュートの点で、ベースライン（Backstepping RACおよびモデルベースRAC）を大幅に上回った。DNNフィードフォワードと適応フィードバックの組み合わせにより、横方向のRMSEは、フィードフォワードのみの場合の約0.039 m/sに対し、0.008 m/sに低減された。
• 安全性と故障回復： 故障注入シナリオ（シミュレートされたローカライゼーションの不整合）において、スーパーバイザーは違反を正常に検出し、ブレーキを開始し、安全な検査エリアへロボットを自律的に帰還させた。
• アブレーション研究： ヒステリシスまたはゼロロック・ロジックを除去すると、方位の反転や目標付近での振動が増加し、学習されたポリシーを安定させるための手動設計コンポーネントの必要性が確認された。

意義と主張
本論文は、重量級ロボットにおける低速の目標到達のための、システムレベルの統合の実現可能性を示すものであると主張している。提案されたフレームワークが、専用のスーパーバイザー層を通じて安全性を維持しながら、重量級のアクチュエータ・チェーンと地形の変化の複雑さにうまく対処できることを強調している。

著者らは控えめな主張を行っており、以下を明示している：

• 本フレームワークは、任意のプラットフォームに対するプラグアンドプレイのソリューションではなく、異なるロボットや地形に合わせてパラメータや離散化の再調整が必要である。
• 結果は、障害物のない環境における保守的な速度および加速度制限下での性能を検証したものであり、高速自律走行や障害物回避能力を主張するものではない。
• DNNフィードフォワード写像は、記録された動作範囲内で有効である。この範囲外の動作（例：異なるペイロードや未知の地形）は、DNNの汎化ではなく、RACによって処理される有界な不確実性として扱われる。
• 安全スーパーバイザーは、検出された特定の故障に対して決定論的な応答を提供するが、あらゆるローカライゼーションまたは地形の故障に対する一般的な安全性の証明を構成するものではない。

結論として、本研究は、高レベルのプランニングと低レベルのアクチュエータの堅牢性の間のギャップを埋め、専用の監視層を通じて安全性を確保することにより、重量級の産業用ロボットへのRLベースの制御をデプロイするための検証済みの経路を提供するものである。