Learning, locomotion, and navigation of soft synthetic snakes in three-dimensional, heterogeneous environments

本論文は、生体模倣型強化学習フレームワークを提示し、これによりソフト合成ヘビが簡易地形における移動プリミティブを学習し、それらを現実世界のデータから再構築された複雑で不均質な3次元環境を強固に航行するための適応戦略へと構成することを可能にする。

要約

ロボットヘビに、岩や砂、凸凹が散らばる現実の荒れた裏庭を這い抜けるよう教えることを想像してみてください。さらに、このロボットが、すべての筋肉の動きを指示する複雑な数式で満たされた「脳」を持たないとしたらどうでしょう。代わりに、その場で状況を判断できる「賢い直感」を持っているのです。

この論文は、まさにそのことを記述しています。生物学的な工夫と機械学習を組み合わせることで、柔らかく四肢を持たないロボットヘビが、厄介な3次元環境を移動するための新しい手法です。

以下に、彼らがどのように行ったかを、簡単な比喩を用いて解説します。

1. 問題：筋肉が多すぎて混乱する

実際のヘビは驚くべき存在です。足を持たずに亀裂に潜り込み、岩を登り、砂の上を滑るように移動できます。しかし、ロボットヘビを構築するのは困難です。その体は無限に曲がりうる長い柔軟な麺のようだからです。もしその麺の1インチごとにコンピュータで制御しようとしたら、計算が複雑すぎてロボットが停止してしまいます。

研究者たちは、すべての動きを完璧に計算しようとするのではなく、経験から学ぶ「簡略化された脳」をロボットに与えることでこの問題を解決しようと考えました。

2. 「筋肉記憶」のトリック（駆動）

ロボットにすべての筋肉を動かすようプログラムする代わりに、チームはプリセットされたダンスルーチンを与えました。

• 比喩： ヘビの動きを、ロープを伝って進む波のように考えてみてください。研究者たちは、ロボットにシンプルな「2つの波」のダンスをプログラムしました。1つは横方向に動く波（ヘビが這うような動き）、もう1つは上下に動く波（体を浮かせる動き）です。
• 魔法： ヘビがどのくらい持ち上がるか、波のタイミングはどうか、という2つのノブを調整するだけで、ロボットは全体の挙動を変えられます。左に曲がる、右に曲がる、まっすぐ進む、あるいは砂漠のヘビのように横に移動する「サイドワインディング」というダンスを行うことさえ可能です。これにより、複雑な問題が、2つのダイヤルを調整するだけのシンプルなゲームへと変わります。

3. 「第六感」（センシング）

ロボットは、何の上を歩いているかを知る必要があります。滑らかな砂でしょうか？それとも荒れた草地でしょうか？

• 比喩： 研究者たちは、魚の群れや鳥の群れが一体となって動く仕組みに基づいた「感覚」システムをロボットに与えました。ヘビの腹に当たる力を受け取る、小さな同期したメトロノームのような仮想「振動子」のグループを使用しました。
• 仕組み： ヘビが荒れた地面に当たると、メトロノームは同期して脳に「ねえ、ここは荒れた地形だよ！」と伝えます。滑らかな砂に当たると、同期の仕方が変わります。これにより、高価なカメラやレーザーがなくても、ロボットは環境をリアルタイムで感知できるようになります。

4. 学習プロセス（強化学習）

チームはロボットにマニュアルを書きませんでした。代わりに、ボールを拾うことを学ぶ子犬のように、ロボットに試行錯誤を通じて学習させました。

• フェーズ1：サンドボックス： まず、平坦で単純な床（一部は荒く、一部は滑らか）でヘビに練習させました。ロボットは数百万回もの異なる動きを試行し、目標に近づくごとに「ポイント」を獲得し、立ち往生すると「ポイントを失う」ように設定されました。最終的に、荒れた地面用と滑らかな砂地用の、2つの完璧な「ダンスムーブ」を学びました。
• フェーズ2：切り替え： 次に、ロボットを混合環境（半分は荒れ、半分は滑らか）に置きました。ロボット全体を再訓練するのではなく、シンプルなルールを与えました。「もしセンサーが荒れを感じたら、荒れた地面用のダンスを使いなさい。もし滑らかを感じたら、滑らかな地面用のダンスを使いなさい」というものです。
• 結果： ロボットは即座にダンスを切り替えることに成功し、本物のヘビがそうするように、混合された地形を移動しました。

5. 「頭を持ち上げる」スーパーパワー

最後に、彼らは丘、亀裂、崖（火星や他の地形の実際の写真から再構築された）を備えた、本当に荒れた3次元世界でロボットをテストしました。

• 課題： 時折、隆起が腹を持ち上げてしまい、牽引力を失うため、ロボットが立ち往生することがありました。
• 解決策： 彼らはロボットの脳に「パニックボタン」を追加しました。センサーがロボットが地面との接触を失っていると感じた場合、自動的に頭をより高く持ち上げるようにしました。
• 比喩： 岩の多い道を進んでつまずいたとき、次の岩を越えるために反射的に足を高く持ち上げることを想像してください。ロボットも同じことをしました。頭を持ち上げることで、地面に触れている体の部分を短くし、実際にはより良いグリップ力を得て、鋭く旋回できるようになりました。

結論

研究者たちは、柔らかいロボットヘビが以下のことができるシステムを構築しました。

1. 平坦な地面で単純な移動パターンを学習する。
2. 「集合的な感覚」システムを使って、どのような地面にいるかを感知する。
3. 地面が変わった瞬間に、異なる移動スタイルの間を即座に切り替える。
4. 地形が凸凹になるときに頭を持ち上げて適応する。

その結果、複雑で現実的な3次元の景観を高い信頼性で移動できるロボットが生まれました。これは、荒れた世界を移動するために超複雑な脳は必要なく、正しい直感と少しの学習があれば十分であることを証明しています。

技術概要

技術概要：3 次元不均一環境におけるソフト合成ヘビの学習、移動、およびナビゲーション

問題定義
ヘビなどの無肢陸生動物は、構造化されていない不均一な 3 次元地形において卓越した移動の汎用性を示すが、この能力は現在、人工的なソフトロボットには未だ達成されていない。人工システムにおいてこの可能性を実現するのを妨げる要因は、ソフトで細長い体幹に固有の高い自由度（高 DOF）、強い非線形性、および接触に富む複雑な相互作用である。従来のモデルベース制御手法は、これらの環境における扱いやすさ（tractability）に苦慮しており、モデルフリー強化学習（RL）アプローチは、しばしばスケーラビリティの問題と高い計算コストに悩まされ、その展開が単純化された設定に限定されている。本研究は、あらゆる新しい環境ごとに広範な再学習を必要とすることなく、ソフト合成ヘビが複雑な現実世界の 3 次元地形をナビゲートできるようにするという課題に取り組む。

手法
著者は、連続体に基づく数値モデルと生物学的に着想を得た強化学習アーキテクチャを統合するハイブリッド計算フレームワークを提案する。手法は以下の 4 つの中核コンポーネントから構成される。

1. 連続体動的モデリング: ヘビの体幹は、コルセアロッド理論を用いてモデル化され、伸縮、曲げ、ねじれ、せん断を含む 3 次元ダイナミクスを捉える。シミュレーションは、コーンスネーク（Pantherophis guttatus）の幾何学的および生物力学的特性をインスタンス化したオープンソースソフトウェア Elastica を利用する。環境は、火星の景観などの実世界イメージングデータから再構築された高忠実度 3 次元地形で表現され、OBJ メッシュ形式を通じてインポートされる。異方性クーロン摩擦と地面反力を組み合わせた接触モデルが、多様な基質との相互作用をシミュレートするために用いられる。

2. 生物学的に着想を得た作動（モータープリミティブ）: 高 DOF システムの制御複雑性を低減するため、著者は定型化された作動テンプレートのコンパクトなライブラリを採用する。具体的には、「2 波」筋活動モデルが用いられ、固定された側方うねり波と調整可能な垂直挙上波から構成される。制御動作空間は、2 つの調整可能なパラメータ、すなわち無次元活性化比率（$A$）と垂直波の位相オフセット（$\Phi$）に削減される。このアプローチは、受動的な体幹力学と地形相互作用を利用することで神経筋制御を軽減する「物理的知性」を活用する。

3. ニューロンに着想を得たセンシング: 頑健な状態推定は、結合発振器フィードバック粒子フィルタ（FPF）を通じて達成される。ヘビの中腹部に沿って 2 つの独立した発振器群が展開され、側方（$F_l$）および垂直（$F_v$）方向の局所地面接触力を推定する。これらの発振器は生物学的神経回路を模倣し、ノイズの多い感覚入力をフィルタリングしてサイクル平均化された力の大さき（$H_1, H_2$）を提供する。これらの信号は、RL エージェントに対する環境状態入力として機能し、固有受容感覚と環境知覚を可能にする。

4. 強化学習と方策適応: 制御目標は、目標地点への進捗を最大化する最適化問題として定式化される。制御方策を学習するために、近接方策最適化（PPO）アルゴリズムが用いられる。

   • 訓練フェーズ: 方策は、まず単純化された均一環境（純粋な異方性または等方性摩擦）で訓練され、移動プリミティブ（例：前方滑走対サイドワインディング）を学習する。
   • 適応フェーズ: 不均一地形に対しては、フレームワークが方策切り替えメカニズムを採用する。ヘビは、リアルタイムの感覚フィードバック（$H_1$）に基づいて学習された均一方策の間を動的に選択し、局所摩擦領域を特定する。
   • 洗練: 3 次元地形特徴（例：盛り上がり、崖）に対処するため、再学習なしで軽量な方策適応が導入される。これには、盛り上がり navigate するための異方性方策に対する「頭上げ」メカニズムと、高さの差を克服するための等方性方策に対する「挙上増幅」が含まれ、どちらも特定の感覚閾値によってトリガーされる。

主要な結果

• 均一ナビゲーション: 学習された方策は、異方性および等方性の平坦面上の 6L $\times$ 6L 領域内で目標に到達する成功率がほぼ 100% に達した。システムは摩擦特性に基づいて歩様（滑走対サイドワインディング）間の遷移を成功裡に学習した。
• 不均一平坦表面: 混合摩擦領域を有する地形において、方策切り替えアプローチは 86.2% の成功率を達成し、同じ不均一地形でゼロから訓練された方策（81.1%）を上回った。切り替えメカニズムは、新しい設定での再学習を必要とせず、より頑健でスケーラブルであることが証明された。
• 3 次元複雑地形: 凹凸（盛り上がり、亀裂）および著しい標高変化（ヘビの半径の最大 30 倍）を伴う現実的なメッシュベースの地形に展開された際、ベース方策の成功率は 20.8% に留まった。しかし、生物学的に着想を得た方策適応（頭上げと挙上増幅）の統合により、盛り上がりのある平坦な異方性地形における成功率は 88.1% に上昇した。
• 複雑な 3 次元環境: 砂利（異方性）と砂（等方性）を組み合わせ、急な崖を有する高度に不均一な環境において、統合戦略（方策切り替え＋適応）は、ヘビが目標から 1L 以内に接近した試行の 55.7% で成功したナビゲーションを可能にした。歩様遷移の極端な複雑さにより完全な到達可能性は依然として限定的（約 30%）であったが、システムは多様な地形および基質タイプを横断する能力を実証した。

意義と主張
本論文は、自然地形における連続体システムを制御するための物理的に現実的なシミュレーションプラットフォームと実用的な洞察を提供すると主張する。主な意義は、コンパクトな作動テンプレート、頑健な感覚フィードバック、および軽量な方策切り替えを組み合わせるモジュール化された生物学的に着想を得た制御戦略が、広範な再学習を必要とすることなく、ソフトロボットが多様で複雑な 3 次元環境に一般化することを可能にすることを示した点にある。

著者は、そのアプローチが「物理的知性」を活用していることを強調しており、そこではロボットの受動的力学と環境媒介相互作用が、制御を単純化するために意図的に利用される。このフレームワークは、無肢移動のための計算効率的な基準を確立し、防衛、探査、点検、医療への応用に向けた、現実世界での展開可能なソフトで滑るロボットの道筋を提供する。本研究は、現在のフレームワークが単純化された環境での学習に依存していることを認めつつも、さらに変化する 3 次元地形での性能を向上させるために、将来のタスク固有のモータープリミティブ（例：登攀や固定用）を収容できるモジュール化された基盤を提供していると述べている。