⚡ electrical engineering

Neuromorphic control of a simulated shape-memory-alloy-driven multi-legged robot using a spiking neural network

本論文は、形状記憶合金駆動の多脚ソフトロボットのエネルギー効率が高く自律的かつ協調的な歩行制御を実現するために、スパイキング・アクター・ネットワークと拡張リプレイバッファを特徴とするスパイキングニューラルネットワークベースの深層強化学習手法を提案するものである。

原著者： Daisuke Miki, Hiroto Takigasaki

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daisuke Miki, Hiroto Takigasaki

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ヒトデのような姿をしたロボットを想像してみてください。ただし、その「関節」は金属のジョイントや電気モーターではなく、**形状記憶合金（SMA）**と呼ばれる特殊なワイヤーでできています。これらのワイヤーは、熱を加えると元の形に戻るおもちゃの金属のようなものです。電気を流すと、ワイヤーは熱を持ち、収縮してロボットの脚を内側に引き寄せます。電気が止まると、ゆっくりと再び伸びていきます。

問題は、これらの「筋肉」が動きが遅く、頑固で、予測不可能なことです。即座に反応するわけではなく、無理に動かそうとすると混乱してしまいます。従来、エンジニアたちは、いつワイヤーを収縮させ、いつ伸ばすべきかを指示するために、厳格に決められた事前の計画（指揮者がタクトを振るようなもの）を手動で書き込まなければなりませんでした。もしロボットが段差に当たったり、床が滑りやすくなったりすると、この硬直した計画は失敗してしまうのです。

大きなアイデア：「筋肉質な」体に「神経的な」脳を
研究者たちは、このロボットに、あらかじめ書かれたスケジュールなしで自律的に歩行する方法を教えたいと考えました。そのために、彼らはロボットに**スパイキングニューラルネットワーク（S-NN）**で構成された脳を与えました。

標準的なコンピュータの脳（スマートフォンのようなもの）を、たとえ重要なことがなくても全員が常に喋り続けている忙しいオフィスだと考えてみください。それは騒々しく、多くのエネルギーを消費します。
一方、このロボットの新しい脳は、静かな図書館にいる僧侶たちのグループのようなものです。彼らは、本当に重要なことがあった時にだけ、言葉を発したり（あるいは「スパイク」したり）します。これにより、脳は驚異的にエネルギー効率が高くなり、特定の瞬間に素早く反応できるようになります。これは、実際の生物学的な脳と同じ仕組みです。

ロボットへの教え方
チームは、**深層強化学習（Deep Reinforcement Learning）**という手法を用いました。これは、犬の訓練をイメージすると分かりやすいでしょう。

ロボットが歩こうとする。
前に進めると、「ご褒美（ポジティブなスコア）」をもらえる。
エネルギーを無駄遣いしたり、動けなかったりすると、「叱責（ペナルティ）」を受ける。
何百万回もの試行を経て、ロボットは最も多くのご褒美をもらうための最適な動き方を理解していきます。

秘訣：「スパイキング・アクター」
通常、これらの学習型ロボットは標準的なコンピュータの脳を使用します。しかし、研究者たちはロボットの「意思決定者（アクター）」を、この特殊なスパイキングニューラルネットワークに置き換えました。

記憶のトリック： これらの「僧侶のような」ニューロンには、過去の興奮状態（「膜電位」と呼ばれます）を記憶する機能があるため、研究者たちはコンピュータにこの履歴を記憶させる必要がありました。彼らは、ロボットが少し前の瞬間にニューロンが何を「考えていたか」を想起できるように、トレーニングプロセスに特別なノートブックを追加しました。
省エネ機能： また、「必要のない限り叫ぶな」というルールも追加しました。これにより、ロボットは仕事を遂行するために、より少ない電気的な「スパイク」を使用するように促され、バッテリー電力を節約できるようになりました。

実験では何が起きたのか？
彼らは仮想的な物理世界（ビデオゲームのシミュレーション）でロボットをテストしました。

学習曲線： 最初、ロボットはただランダムに痙攣しているだけでした。しかし、学習が進むにつれて、ロボットはあるリズムを発見しました。自身の「筋肉」が冷えて伸びるまでに約20〜25秒かかることを理解したのです。
完璧なダンス： 5本の脚すべてが全く同時に引っ張られるのではなく（それでは非効率です）、ロボットは脚を波のようなパターンで動かすことを学びました。スタジアムの観客が作るウェーブのように、一本の脚が引き寄せられ、次に次の脚、その次に次の脚……という具合です。
結果： ロボットは目標に向かってスムーズに歩くことを学習しました。自身の筋肉の熱的な性質（遅さ）に合わせて、完璧なタイミングを見つけ出したのです。単に台本に従うのではなく、目的地に応じてリズムを適応させる方法を学んだのです。

なぜこれが重要なのか
この論文は、「遅くて熱い筋肉」を持つロボットであっても、生物のようにパルス（脈動）で考える脳を与えることで、効率的に歩行できることを示しています。ロボットは、誰かに教えられることなく、自身の物理的な限界に合わせたリズムを見つけ出し、動きを調整することを学びました。これは、「ニューロモーフィック（脳型）」な制御が、スマートでエネルギー効率が高く、現実世界に対応できる柔軟なソフトロボットを作るための鍵となることを証明しています。

技術要約：スパイクニューラルネットワークを用いたシミュレーション上のSMA駆動多脚ロボットのニューロモーフィック制御

問題提起

ソフトロボット、特に形状記憶合金（SMA）によって駆動されるロボットの従来の制御戦略は、主にオープンループの設計された周期信号に依存している。このアプローチは、ソフトロボットシステムの高次元性と、SMAアクチュエータに固有の熱ヒステリシスや飽和特性といった強い非線形性に起因する大きな課題に直面している。多くの自由度を持つシステムの協調運動を手動で設計・調整することは困難であり、また、オープンループ制御は環境の変化（障害物や傾斜など）や材料の劣化に対処するための適応性に欠けている。

深層強化学習（DRL）は適応的制御への道筋を提供するが、標準的なDRLアプローチは、推論時に計算コストが高くエネルギー効率が低い可能性がある人工ニューラルネットワーク（ANN）を利用することが多い。さらに、SMAは生物学的筋肉の機械的応答特性（閾値挙動、飽和、パルス入力の時次的加算など）を共有しており、生物学的神経処理を模倣した制御アーキテクチャが特に適していることが示唆されている。解決すべき具体的な課題は、手動の信号設計に頼ることなく、SMAアクチュエータの非線形ダイナミクスを活用することを学習できる、エネルギー効率の高い自律的な制御手法を開発することである。

手法

ロボットモデルと駆動

著者らは、MuJoCo物理シミュレータ内でヒトデにインスパイアされた多脚ソフトロボットをモデル化した。ロボットは中央の胴体と、放射状に配置された5本の脚で構成されている。各脚は6つのヒンジ関節（計30自由度）で構成され、SMAワイヤー（屈曲筋）と受動的弾性要素（伸展筋）によって駆動される。

SMAモデル: 計算効率を優先し、Brinsonの研究に基づく簡略化された構成モデルを採用した。このモデルは、応力依存性を明示的に無視し、温度のみの関数として相変態の進行度（ $\xi$ ）を近似する。発生する力は $\xi$ に比例する。
熱力学: SMAワイヤーの温度進化は、ジュール熱と熱放散を考慮したエネルギー保存方程式によって支配される。モデルには、加熱および冷却プロセスに対して異なる転移温度を使用することで、熱ヒステリシスが含まれている。
駆動ロジック: 制御入力は正規化された電流値（ $u \in [0,1]$ ）である。システムは、数値的不安定性を防ぐために、温度上昇と冷却率の物理的限界をシミュレートする。

スパイク・アクター・ネットワーク（SAN）

核となる貢献は、Twin Delayed Deep Deterministic Policy Gradient（TD3）アルリズムを用いた、スパイクニューラルネットワーク（SNN）ベースの深層強化学習手法である。

アーキテクチャ: アクターネットワークは、以下の要素からなるスパイク・アクター・ネットワーク（SAN）に置き換えられる：
1. エンコーダ: ポピュレーションコーディングと閾値メカニズムを用いて、連続的な状態観測をスパイク列に変換する。
2. FC SNN: 2つの隠れ層（256個のLeaky Integrate-and-Fire（LIF）ニューロン）を持つ全結合ネットワーク。
3. デコーダ: レートコーディングを介して、出力スパイク列を連続的なアクション値（SMAへの制御信号）に変換する。
内部状態の処理: 標準的なTD3とは異なり、リプレイバッファは状態、アクション、報酬とともに、膜電位情報（ $m_t$ および $m_{t+1}$ ）を保存するように拡張されている。これにより、学習フェーズのサンプリング中にSNNの内部ダイナミクスを正確に再現することが可能となる。
学習アルゴリズム:
- 代理勾配（Surrogate Gradient, SG）: LIFニューロンの非微分的なステップ関数は、バックプロパゲーション中に高速なシグモイド関数を用いた代理勾配によって処理される。
- 正則化: アクターの損失関数に正則化項（ $\alpha \|m_n\|_2^2$ ）が追加される。これは、膜電位の二乗を最小化するように促し、推論時のスパイク発火数を抑え、エネルギー効率を向上させるためのものである。

実験設定

タスク: 目標地点への自律的な移動。
状態空間: SMAの長さ、第1レイ（脚）の先端の相対位置、および胴体中心から目標へのベクトルを含む9次元ベクトル。
報酬関数: 目標への進行を促進し、目標への距離をペナルティとし、エネルギー効率を高めるためにアクションベクトルのL2ノルムをペナルティとする複合報酬。
環境: 10msのタイムステップ（1000msの観測/アクション間隔）を持つMuJoCo物理シミュレータ。

主な結果

運動評価とSMAダイナミクス

初期実験により、単一の脚の屈曲角度とスパイク発火率の関係が確立された。結果は、生物学的筋肉の挙動を反映した強い非線形性、閾値効果、および飽和を確認した。重要な知見は、最適な駆動周期が存在することである。緩和時間（ $T_{ext} \approx 20\text{--}25$ 秒）よりも長い周期はアイドル時間を発生させ、逆に $T_{ext}$ より短い周期は不完全な伸展とエネルギーの浪費を招く。

自律的な移動学習

SANは、直線移動と目標到達（斜行）移動の2つのシナリオにおいて、ロボットの制御に成功した。

学習の進展:
- 初期段階 (30k steps): 明確な周期性はなく、動きは最小限である。
- 中期段階 (50k steps): 周期的な発火パターンが出現し、限定的な前進運動が見られる。
- 後期段階 (300k steps): 連続的で安定した移動と、協調した歩容（ゲイト）が実現される。
歩容の特性:
- 周期性: 学習された発火周期は約24〜26秒に安定し、基本実験で測定されたSMAアクチュエータの物理的緩和時間に密接に一致した。
- 協調: エージェントは、5本の脚を同期させるのではなく、特定の位相差を持って駆動することを学習した。例えば、直線移動タスクでは、レイ2とレイ5が先行し、レイ3とレイ4はレイ1に対してほぼ逆位相となった。
- 適応性: 目標位置が変化すると、エージェントは固定された入力パターンに頼るのではなく、レイの収縮タイミングと位相関係を動的に調整した。

エネルギー効率

膜電位の正則化項の導入により、推論中の過剰なスパイク発火が効果的に抑制され、エネルギー効率の高いニューロモーフィック制御という目標に合致した。

重要性と主張

本論文は、提案手法がエネルギー効率の高いソフトロボットの移動のための自律的なニューロモーフィック制御の可能性を示していると主張している。具体的には以下の通りである：

物理的制約の自律的獲得: エージェントは、SMAアクチュエータの熱力学的応答遅延と出力飽和を暗黙的に学習し、手動のチューニングなしに物理的緩和時間に一致する駆動周期を獲得した。
創発的な協調: 環境との相互作用を通じて、SNNは秩序ある位相伝搬ダイナミクスを伴う協調歩容を自律的に発達させた。これは、先行研究における経験的に設計された歩容を模倣しているが、オープンループの事前設計なしに達成されている。
エネルギー効率: イベント駆動型のSNNの性質と、膜電位を最小化する正則化項を活用することで、本手法は従来のANNベースのDRLと比較して、低電力な推論への道筋を提供する。
適応性: エージェントは発火パターンを動的に調整することで、異なる目標位置に適応することに成功し、タスクの変化に対する堅牢性を示した。

著者らは、学習ベースのニューロモーフィック制御が、高次元で非線形な人工筋肉システムにおける従来のオープンループ制御の限界を克服できると結論付けている。また、結果は有望であるが、実世界のパラメータ（冷却速度、摩擦、材料の弾性など）はシミュレーションとは異なる可能性があるため、将来的な課題として、これらのポリシーを物理的なロボットへ転送（sim-to-real）する必要があることを述べている。