技術要約：予測シミュレーションにおける人間らしい動きのためのラムダ・ホールド制御（Lambda-Hold Control）

1. 問題提起

本論文は、筋骨格モデルに人間らしい動きを生成させるための強化学習（RL）における根本的な課題に取り組んでいる。ヒトの筋骨格系は極めて過剰駆動（overactuated）であり、下肢は機械的な自由度よりもはるかに多くの筋肉を有している。この冗長性は、RLにおいて主に2つの障害を生じさせる。

1. 次元の呪い： アクション空間において、1秒間に数百回、約90個の筋肉の励起ベクトルを指定する必要がある。
2. 非効率な探索： 標準的なRLエージェントは、筋肉の励起を独立して摂動させる（例：ガウスノイズを用いる）。筋肉の活性化から関節運動へのマッピングは「多対一」であるため、これらの相関のない摂動は関節空間において互いに打ち消し合ってしまうことが多い。その結果、エージェントは高次元の励起空間を探索することには成功するが、低次元の関節空間を効果的に探索できず、学習が極めて遅くなるか、あるいは失敗に至る。

これらを軽減するための既存のアプローチには、固定された反射ルール、整形された探索ノイズ、自己組織化信号（DEP-RLなど）、あるいは固定された筋シナジーが含まれる。しかし、これらの手法は、協調性を（固定された構造や外部ノイズを通じて）外部から強制するものであり、身体の力学から協調性が創発することを許容するものではない。あるいは、最小限の報酬から学習するのではなく、参照動作の模倣に依存している。

2. 手法：$\lambda$-ホールド・コントローラー

著者らは、探索の非効率性を解決するために、平衡点（Equilibrium-Point: EP）仮説と**間欠的制御（intermittent control）を統合した新しい制御アーキテクチャである$\lambda$-ホールド・コントラー（$\lambda$-hold controller）**を提案している。

2.1 制御変数：閾値長（$\lambda$）

ポリシーは直接的に筋肉の励起（$e_i$）を指令するのではなく、**筋肉ごとの閾値長（$\lambda_i$）**を指令する。この変数は、フェルドマンのEP仮説に基づいた、筋肉が動員され始める平衡点を表している。

2.2 伸展反射による動員則

固定された生理学に基づいた法則が、筋肉の現在の長さ（$\ell_i$）と速度（$v_i$）に基づいて、指令された $\lambda_i$ を筋肉の励起 $e_i$ へと変換する。
$$e_i = \left[ G_{tonic}(\ell_i - \lambda_i) + G_{phasic}[v_i]_+ \right]_0^1$$

• $G_{tonic}$ (50): 静的伸展反射（長さのフィードバック）を実装。
• $G_{phasic}$ (0.1): 動的伸展反射（速度のフィードバック）を実装。これは、引き伸ばされている間のみ駆動を加えるように整流される。
• 創発的な協調： この法則には明示的な結合項は含まれていないが、骨格の力学が筋肉を結合させる。骨格のダイナミクスによって共に引き伸ばされる筋肉は、共に動員される。したがって、$\lambda$ 空間における独立した摂動は、定義されたシナジー行列がなくとも、自然に協調したシナジーのような励起を生み出す。

2.3 間欠的制御と「ホールド」

ポリシーは毎ステップごとに $\lambda$ を更新するわけではない。代わりに：

• 決定ポイント： 新しい $\lambda$ 値は、特定の床反力（GRF）イベント（足の接地および離地）と、歩行フェーズにおける1つの中間「サブポイント」においてのみ発行される。
• ホールド間隔： 決定ポイントの間、現在の $\lambda$ は一定に保持される。反射則は、進化する筋肉の状態に基づいて励起を継続的に更新する。
• 利点： これにより、シミュレーションステップに対するポリシーのクエリ（決定ステップ）の頻度が劇的に減少し、クレジット割り当ての連鎖が短縮され、計算コストが削減される。決定的なのは、ホールド間隔内でも反射ループを通じて励起が動的に変化し続けることであり、これが単純な「アクション・リピート」とは異なる点である。

2.4 強化学習の設定

• アルゴリズム： 一般化された状態依存探索（gSDE）を用いたソフト・アクター・クリティック（SAC）。
• 報酬： 前方速度（$v_x$）のみで構成され、左右方向の揺らぎ（$v_z$）によるペナルティで減衰される最小限の報酬。参照動作、姿勢制約、または対称性報酬は使用されない。
• 観測： 筋肉の長さ/速度、関節角/速度、GRF、および現在の $\lambda$ のエフェレンス・コピーを含む432次元。

3. 主な結果

3.1 学習効率

• 速度： $\lambda$-ホールド・コントローラーは、単一のワークステーションでの実時間トレーニングにおいて、1時間以内にスプリント（約4.0 m/sに到達）を学習する。
• 比較：
  • プレーンなSAC（直接的な励起制御）およびシナジーのベースラインは収束に失敗し、多くの場合、数ステップ後に地面に倒れ込む。
  • DEP-RLは学習が遅く、不自然で非対称な歩行で約2.6 m/sにしか到達しない。
  • 励起ホールド（Excitation-Hold）（反射なしで励起を保持する手法）はプレーンなSACよりは改善するが、$\lambda$-ホールドよりは1桁劣る。これにより、利点が分離される：利点は、単にコマンドを保持することではなく、制御変数を $\lambda$ に変更したこと（機械的な協調を可能にしたこと）から得られる。
• 探索： $\lambda$-holdは、関節速度空間において有意に高いエントロピーを達成し、すべてのベースラインよりもはるかに速く状態空間をカバーする。

3.2 人間らしいスプリントの創発

最小限の前方速度報酬のみを用いて、コントローラーは自発的に以下を生成する：

• 明白な遊脚肢の屈曲を伴う、協調的で対称的なスプリント。
• 様々な速度（2.5–4.5 m/s）において、ヒトのトレッドミル走行データと密接に一致する矢状面内の関節運動学および垂直床反力（GRF）。
• 推進筋（例：ヒラメ筋、腓腹筋）の測定された表面EMGと中程度から強い相関を示す筋肉活性化パターン（ただし、遊脚期の筋肉（例：前脛骨筋）については相違が存在する）。

4. 貢献と意義

本論文は、主に3つの貢献を主張している：

1. 最小限の報酬からの人間らしいスプリント： 著者らの知る限り、参照動作の模倣、努力の最小化、あるいは手動調整された反射ゲインなしに、筋肉駆動型の骨格モデルが最小限の前方速度報酬のみを用いて、協調的で人間らしいスプリントを学習した最初の事例である。
2. 非効率な探索の解決： $\lambda$-ホールド・コントローラーは、制御変数を生理学的に根ざした閾値長に変更し、間欠的な更新を組み合わせることで、エージェントが関節空間を効率的に探索できることを示した。これにより、モーターコントロールの仮説検証を1日以内で実行可能なレベルまで学習速度を引き上げることが可能となった。
3. 生理学的に根ざしたメカニズム： このアプローチは単なるエンジニアリング上のトリックではなく、EP仮説と間欠的制御を統合している。これは、高レベルの最適フィードバック制御（$\lambda$ を最適化するポリシー）と低レベルの反射ダイナミクス（$e$ を生成する法則）が、階層的アーキテクチャの中でどのように共存し得るかを示唆しており、両者の架け橋となるものである。

5. 限界と範囲

著者らは、創発されたスプリントがエリート人間のトップスピード（約10–12 m/s）には達しないことを謙虚に述べている。その理由として以下を挙げている：

• 筋肉の力-速度特性： 収縮期の遊脚駆動中、股関節屈筋は高度に活性化されているが、非常に急速に短縮するため、力-速度関係によってその力が等尺性値の4分の1から3分の1にまで減少してしまう（つまり、潜在的な力の25〜33%しか保持できない）。
• モデルの制約： 高速走行における角運動量のバランスに寄与する腕の欠如。

本論文は、この研究を「学習可能なヒト・モーターコントローラーのモデル」への一歩として位置づけており、このアーキテクチャは、閾値制御がいかに学習システムに組み込まれ得るかを示すモデリングの実証であり、ヒトの神経系の正確な計算実装に関する決定的な主張ではないことを強調している。今後の課題として、バランス、ジャンプ、歩行への汎用性をテストすることが示唆されている。