💻 コンピュータサイエンス

Embodied Learning of Reward for Musculoskeletal Control with Vision Language Models

本論文は、抽象的な自然言語の目標と暗黙的な生理学的運動戦略との間の溝を埋めることにより、高次元の筋骨格制御のための報酬関数を反復的に発見および洗練するために、視覚言語モデルを活用するフレームワークであるMotion from Vision-Language Representation (MoVLR) を導入する。

原著者： Saraswati Soedarmadji, Yunyue Wei, Chen Zhang, Yisong Yue, Yanan Sui

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Saraswati Soedarmadji, Yunyue Wei, Chen Zhang, Yisong Yue, Yanan Sui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に複雑で人間のようなロボットに、歩く、走る、あるいはコップに水を注ぐといった動作を教える場面を想像してみてください。そのロボットの体は、何百もの小さな筋肉と関節で構成されており、それらはすべて、乱雑に絡み合った網のように繋がっています。もしあなたが「前に歩け」という単純な指示を与えたとしても、ロボットはどうやってそれを実行すべきかを知りません。どの筋肉を動かし、どのようにバランスを取り、どのように腕を振ればよいのかが分からないのです。

かつて、エンジニアは厳格な数学の教師のように振る舞い、数千もの具体的なルール（報酬）を手動で書き記さなければなりませんでした。「頭を上げ続けろ」「左に傾くな」「膝をこれくらい動かせ」といった具合です。これは非常に困難な作業であり、多くの場合、ロボットの動きはぎこちなく不自然なものになり、膨大な試行錯誤を必要としました。

新しい解決策：「コーチと批評家」のチーム

この論文は、一人の人間がマニュアルを書くのではなく、二人の専門家が協力してロボットを指導する、MoVLR（Vision-Language Representationによる運動）と呼ばれる新しいシステムを紹介しています。

ロボット（アスリート）： 一連のルールに基づいて動こうとします。
視覚言語モデル（目を持つコーチ）： これは、ロボットが動いているビデオを「見て」、それを平易な英語として理解できるAIです。これは、ランナーを見て「左に傾びすぎている。腕の振りが足の動きと同期していない」と指摘できるスポーツコーチのような役割を果たします。
言語モデル（ルール作成者）： これは「コード」を話すAIです。コーチのアドバイスを聞き、ミスを修正するためにロボットのルールブックを書き換えます。

仕組み：改善のループ

プロセスは、練習とフィードバックのサイクルとして機能します。

ステップ1：挑戦。 ロボットは現在のルールに基づいて歩こうとします。
ステップ2：ビデオ。 システムはこの試行のビデオを記録します。
ステップ3：批評。 「目を持つコーチ」（VLM）がビデオを観察します。単に「10点満点中8点」といった単純なスコアを与えるのではなく、詳細で人間らしい批評を行います。「ロボットがよろついている。腰の位置をもっと高く保ち、腕をもっと自然に振る必要がある」といった具合です。
ステップ4：書き換え。 「ルール作成者」（LLM）はその批評を受け取り、即座にロボットのコードを書き換えます。例えば、「左への傾きにペナルティを与える」や「腕の振りに報酬を与える」といった新しい指示を追加します。
5. 繰り返し。 ロボットは新しいルールで再び挑戦します。コーチが再び観察し、新たな助言を与え、ライターがコードを微調整します。

研究結果

研究者たちは、このシステムを700個の筋肉を持つデジタル・ヒューマン・モデルや、さらにはダチョウのモデルを用いてテストしました。彼らはシステムに対し、以下のような動作を求めました。

平地を前方に歩く。
デコボコした岩の多い道を歩く。
急な坂道を登る。
水をこぼさずにボトルから注ぐ。
手を使って立方体を回転させる。

結果：

人間よりも優れた成果： 多くの場合、このAIチームは、人間の専門家が手動で書けるよりも優れた運動ルールを導き出しました。ロボットはより遠くまで歩き、より安定して水を注ぐことができました。
他のAIよりも優れた性能： 報酬を学習しようとする従来のAI手法は、失敗したり、ぎこちない動きを生み出したりすることがよくありました。しかし、MoVLRは滑らかで自然な動きを生み出しました。
適応力： システムは平地での歩き方を学習した後、再学習することなく、岩の多い丘の上や、一部の筋肉が弱っている（負傷した）体であっても、歩行に成功しました。人間と同じように、どのように補うべきかを自ら編み出したのです。

大きな展望

この論文は、AIが「見ること」と「話すこと」ができるようになれば、ついに「綺麗に歩け」という単純な人間の目標と、身体が実際に動く際の極めて複雑な物理学との間の溝を埋めることができると主張しています。物理学の計算を推測する代わりに、AIにロボットを見せ、どこが間違っているかを教えさせ、ルールを自動的に修正させるのです。それはまるで、決して疲れることなく、細部を忘れることもなく、アスリートを完璧にするために即座にプレイブックを書き換えることができるコーチがいるようなものです。

技術要約：視覚言語表現からの運動（MoVLR）

問題提起

高次元で過剰駆動な筋骨格システムの制御は、運動制御における根本的な課題である。一般的なロボットシステムとは異なり、これらのエージェントは高度に非線形なダイナミクスを示し、複数の筋肉のシナジーが同一の関節運動を生み出す可能性がある。その結果、自然で効率的な運動を実現するには、個々のアクチュエータの指令を指定するのではなく、協調的な全身制御パターンを発見する必要がある。

これらのシステムにおける学習ベースのアプローチの主なボトルネックは、報酬設計である。既存の手法は通常、手作業によるヒューリスティックな目的関数（例：速度追従、エネルギー最小化）に依存しており、これらは運動の複雑さの微細な構造を捉えきれないことが多い。これらの目的関数は解剖学的な原則を軽視することが多く、生体力学的に不自然、あるいは非効率な挙動を招く。大規模言語モデル（LLM）や視覚言語モデル（VLM）は高レベルの運動評価の可能性を秘めているが、現在のアプローチはエピソード統計や粗い成功信号に依存していることが多い。それらは、暗黙的な相互作用ダイナミクスと自然言語による記述を、高次元の筋骨格制御のための構造化された実行可能な報酬関数へと体系的に翻訳するための、原理的なメカニズムを欠いている。

手法：MoVLRフレームワーク

著者らは、高レベルの目標指定と低レベルの制御最適化の間のギャップを埋める、完全自動かつ反復的なフレームワークであるMotion from Vision-Language Representation (MoVLR) を提案する。MoVLRは、報酬関数の発見と洗練を行うために、「コントロール・イン・ザ・ループ」のプロセスにLLMとVLMを統合している。

ワークフローは、反復ループを通じて以下の3つのコアコンポーネントで動作する：

筋骨格運動ダイナミクス（方策最適化）:
- 現在の報酬案 $r^{(i)}$ が与えられると、システムは方策最適化を実行して制御方策 $\pi^*$ を生成する。
- システムは、階層的な制御パイプラインを採用したモデルベースプランナーである MPC2 を利用して、軌道を最適化する。このトレーニングフリーのアプローチにより、強化学習と比較して最適化時間を大幅に短縮（数分に短縮）し、迅速な反復を可能にする。
- 最適化された方策は、高次元の筋骨格運動ダイナミクスを生成するためにロールアウトされ、それらは運動ビデオ（ $\zeta^{(i)}$ ）としてレンダリングされる。
運動と言語の表現（VLMによる評価）:
- 視覚言語モデル（VLM）が意味論的な観測者として機能する。VLMは、レンダリングされた運動ビデオ $\zeta^{(i)}$ を元のタスク記述 $R$ （例：「直立姿勢で前方に歩く」）に対して分析する。
- スカラー値のスコアではなく、VLMは構造化されたテキスト形式の診断フィードバック（ $F$ ）を生成する。このフィードバックは、タスクの完了度を評価し、主要な生体力学的問題（例：方向の安定性の欠如、腕と脚の協調不足）を特定し、具体的な改善策を提案する。
- 新しい提案が運動記述との整合性をより高める場合、VLMは現在の最良の報酬設計 $r^*$ および対応するダイナミクス $\zeta^*$ を更新する。
言語誘導型報酬設計（LLMによる合成）:
- 大規模言語モデル（LLM）は、タスク記述、環境コード、およびVLMの診断フィードバック $F$ を入力として受け取る。
- LLMは、現在の最良の報酬関数に対してローカルサーチを行い、新しい解釈可能な報酬項を合成する。これは、意味的な事前知識（例：「安定性」）と構造的な文脈（例：関節角度、アクチュエータ長）を、実行可能なコードへとマッピングする。
- このプロセスは、報酬関数 $r^{(i+1)}$ を反復的に洗練させ、暗黙的なダイナミクスの規則性を明示的な報酬項へと段階的に蒸留していく。

主な貢献

MoVLRフレームワーク： 高次元の筋骨格システムに対して、暗黙的なダイナミクスを効果的に捉え、明示的な報酬を設計する、完全自動の報酬学習フレームワークの導入。
マルチモーダル・フィードバックの統合： VLMを使用して抽象的な運動記述を生理学的な運動制御を支配する暗黙的な原理に接地させる、新しいアプローチであり、知覚的フィードバックとドメインに基づいた運動表現の架け橋となる。
汎用性と解釈可能性： 本フレームワークが、多様な運動タスク、環境（平坦、粗い、傾斜した地形）、およびシステム形態（ヒトおよびダチョウのモデル）にわたって汎用できることを実証。得られる報酬項は、バランス、歩幅、腕の振りのような暗黙的な筋骨格ダイナミクスを表す、解釈可能なものである。
階層的洗練： この手法は、報酬の洗練が人間の運動学習を模倣するように、粗い安定性制約から微細な関節協調へと進展する、転移可能な制御フレームワークを可能にする。

実験結果

著者らは、MuJoCoシミュレータ内での MS-Human-700 モデル（206関節、700の筋肉・腱アクチュエータ）およびダチョウの形態を用いてMoVLRを評価した。タスクには、移動（平坦、粗い、傾斜した地形、旋回、負傷状態の条件下での歩行）および操作（ボトルの注ぎ、キューブの回転）が含まれる。

性能比較： MoVLRは、人間が設計した報酬、Eureka（LLMベースのコード生成）、およびHARMON（VLMベースのヒューマノイド運動洗練）を含むベースラインを一貫して上回った。
- 移動において、MoVLRはすべての地形において最も長い歩行距離を達成し、特に適応的な安定性を必要とする困難な環境で優れた性能を示した。
- 操作において、MoVLRは位置および姿勢の誤差が最も低くなり、より精密な物体相互作用を実現した。
報酬の進化： 報酬の重みの分析により、明確な階層的洗練が明らかになった。初期段階ではグローバルな安定性（高さ、バランス）が優先されたが、後の段階では局所的な生体力学的記述（足の配置、股関節の整列、膝の制御）へと焦点が移行した。
汎用性： 平坦な地形で学習された報酬は、追加の洗練なしに、粗い地形や傾斜した地形、さらには負傷した身体構成へと正常に転移した。さらに、MoVLRによって学習された報酬は、ボトルの注ぎタスクにおいて強化学習（DynSynを使用）の設定にも正常に転移し、クロスアルゴリズムの転移可能性を実証した。
アブレーション研究： フィードバックの解釈とコード合成の両方を同時に行おうとする統一モデルは、性能が大幅に低下した。これは、VLMのフィードバックとLLMの合成ステージを分離する必要性を裏付けている。

重要性と主張

論文は、MoVLRが、複雑な行動に対して生物学的に妥当で、解釈可能かつ汎用的な制御への、スケーラブルで原理的な道筋を提供すると主張している。VLMを活用することで、本フレームワークは高レベルの運動記述を詳細な制御目標へと効果的に翻訳し、言語的な目標を生理学的なダイナミクスに接地させることに成功している。

著者らは、本研究が、VLMが「知覚の架け橋」として機能し、暗黙的な相互作用ダイナミクスを、基礎となる生理学に整合した構造化された報酬へと翻訳できることを示していると断言している。このアプローチは、広範な手動チューニングや間接的なプロキシに頼ることなく、高次元システムの報酬設計という長年の課題に対する解決策を提供し、自然で協調的かつ安定した運動を生み出す報酬関数の発見を可能にする。