🤖 AI

In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics

本論文は、大規模言語モデルによるプランニングと推論時の物理的フィードバックを、モデル予測制御（MPC）に似たクローズドループのプロセスへと統合することにより、テキスト駆動のモーション合成における意味的な忠実度と物理的なリアリズムの間のギャップを埋めるフレームワークである、In-Context Model Predictive Generation (ICMPG) を提案する。

原著者： Xiaomeng Fu, Junfan Lin, Yang Liu, Yaowei Wang, Guanbin Li, Liang Lin, Ziliang Chen

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaomeng Fu, Junfan Lin, Yang Liu, Yaowei Wang, Guanbin Li, Liang Lin, Ziliang Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

例えば、「彼は不器用なムーンウォークをしながらジャグリングをする」といった単純な一文を入力して、ロボットにダンスを教えたいとしましょう。

現在の手法は、通常、次の2つの罠のいずれかに陥ります：

「夢想家（Dreamer）」： これらのシステムは、あなたの言葉を理解し、創造的な計画を立てることは得意ですが、いざ動こうとすると物理法則を無視してしまいます。ロボットが宙に浮いたり、氷の上を滑るように床を滑ったり、脚が不自然にねじれたりすることがあります。
「体操選手（Gymnast）」： これらのシステムは、重力に従ってリアルに動くエキスパートですが、複雑な指示や新しい指示を理解するのが非常に苦手です。もし珍しい動きを頼むと、混乱したり、ありきたりな動きしかできなくなったりします。

この論文では、これら両方の良いとこ取りをする「スマートなディレクター」として機能する、ICMPG（In-Context Model Predictive Generation）と呼ばれる新しいシステムを紹介しています。

コアとなるアイデア：「ディレクターとリハーサル室」

ICMPGシステムを、2人の主要なキャラクターがループの中で協力して働く、映画制作の現場として考えてみてください。

1. 脚本家（LLMプランナー）
これは強力なAI言語モデル（物語を書くようなもの）です。その役割は、あなたのまとまりのない自由な文章（例：「彼は不器用なムーンウォークをしながらジャグリングをする」）を受け取り、それを小さく原子レベルの動作へと段階的なステップに分解することです。これはロボット自体を動かすのではなく、単に計画（スクリプト）を書くだけです。

2. リハーサル室（物理シミュレーター）
これは、ロボットがスクリプトを試すことができる仮想世界です。しかし、ここでのひねりは、ロボットはただ盲目的にスクリプトに従うわけではないということです。

仕組み：「試行、テスト、そして選択」のループ

スクリプト全体を一気に書き上げて、それがうまくいくことを祈るのではなく、ICMPGは**モデル予測的（Model Predictive）**なアプローチを採用しています。これは、チェスのプレイヤーや、ルーチンを練習しているダンサーのようなものです。

選択肢の生成： 脚本家（LLM）は、ロボットがこれまでに行った動作を確認した上で、いくつかの異なる次の動き（候補）を提案します。例えば、「次は、左にジャンプ、右にジャンプ、あるいはスピンができる」といった具合です。
リハーサル： システムはそれらの選択肢をすべて取り上げ、リハーサル室（物理シミュレーター）で実行します。
- そのジャンプは物理的に可能か？（ロボットは転倒しないか？）
- それはストーリーに合っているか？（それは本当にムーンウォークなのか？）
スコアリング： システムは、以下の2つの要素に基づいて各選択肢にスコアを付けます。
- 物理スコア： ロボットは地面に立っていたか？滑っていなかったか？
- 意味スコア： その動きは、ユーザーが求めたものと実際に一致しているか？
選択： システムは、リアリティとテキストへの忠実さのバランスが最も取れた、単一の最良の選択肢を選び出します。
反復： システムはその決定した最良の動きを確定させ、それを履歴に追加し、新しい状況に基づいて次の選択肢を生成するよう脚本家に求めます。

なぜこれが異なるのか

他の多くの手法は**「オープンループ（Open-Loop）」**です。彼らは一度スクリプトを書き上げ、それがうまくいくことを祈ります。もしロボットが転んでしまっても、スクリプトはすでに完成してしまっているため、修正することができません。

ICMPGは**「クローズドループ（Closed-Loop）」**です。これは、数秒ごとに撮影を止め、俳優がしっかりと地面に立っているかを確認し、もしそうでなければ、「いや、もう一度やってみて」と指示を出すディレクターのようなものです。新しい種類のダンスに合わせて再学習することなく、リアルタイムで常に自らを修正していきます。

結果

著者らは、膨大な人間の動きのデータセットを用いてこれをテストしました。その結果、以下のことが分かりました：

奇妙な要求を理解できる： 他のシステムが混乱してしまうような、複雑で新しいフレーズも扱うことができます。
物理法則を壊さない： ロボットは浮いたり滑ったりせず、自然に動きます。
柔軟性が高い： 「脚本家」をより賢いAIに差し替えることができ、その際、システム全体を大幅に作り直す必要はなく、単に性能が向上します。

要約すると、ICMPGは、スマートな言語AIに計画を書かせ、物理エンジンを使ってその計画を常にファクトチェック（事実確認）させることで、最終的な動きがストーリーに忠実であり、かつ物理的に可能であることを保証するシステムなのです。

技術要約：In-Context Model Predictive Generation (ICMPG)

問題提起

テキスト記述からの人間の動作合成は、没入型のデジタルアプリケーションにとって極めて重要であるが、既存の手法は**意味論的な忠実度（semantic fidelity）と物理的なリアリズム（physical realism）**の間の根強いトレードオフに直面している。

大規模言語モデル（LLM）ベースのアプローチは、多様でオープンな語彙の指示を解釈し、高レベルのアクションプランを構成することには長けているが、多くの場合、基本的な物理法則に反する動作を生成し、物理的に不自然なダイナミクスをもたらす。
物理学を考慮したモデル（例：強化学習やシミュレーション制約を用いた拡散モデル）は、物理的なリアリズムを向上させるが、意味論的な複雑さ、微細な指示、および新しい概念への対応に苦しみ、タスク固有のポリシー再学習を必要とすることが多く、ゼロショットの汎化性能を制限する。

核心となる課題は、特定のタスクのための大規模なオフライン・ポリシー学習に依存することなく、生成される動作における高レベルの言語的意味論と低レベルの物理的適合性をいかに両立させるかである。

手法：In-Context Model Predictive Generation (ICMPG)

著者らは、モデル予測制御（MPC）に着想を得たフレームワークであるICMPGを提案する。これは、LLMによるプランニングと推論時の物理的フィードバックを統合するものである。本システムは、タスク固有のポリシー再学習を必要とせず、クローズドループ形式で動作するように、動作合成を後退ホライゾン最適化問題として定式化する。

このフレームワークは、主に2つのモジュールで構成される。

1. Context-Aware Motion Generation (CAMG)

このモジュールは「プランナー」として機能し、凍結されたLLMを活用してオープンな語彙のテキストを解釈し、候補となる動作シーケンスを生成する。

動作のトークン化（Motion Tokenization）: 人間の動作は、VQ-VAEを用いて離散的なトークン（8フレームのクリップ）へとエンコードされる。
LLMプランナー: 外部LLM（例：LLaMA-3.1）が、複雑なテキストコマンドを構造化され、時間順に並んだ原子的なアクション記述へと分解する。これは、オープンな語彙の入力を、時間的分解を容易にするためのターゲットプロンプト（ $t_p$ ）へと変換する。
SemAligner: コンテキストウィンドウの制限に対処するため、Transformerベースのモジュールが、ラベル付けされたデータセットから意味的に関連するインコンテキストの例を検索する。これらの例は、デモンストレーションとしてLLMをガイドし、学習空間を絞り込み、生成プロセスを安定させる役割を果たす。
LLMジェネレーター: 構造化されたプロンプトとインコンテキストのデモンストレーションを用いて、LLMはインコンテキスト学習を通じて、一連の候補動作トークンシーケンス（ $S_m$ ）を生成する。

2. Model Predictive Generation (MPG)

このモジュールは「コントローラー」として機能し、CAMGによって生成された候補をオンラインで最適化・洗練させる。

評価: 各候補シーケンスは、事前学習済みの物理ポリシー（PHC）を用い、シミュレーション環境（Isaac Gym）内で評価され、**物理報酬（ $R_{phy}$ ）**を算出される。同時に、外部のセマンティック評価器（例：ActionCLIP）が、レンダリングされた動作と入力テキストとの間の整合性を測定することで、**セマンティック報酬（ $R_{sem}$ ）**を算出する。
選択と洗練: モジュールは複合報酬（ $R_{total} = R_{phy} + \beta R_{sem}$ ）を計算し、候補の中から最適な動作セグメント（ $o_i$ ）を選択する。このセグメントは現在の動作履歴に付加され、次の生成ステップのためのプロンプトとしてフィードバックされる。
反復プロセス: このサイクルが繰り返され、動作シーケンスを漸次的に拡張していく。このプロセスはMPCループを模しており、現在の状態（生成されたプレフィックス）を測定し、将来の状態（候補）を予測し、報酬に基づいて最適化を行い、最善の制御アクション（次のセグメントの選択）を適用する。
ファインチューニング・バリアント: 著者らは、微分可能なワールドモデルがシミュレータを近似するLoRAファインチューニング版も検討しており、これにより勾配をバックプロパゲーションさせてより効率的な学習を可能にしているが、主要な貢献は依然として推論時のクローズドループ・パラダイムにある。

主な貢献

ICMPGフレームワーク: 凍結されたLLMからの高レベルな意味理解と、低レベルの物理的リアリズムを橋渡しする、クローズドループ型の推論時最適化パラダイムの導入。これにより、オフラインのポリシー再学習を不要にする。
Planner-Refinerアーキテクチャ: LLMがプランナーとしてオープンな語彙の指示を原子的なプリミティブへと分解し、一方でMPGモジュールが物理的およびセマンティックな報酬に基づいてこれらの候補に対してオンライン最適化を行うという、新しいアーキテクチャ。
堅牢なゼロショット汎化: 包括的な評価により、ICMPGが多様な未知のコマンド（オープン語彙設定）に対して効果的に汎化し、代表的なベースラインよりも物理的に妥当で、かつ意味論的に忠実な動作を生成できることを実証した。

実験結果

フレームワークは、HumanML3D、KIT-ML、およびBABELのデータセットで評価された。

標準的なベンチマーク: HumanML3DおよびKIT-MLにおいて、ICMPG（特にLoRAファインチューニングを伴うもの）は、競合する最新手法に匹敵するか、あるいはそれを上回る競争力のあるFIDスコアとR-Precisionを達成し、物理的リアリズムの指標（例：低いPhys-Err、減少した浮遊やスケーティング現象）において大幅に優れた性能を示した。
オープン語彙（BABEL）: ゼロショット設定において、ICMPGはセマンティック指標（CLIP Score、R-Precision）においてAvatarCLIP、MotionCLIP、AnySkillといった手法を凌駕し、タスク固有の強化学習を必要とせずに、AnySkillと同等の成功率と物理エラースコアを達成した。
定性的分析: 視覚的な比較により、ICMPGは、意味的な整合性と物理的な安定性を維持しながら、「社交ダンス（ballroom dance）」や「後退スプリント（sprint backwards）」といった複雑で多段階のアクションを生成することに成功した。これに対し、ベースラインはしばしば浮遊するアーティファクトを生じさせたり、意図した意味論を捉え損ねたりしていた。
アブレーション研究:
- LLMバックボーン: より大規模で高性能なLLM（例：LLaMA-2に対するLLaMA-3.1）は、より優れた意味的整合性と物理的リアリズムをもたらした。
- プランナーモジュール: LLMプランナーを除去すると、複雑なプロンプトに対する性能が著しく低下し、意味論的な正規化におけるその役割が浮き彫りになった。
- 報酬関数: ハイパーパラメータ $\beta$ は、セマンティックな一貫性と物理的な妥当性のバランスを効果的に調整し、適切な重み付けが最良のトレードオフをもたらした。

重要性と主張

本論文は、ICMPGが、大規模言語モデルの推論能力と物理シミュレーションの制約を統合することに成功し、テキスト駆動の動作合成における重要な進展であると主張している。

ギャップの解消: 本手法は、物理的な接地性が欠如している（LLMのみ）、あるいは意味論的な柔軟性に欠けている（物理のみ）という、従来のアプローチが抱えていた決定的な限界に対処している。
柔軟性: フレームワークはLLMバックボーンに関してモデル非依存（model-agnostic）であり、システム全体を再学習することなく、将来の言語モデルの進歩を活用できる。
効率性: 「オフラインのポリシー学習」から「オンラインの反復的な洗練」へと移行することで、ICMPGはタスク固有のポリシーをゼロから学習するための計算コストやデータコストを回避し、より適応性の高いソリューションを提供する。

著者らは、このクローズドループ型の推論時リファインメント・パラダイムが、意味的に有意義であり、かつ物理的に現実的な人間の動作を生成するための、多用途で制御可能な基盤を提供すると結論づけている。