💻 computer science

ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

ChainVLAは、タスクの進捗のための回帰的なワーキングメモリと、連続的なアクション生成のためのモーション・テーリングを組み合わせた、統一された修正可能な実行状態を通じて連続的なクエリを連鎖させることにより、優れた長期的（ロングホライゾン）な操作性能を実現する12億パラメータの視覚言語行動（VLA）ポリシーである。

原著者： Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに散らかった部屋の掃除を教える場面を想像してみてください。あなたは「おもちゃを片付けて」という単純な命令を与えます。思考プロセスが極めて断片的で孤立したステップで行われるロボットは、床を見て、赤いブロックを拾い上げ、箱に入れる……といった動きをします。そして、そこで止まってしまいます。ロボットは、自分がたった今ブロックを拾ったことを忘れてしまうのです。再び床を見て、青いブロックを見つけ、それを拾います。しかし、もしその赤いブロックが、実は青いブロックの「下」に置かれるべきものだったとしたら？あるいは、もしロボットが「部屋の左側はすでに片付けた」ということを覚えておく必要があり、そこに戻らないようにしなければならないとしたら？これは「ロングホライゾン操作（long-horizon manipulation）」という課題です。それは単に腕を動かすことではなく、手が忙しく動いている間も、頭の中で「物語」を進行させ続けることなのです。

ロボティクスの世界では、科学者たちは「Vision-Language-Action (VLA) ポリシー」と呼ばれるものを使用しています。これはロボットの脳のようなもので、カメラを見て（Vision）、あなたの指示を読み（Language）、何をすべきかを決定（Action）します。通常、これらの脳は短いバースト（断続的な動作）として機能します。数秒間の計画を立て、その動きを実行し、その後すぐに、ゼロから新しい計画を立てるために停止します。それは、小説を書こうとしているのに、一文を書いては前の文章の記憶を消去し、現在のページだけを見て次の文章を推測しようとするようなものです。問題は、ロボットがしばしば物語の筋道を見失ってしまうことです。自分が何を成し遂げたのかを忘れたり、新しい計画が現在行っている動作と衝突して混乱したりしてしまうのです。この論文は問いかけています。「どうすれば、リアルタイムで世界を見ながら、物語を記憶し続け、かつ動きを滑らかに保つことができるロボットを作れるだろうか？」と。

記憶と勢力（モメンタム）を持つロボット

ChainVLAをご紹介しましょう。これは、「忘れん坊のロボット」問題を解決するために研究者によって設計された、新しいタイプのロボットの脳です。あなたが曲がりくねった道を自転車で走っているところを想像してください。直立状態を保つには、2つのことが必要です。一つは、自分がどこを通ってきたか（さっき左に曲がったか？前方に坂道があるか？）を覚えていること。もう一つは、よろけて転ばないように、スムーズにペダルを漕ぎ続けることです。ChainVLAは、ロボットアームに対してまさにこれを行うように作られています。

今日の多くのロボットの脳は、写真を撮って、決断を下し、写真を置き、また新しい写真を撮って、新しい決断を下すという人の動きのように機能します。彼らは前の決断の「感覚」を次の決答へと引き継ぐことができません。ChainVLAは、これらの決断を連鎖させることでゲームチェンジャーとなります。それは、ロボットが背負う「バックパック」として機能する特別な「実行状態（execution state）」を作り出します。このバックパックには、非常に重要な2つのコンパートメント（区画）があります。

「物語」コンパートメント（Progress Context / 進捗コンテキスト）: これは、ロボットがすでに達成したことの記憶を保持します。それは精神的なチェックリストのようなものです。もしロボットがブロックを左に動かしたなら、このコンパートメントは「よし、左側はクリアだ」と記憶します。これは、素早い「作業記憶（今何が起きているか）」と、疎な「長期記憶（少し前に起きた重要な出来事、例えば『最初に赤いブロックを動かした』など）」を組み合わせたものです。これにより、ロボットは大きなタスクの全体像の中で「自分が今どこにいるのか」を知ることができます。
「勢力」コンパートメント（Motion Tail / モーション・テイル）: これが面白い部分です。ロボットが動くことを決める際、単に「前へ進め」と言うのではありません。数秒間の移動シーケンス全体を予測します。しかし、実際に実行するのは最初の数ステップだけです。そして、再び考えるために停止します。「モーション・テイル」とは、その予測のうち、まだ実行されていない部分のことです。ChainVLAはこの未完了の計画を保存し、次のステップのためにロボットの脳へとフィードバックします。それは、たとえ靴紐を結ぶために立ち止まったとしても、自分がどのくらいの速さで、どの方向に走っていたかを正確に覚えているランナーのようなものです。そうすることで、ゼロからのスタートにならずに済むのです。

実践における仕組み

研究者たちは、いくつかのトリッキーなタスクでこのアイデアをテストしました。最も困難なものの一つは「ブロックを戻す（Put Back Block）」というタスクでした。想像してみてください。ロボットはある場所にブロックを移動させ、次に別の物体を動かし、最後にそのブロックを元の場所に「戻す」必要があります。問題は、ロボットがブロックを戻そうとする頃には、元の場所が新しい物体によってカメラから隠れてしまっているかもしれないということです。通常のロボットなら、カメラを見て何も見えず、混乱してしまうでしょう。元の場所を忘れてしまうのです。

しかし、ChainVлоは「物語」コンパートメントを使用して、「あ、さっきここにブロックを置いたんだ。今は見えなくても」と思い出します。同時に、「モーション・テイル」コンパートメントは、ブロックを戻すために動く際、腕がちょうど向いていた方向と衝突するような、奇妙で新しい方向へ腕を急に動かさないように保証します。

結果は劇的でした。RMBenchと呼ばれる難しいテストにおいて、ChainVLAの成功率は**62.8%**に達しました。他のスマートなロボットと比較してみましょう。

もし「物語（Progress Context）」を取り除くと、成功率は**3.0%**へと急落します。ロボットはタスク自体を忘れてしまいます。
もし「勢力（Motion Tail）」を取り除くと、成功率は**11.2%**に低下します。ロボットはタスクは覚えているものの、動きがあまりに不器用で、失敗してしまいます。

これは、両方が不可欠であることを示しています。「物語」はロボットに「何をすべきか」を教え、「勢力」は「スムーズに」実行できるよう助けるのです。

なぜ重要なのか

この論文は、実行中の「未完了の動き」を生かし続けることが、実はタスクを記憶するために極めて重要であることを示唆しています。それはダンスのようなものです。ステップの間にダンスを完全に止めてしまうと、リズムを忘れてしまうかもしれません。しかし、リズム（モーション・テイル）を維持し続ければ、脳は振り付け（プログレス・コンテキスト）をより良く覚えることができます。

研究者が、ロボットが決断を下した「後」で動きを滑らかにする（他のロボットでよく使われる手法）ことで不器用さを修正しようとしたとき、それはうまくいきませんでした。ロボットは依然として失敗しました。このことは、秘密が単に動きを綺麗に見せることにあるのではなく、次の動きの「アイデア」を、新しい決断を下す「前」にロボットの脳に送り込むことにあるということを証明しています。

要約すると、ChainVLAは、ロボットが長く複雑な仕事をこなすためには、カメラでスナップショットを撮るような存在ではなく、本のどこにいるのかを見失わないストーリーテラーであり、かつ音楽のビートに合わせて足を動かし続ける存在である必要があると提案しています。これは、混乱したり物を落としたりすることなく、現実世界の複雑で多段階の家事を実際に手伝ってくれるロボットへと向かう、小さな一歩なのです。

技術要約: ChainVLA

問題提起

長時間のロボット操作には、事前の行動によって確立された「タスクの進捗」と、現在進行中の行動による「動作の継続」の両方に依存する連続的な実行フローが必要です。既存のVision-Language-Action (VLA) ポリシーは、通常、アクション・チャンク化された後退ホライゾン（receding-horizon）方式で動作します。この設計では、ポリシーは現在の観測、固有受容状態、および指示から繰り返し再計画を行い、有限のアクション・ホライゾンを予測し、厳密なプレフィックス（接頭辞）を実行した後、残りの部分を破棄します。

この設計は、以下の2つのレベルにおいて不完全なクロス・クエリ・ハンドオフ（情報の受け渡し）を生じさせます。

タスクレベル: 以前のタスクのエビデンス（例：完了したサブタスクやオブジェクトの初期レイアウト）は、現在の観測視野から外れることがあります。これらのイベントに対する明示的なメモリ（記憶）がない場合、現在のビューが曖昧な場合（例：RMBenchにおける「Put Back Block」タスク）、ポリシーは正しい次のステップを推論することができません。
モーションレベル: 再計画は、先行する予測の未実行の継続部分を破棄します。これにより、新たに予測されたプレフィックスが、既に進行中の動作と矛盾する可能性が生じ、ポーズや速度に不連続性が生じます。実行された動作は、次のクエリで使用される観測ストリームの形状を決定するため、これらの不連続性は、将来のタスク進捗推論に使用される観測の質を低下させます。

既存の解決策は、これらの問題を別々に扱っています。メモリ拡張型ポリシーはタスクの履歴は保持しますが動作の連続性は破棄し、一方でテンポラル・アンサンブルリングやリアルタイム実行は動作を保持しますが長期的なタスクのエビデンスを欠いています。

手法: ChainVLA

ChainVLAは、結合された修正可能な実行状態 ( $s_k = (g_k, u_k)$ ) を通じて連続するクエリを連鎖するように設計された、1.2BパラメータのVLAポリシーです。この状態はクエリの境界を越えて維持され、最新の観測下でアクション・ホライゾンを再生成しながら、必要なコンテキストを保持することを可能にします。

1. 実行状態

状態は、2つの補完的なコンポーネントで構成されます。

進捗コンテキスト ( $g_k$ ): 観測から導出されたタスクの進捗を運びます。これは以下の融合体です。
- ワーキング・ステート (Working State): 現在の実行の再帰的な要約であり、現在の入力からのライブ・トークンと、最近のトークンの限定的なキャッシュを使用して、毎クエリごとに更新されます。
- スパース・イベント・メモリ (Sparse Event Memory): スパースで重要なマイルストーン（例：ステージ遷移）の検索可能なメモリです。イベントはステージのアノテーションまたは周期的なルールに基づいて書き込まれ、現在の実行推定値と年齢エンコーディングに基づいたクエリを用いて検索されます。
モーション・テイル ( $u_k$ ): 前の予測の未実行のサフィックス（接尾辞）を運びます。このコンポーネントは、実行されたプレフィックスと次のクエリの間のギャップを埋め、未完了の動作に対する「継続事前分布（continuation prior）」を提供します。

2. クエリ遷移とアーキテクチャ

各クエリ $k$ において、ポリシーは現在の入力 $x_k$ と保持された状態 $s_k$ を受け取ります。

状態更新: エンコーダが $x_k$ をマルチモーダル・トークンに処理します。学習されたワーキング・クエリ・バンクがこれらのトークンと前のワーキング・ステートにアテンションを向け、ライブ・トークン ( $L_k$ ) と要約 ( $\bar{W}_k$ ) を生成します。要約は、スパース・イベント・メモリからイベントのエビデンス ( $Z^e_k$ ) を取得します。
進捗コンテキストの形成: $g_k$ は、 $L_k$ と $Z^e_k$ を融合することで形成されます。
モーション・テイルの統合: 入力されるモーション・テイル ( $u_k$ ) は、ワーキング・ステートを条件付け、アクション生成プロセスを初期化します。具体的には、正規化されたサフィックスをフルホライゾンのアクション表現に整合させ、デコーダの状態の初期平均 ( $\mu_{k+1}$ ) を設定します。
アクション生成: 条件付きフロー・デコーダ（DiTバックボーン）が、 $x_k, g_k, u_k$ に条件付けられたフルアクション・ホライゾン $A_k$ を再生成します。極めて重要な点は、デコーダはどのホライゾン位置もコピーしたり固定したりせず、最新の観測に基づいてすべての位置を再生成することであり、これにより、保持された状態が固定された計画ではなく、修正可能な事前分布として機能することを保証します。
次状態: プレフィックスを実行した後、 $A_k$ の未実行のサフィックスが、次のクエリのためのモーション・テイル ( $u_{k+1}$ ) となります。

3. 学習

学習は、エピソード順に実行状態の遷移をアンロール（展開）します。モデルは以下の要素によって監督されます。

標準的な条件付きフロー・アクション目的関数。
ステージの推定値および書き込みターゲットのためのステージ監督（アノテーションが存在する場合）。
オーバーラップ一貫性正則化器 (overlap-consistency regularizer)。これは、連続する予測ホライゾンの時間的に整合したオーバーラップ間の不一致にペナルティを課し、新しいホライゾン内でアクションを固定することなく、一貫したハンドオフを促します。

主な貢献

クロス・クエリ状態コンポーネントの特定: 本論文は、タスクの進捗と未完了の動作が、クロス・クエリ実行状態における2つの補完的かつ非対称なコンポーネントであることを特定しました。アブレーション研究により、いずれかのコンポーネントを削除すると性能が劇的に低下することが示されており、両者の相互作用は、動作の連続性がタスク進捗推論に必要な観測ストリームを維持するために不可欠であることを示唆しています。
ChainVLA ポリシー: 進捗コンテキストとモーション・テイルの結合状態を通じてクエリを連鎖させる、1.2Bパラメータのポリシーです。従来の研究とは異異なり、これは前回の予測から派生した修正可能な事前分布を維持しながら、最新の観測の下で各ホライゾンを再生成します。
実証的検証: RMBench および LIBERO スイートを用いた広範な評価により、ChainVLA が既存のメモリ拡張型およびアクション・チャンク型ベースラインを上回ることが示されました。

結果

RMBench: ChainVLA は、5つのメモリ依存タスク全体で 62.8% の平均成功率を達成しました。これは、完全なカバレッジを持つ最強のリストされた手法（Mem-0 の 52.8%）を大幅に上回り、特にタスクのエビデンスがビューから外れる「Put Back Block」タスクにおいて効果的です（Mem-0 の 90% に対し 96%）。
LIBERO: 本ポリシーは、4つのスイート（Spatial, Object, Goal, Long）において 98.8% の平均成功率を達成し、すべてのスイートで 98% を超えています。
アブレーション研究:
- 進捗コンテキストを削除すると、RMBench の成功率は 3.0% に低下します。
- モーション・テイルを削除すると、RMBench の成功率は 11.2% に低下します。
- 保持された状態を観測履歴とデコード後のテンポラル・アンサンブルリング（FIFO Hist. + TE）に置き換えると、成功率はわずか 35.6% となります。
- デコード後の平滑化制御（線形継続、テンポラル・アンサンブル）は、境界の不連続性を減少させますが、タスクの成功を回復するには至りませんでした。これは、利得が単なる実行の平滑化ではなく、生成プロセスに対するモデル側の条件付けから来ていることを示しています。

意義

本論文は、ChainVLA が長時間の操作における根本的なギャップ、すなわち、長期的なタスクのエビデンスと短期的な動作の連続性を同時に扱う統一されたメカニズムの欠如に対処していると主張しています。結果は、動作の連続性が単なる制御目標ではなく、信頼性の高いタスク進捗推論のための前提条件であることを示唆しています。なぜなら、不連続な動作は、メモリ検索を劣化させる方法で観測ストリームを変化させるからです。クエリを結合された修正可能な状態を通じて連鎖させることで、ChainVLA は、個別のプランナーやワールドモデルを必要とせずに、長いホライゾンにわたって一貫性を維持することを可能にします。