💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

LaST $_0$ は、二重システム型のMixture-of-Transformersアーキテクチャ内で、トークン効率の高い潜在的な時空間連鎖思考（Spatio-Temporal Chain-of-Thought）を採用することにより、明示的な言語的推論によるレイテンシと表現力の限界を克服し、それによって多様な現実世界の操作タスクにおいて大幅な成功率の向上を実現するロボットVision-Language-Actionフレームワークである。

原著者： Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがロボットに卵の調理を教えていると想像してください。あなたはこう指示します。「フライパンから卵をすくい取って、パンの上に置いてください。」

旧来の手法（明示的な推論）:
かつて、これを行うためにロボットは、腕を動かす前に動作を停止し、声に出して考え、ステップ・バイ・ステップの作文を書かなければなりませんでした。例えば、「まず、手を下ろす必要がある。次に、フライパンを傾ける必要がある。それから、すくい取る……」といった具合です。
ロボットがこの作文を書いている間に、卵は冷めてしまいますし、最悪の場合、フライパンがひっくり返ってしまうかもしれません。この「声に出して考える」という行為は時間がかかりすぎる（レイテンシが生じる）ため、ロボットの動きを遅く、ぎこちないものにしてしまいます。また、卵が滑る正確な感覚や、フライパンの3D形状など、言葉では説明しにくいものもあります。

新しい手法（LaST0）:
この論文では、異なる考え方をするロボットの脳、LaST0を紹介しています。レシピを書き出す代わりに、LaST0は**「静かで目に見えない思考プロセス」**（潜在的な時空間連鎖思考：Latent Spatio-Temporal Chain-of-Thought）を使用します。

LaST0の仕組みを、簡単な比喩を使って説明します。

1. 「サイレント映画」対「台本」

LaST0は、自分が何をしようとしているかを言葉で説明するために文章を生成するのではなく、未来の**「サイレント映画」**を生成します。

見ているもの: 単に画像を見ているだけではありません。卵の3D形状、フライパンの質感、そしてロボット自身の腕の感覚（固有受容感覚）を想像します。
「潜在的（Latent）」な部分: これらの思考は、人が読み取れる言葉ではなく、コンパクトで高速なデータパケットです。これは、長いレシピ本を読むこと（遅い）と、シェフの筋肉の記憶（速くて直感的）の違いのようなものです。これにより、ロボットは言葉の語彙に囚われることなく、状況の物理現象を「感じる」ことができます。

2. 「脳と体」のチーム（デュアルシステム）

LaST0は、その脳を、**「戦略的な指揮官」と「反射的なアスリート」**のように連携して働く2つの専門家に分割しています。

指揮官（低速推論エキスパート）: この部分は、より低速で動作します。大局的な視点を持ち、未来の数秒間の「サイレント映画」を想像し、計画を立てます。「もし腕をこのように動かしたら、0.5秒後の卵はどこにあるか？」と問いかけます。これは、数秒おきに地図を確認するように、時折行われます。
アスリート（高速動作エキスパート）: この部分は超高速です。大きな計画について考えることはしません。指揮官による最新のアップデートを注視し、周囲の環境に即座に反応します。卵が落ちる前にキャッチするために必要な、高速な動きを処理します。

魔法のつながり: 彼らは「テレパシーによるリンク」（共有アテンション）を共有しています。指揮官は新しい計画をアスリートに更新し、アスリートはそれを即座に実行します。これにより、ロボットは現在の動きを遅らせることなく、深く「未来」について考えることができるのです。

3. なぜ優れているのか

スピード: 言葉を書き出すことに時間を浪費しないため、ロボットは「声に出して考えていた」従来の手法よりも14倍速いです。人間と同じようにリアルタイムで反応できます。
物理現象の理解: 言葉では表現できないことを捉えます。ロボットはテキストを通じてではなく、内部の3Dモデルを通じて、卵の「重さ」や「滑りやすさ」を理解します。
一貫性: 未来の連続した「映画」を想像するため、その動作はスムーズで繋がりがあります。カクカクとした動きではなく、流れるような動きになります。

結果

研究者たちは、単純な卓上のトリックから、移動ロボットや器用な手（人間の手のようなもの）を含む複雑なタスクまで、10種類の現実世界のタスクでこのロボットをテストしました。

成功率: LaST0は、従来の最高のロボットよりも13%から14%高い成功率を記録しました。
長時間のタスク: 卵をすくい取り、パンの上に置き、そのプロセスを繰り返すといった、長く複雑なタスクにおいて特に優れた能力を発揮しました（他のロボットは混乱して失敗してしまいます）。

まとめ:
LaST0は、自分自身に「話しかける」のをやめ、未来を「感じる」ようになったロボットです。3D空間と時間の静かな内部シミュレーションを使用し、脳を「遅いプランナー」と「速い実行者」に分けることで、コンピュータがマニュアルを読んでいる時のような躊躇ではなく、人間のようなスピードと優雅さで動くことができるのです。

技術要約: LaST0 – ロボット・ビジョン・ランゲージ・アクション・モデルのための潜在的時空間思考の連鎖（Latent Spatio-Temporal Chain-of-Thought）

1. 問題提起

ビジョン・ランゲージ・アクション（VLA）モデルは、ビジョン・ランゲージ・モデル（VLM）の意味理解をロボット制御ポリシーに統合することで、強力な汎化性能を示してきました。しかし、推論能力の向上を試みる既存のアプローチには、ロボット操作における2つの根本的な限界が存在します。

推論レイテンシ: 言語的な推論プロセス（Chain-of-Thought）を明示的に生成したり、行動前に将来の視覚的観測を予測しようとする手法は、自己回帰的な生成による大幅なオーバーヘッドを発生させます。このレイテンシは、リアルタイムのクローズドループ制御に必要な時間解像度を制約します。
表現のボトルネック: 明示的な推論は言語空間に限定されており、言語化が困難な「言葉にできない」物理的属性や微細なロボットのダイナミクスを忠実に捉えることが困難です。ロボットエージェントは、自然言語の表現能力を超える物理的および幾何学的状態について推論する必要があります。

2. 手法: LaST0 フレームワーク

著者らは、LaST0 という統一された VLA モデルを提案します。これは、**潜在的時空間思考の連鎖（LaST CoT）**を通じて、効率的な「行動前の推論（reason-before-act）」を可能にするものです。テキストや画像を生成する代わりに、モデルはコンパクトで連続的な潜在空間内で推論を行います。

コアアーキテクチャ

LaST0 は、Janus-Pro (DeepSeek-LLM 1.5B) バックボーンから初期化された Mixture-of-Transformers (MoT) 設計に基づいています。これは、推論と制御を、グローバルな自己注意（self-attention）コンテキストを共有しながらも異なる周波数で動作する2つの特化したエキスパートへと分離します。

低速推論エキスパート (Slow Reasoning Expert): 低い周波数（例： $k$ ステップごと）で動作します。これは、将来の物理ダイナミクスを表す一連の潜在トークンである LaST CoT を生成するために、自己回帰的な推論を実行します。
高速実行エキスパート (Fast Acting Expert): ネイティブの高周波制御レートで動作します。高周波の観測と、推論エキスパートから周期的に更新される潜在表現に基づき、連続的なアクションコマンドを生成します。

潜在的時空間 CoT (Latent Spatio-Temporal CoT)

LaST CoT は、時間ホライゾン $H$ にわたって3つのモダリティを自己回帰的に予測する、トークン効率の高い潜在空間です。

2D 視覚潜在表現: 固定された SigLIP-Large エンコーダを用いて、将来の RGB フレームからエンコードされます。
3D 幾何学潜在表現: 学習時のみ、グラウンドトゥルースのターゲットを提供するために、学習済み Uni3D エンコーダを用いて点群からエンコードされます。
ロボット固有受容潜在表現: 将来のロボットの状態（関節角、速度、グリッパーの状態）からエンコードされます。

これらのモダリティは、結合された時空間依存性をモデル化するために、時系列順にインターリーブされます（ $z^v_1, z^p_1, z^s_1, \dots$ ）。学習中、推論エキスパートは、離散的なトークン予測ではなく、将来の観測から導出されたグラウンドトゥルースの潜在シーケンスに対する コサイン類似度損失 によって監督されます。

学習戦略

事前学習: LaST0 は、Open-X-Embodiment、DROID、RoboMIND からの 40 万を超える多様な軌跡コーパスで事前学習されます。
教師あり微調整 (SFT): モデルは、推論エキスパートが潜在回帰損失を最小化し、アクションエキスパートが Flow Matching 損失を最小化するように、共同最適化が行われます。
異種周波数学習: アクションエキスパートは、ランダムに混合された高速・低速動作比率（例：1:1, 1:2, 1:4）を用いて学習されます。これにより、モデルはデプロイ時に適切な実行周波数を適応的に選択できるようになり、推論更新レートが変動する場合でも堅牢性を確保できます。

3. 主な貢献

潜在的時空間 CoT: コンパクトな潜在空間内で推論を行う新しいフレームワークであり、言語化が困難な微細な物理的およびロボットのダイナミクス（2D、3D、および固有受容）を捉えつつ、時間的一貫性のあるモデリングをサポートします。
デュアルシステム MoT アーキテクチャ: 低周波の潜在推論と高周波のアクション生成を、Mixture-of-Transformers スキームを介して調整する設計です。これにより、リアルタイムの制御応答性を損なうことなく、熟考的な推論が可能になります。
効率的な学習と推論: 明示的なテキストや画像の生成を潜在回帰に置き換え、非同期的な周波数調整を利用することで、本手法は明示的な CoT アプローチと比較して大幅な高速化を実現しています。

4. 実験結果

著者らは、シミュレーションおよび実世界のベンチマークにおいて、LaST0 を最新の VLA モデル（例：OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA）と比較評価しました。

シミュレーションベンチマーク

RLBench: 10 の多様な操作タスクにおいて、LaST0 は平均成功率 82% を達成し、最強のベースラインである HybridVLA-7B（74%）を 8% 上回りました。また、明示的な CoT 手法（1.1 Hz）と比較して、優れた推論速度（15.4 Hz）を示しました。
LIBERO: LaST0 は、 $\pi_0.5$ （96.9%）や OpenVLA-OFT（97.1%）を上回る、最先端の平均成功率 98.1% を達成しました。特に、長期ホライゾンの LIBERO-Long スイートにおいて 95.6% という高い成績を収め、拡張されたタスクのハンドリングにおける有効性を証明しました。

実世界実験

テーブルトップ（シングル/デュアルアーム）、移動操作、および器用なハンド制御にわたる 10 の複雑なタスクで評価されました。

パフォーマンス: LaST0 は Franka プラットフォーム上で平均成功率 72% を達成し、SpatialVLA (41%)、 $\pi_0.5$ (59%)、CoT-VLA (50%) を大幅に上回りました。
長期ホライゾンの堅牢性: 3 回の連続した成功した実行（パンの上に卵を繰り返し置く作業）を必要とする長期ホライゾン・タスクにおいて、LaST0 はステップが進んでも 66% $\to$ 47% $\to$ 33% の成功率を維持しましたが、 $\pi_0.5$ は 47% $\to$ 20% $\to$ 7% へと低下しました。
汎化性能: モデルは、移動プラットフォーム（AgileX）や器用なヒューマノイドハンド（TienKung 2.0）への汎化に成功し、複雑な関節を持つ物体の操作を処理しました。

5. 意義と主張

本論文は、LaST0 がロボット VLA モデルにおける「推論の深さ」と「推論速度」の間の決定的なトレードオフを解決すると主張しています。推論を言語空間から物理的に根ざした潜在空間へと移行させることで、本フレームワークは、自己回帰的なテキスト生成によるレイテンシのペナルティを受けることなく、堅牢な操作に不可欠な「言葉にできない」物理的ダイナミクスを捉えることができます。

著者らは、デュアルシステム・アーキテクチャにより、「行動前の推論」（時間的一貫性、物理的理解）の利点を維持しながら、リアルタイム制御に適した周波数で動作できることを強調しています。実験結果は、特に微細な物理的相互作用や長期的なプランニングを必要とするタスクにおいて、潜在的推論が明示的なテキストや視覚的予測よりも、エンボディド AI（身体性AI）にとってより効果的かつ効率的なパラダイムであることを示唆しています。