💻 computer science

TBD-VLA: Temporal Block Diffusion Vision Language Action Model

TBD-VLAは、自己回帰的なブロック生成とマスク付き離散拡散を組み合わせることで、ロボット操作タスクにおける高い推論速度と強力な時間的一貫性の両方を実現する、新しい離散的なVision-Language-Actionフレームワークである。

原著者： Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、サンドイッチを作るような複雑な料理の仕方を教える場面を想像してみてください。ロボットは、食材を見て（視覚）、あなたの音声コマンドを理解し（言語）、パンを掴み、ピーナッツバターを塗り、ジャムを置くために腕を動かす（動作）必要があります。

この論文では、ロボットにこのような方法を教えるための新しい手法であるTBD-VLAを紹介しています。なぜこれが特別なのかを理解するために、従来のロボットの学習方法と、この新しい方法がどのように機能するかを比較してみましょう。

旧来の方法：一歩ずつ進む、遅いロボット

現在のほとんどのロボットは、文章を一文字ずつ書いていく人のように考えます。最初の動きを決め、次に二番目の動きを決め、その次に三番目の動きを決める……という具合です。

問題点: これは非常に遅いです。もしロボットがコップを手に取るために100回の小さな動きを計画しなければならない場合、100回連続で「考える」必要があります。考え終わる頃には、コップが動いてしまっているか、あるいはロボットの反応がリアルタイムに対して遅すぎてしまいます。
代替案: 一部の研究者は、スピードを上げるために、ロボットに「チャンク（塊）」単位で考えさせようとしました（単語を一度に丸ごと書くようなイメージです）。しかし、これを行うと、動きの間のつながりを忘れてしまうため、ロボットがぎこちなくなってしまうことがよくありました。それは、文章を書くスピードは速いけれど、文法がめちゃくちゃな文章を書いているようなものです。

新しい方法：TBD-VLA（「ブロック拡散」シェフ）

著者たちは、両方の良いところを組み合わせたシステムを作り上げました。これを**テンポラル・ブロック・ディフュージョン（時間的ブロック拡散）**と呼びます。その仕組みを簡単な比喩で説明します。

1. 「ブロック」戦略（レシピカード）
指先の細かな動き一つひとつを個別に考える代わりに、ロボットはタスクをブロック（レシピのページのようなもの）に分割します。

ブロック間: ロボットはブロックを一つずつ（ページ1、次にページ2）考えていきます。これにより、ストーリーが筋道通りになり、ステップが論理的な順序に従うことが保証されます。
ブロック内: 一度「ページ1」に取り組むことを決定すると、ロボットはそのページにあるすべての動きを同時に導き出します。

2. 「拡散（ディフュージョン）」戦略（消しゴムと鉛筆）
ブロック内の動きをどのようにしてこれほど速く導き出すのでしょうか？それは、**離散拡散（Discrete Diffusion）**という技術を使用しています。

ロボットが、指示がすべて隠されている（マスクされている）白紙の紙を持っているところを想像してください。
ロボットは、すべての動きに対して一度に「推測」を行います。
次に、自分の推測を確認し、どの部分が間違っているかを見極め、良い推測を残しながら悪い推測を「消去」していきます。
このプロセスを数回繰り返し、全体の絵が鮮明になるまで、ブロック内の動き全体を同時に洗練させていきます。

結果: ロボットは、ステップを一つずつ順番に考えなくて済むため、素早く動くことができます。グループとして考え、そのグループ全体を同時に洗練させるのです。

「リアルタイム・チャンキング」という超能力

この論文では、**リアルタイム・チャンキング（RTC）**と呼ばれる素晴らしい機能を強調しています。

シナリオ: ロボットが現在、牛乳を注いでいる（動作A）とします。その最中に、次に何をすべきか（動作B）を考え始める必要があります。
問題: 通常、ロボットは動作Aが100%完了するまで、動作Bについて考えることができません。これが「ラグ」や遅延の原因となります。
TBD-VLAの解決策: このモデルは「空白を埋める（インペインティングと呼ばれるプロセス）」ように訓練されているため、現在行っている動作を見ながら、「今自分は何をしているのか分かっているので、それと並行して次に何をすべきかの推測を始めることができる」と判断できます。
比喩: これはミュージシャンが曲を演奏しているようなものです。次の音について考えるために曲が終わるのを待つのではなく、指が現在の音を奏でている間に、すでに次のフレーズを口ずさんでいるようなものです。これにより、ロボットはより速く、より反応が良くなります。

何を証明したのか？

研究者たちは、このロボットの脳を2つの方法でテストしました。

シミュレーション内: バーチャル空間で、ブロックを積み上げたり物体を動かしたりといった様々なタスクを行わせました。TBD-VLAは、照明の変化やカメラの角度による「妨害」がある状況でも、従来の手法よりも速く、かつ高い成功率を収めました。
現実世界: 実機のロボットアーム（Franka Research 3）を用いて、パンをトースターに入れたり液体を移したりといった卓上タスクをテストしました。
- 結果: 変化の激しい難しい現実世界の状況において、TBD-VLAは約**67%の成功率を記録しましたが、従来の最高の手法は約50%**でした。
- 速度: また、意思決定に0.1秒未満しかかからず、リアルタイム制御に十分な速さで、大幅に高速化されました。

まとめ

TBD-VLAは、ロボットが動きを計画するための新しい方法です。一歩ずつゆっくり考える代わりに、ステップのグループとして考え、それを一度に洗練させます。これにより、ロボットは賢く（イベントの順序を理解し）、かつ速く（リアルタイムに反応する）なり、現実世界での複雑なタスクを扱う能力が大幅に向上しました。

技術要約: TBD-VLA (Temporal Block Diffusion Vision Language Action Model)

問題提起

Vision-Language-Action (VLA) モデルは、視覚的な観測と自然言語の指示を、実行可能なロボットのアクションへとマッピングすることを目指している。この領域における中心的な課題は、時間的コヒーレンス（時間的一貫性）と推論効率のバランスをいかに取るかである。

自己回帰モデルの限界: 現在の離散トークンベースの VLA モデルは、アクションをトークンごとに逐次生成する。これは時間的依存関係をよく捉える一方で、逐次的な性質により推論レイテンシが高くなり、高頻度のクローズドループ制御には不向きである。
並列デコーディングの限界: 最近の手法では、並列デコーディングやフローマッチングヘッドを通じて速度を向上させようとする試みがある。しかし、これらの手法は多くの場合、アクションチャンク間の時間的依存関係をモデル化する明示的なメカニズムを欠いており、長期的な軌道のコヒーレンスを損なう可能性がある。
ギャップ: ビジョン・ランゲージ・モデル (VLM) のバックボーンとアクション生成プロセスを切り離すことなく、並列デコーディングの効率性と、アクションシーケンスに内在する時間的構造を統一できるフレームワークが求められている。

手法: TBD-VLA

著者らは、アクション生成をブロック単位の離散拡散 (block-wise discrete diffusion) として定式化する、離散トークンベースの VLA フレームワークである TBD-VLA を提案している。このアプローチは、アクションシーケンスを時間的なブロックに分割することで、ブロック内での並列デコーディングを可能にしつつ、ブロック間での自己回帰的な生成を維持する。

1. モデルアーキテクチャとトークン化

バックボック: 本モデルは、マスキング、プレースホルダー、およびアクション用の特殊トークンで拡張された VLM バックボーン（実験では Qwen3-VL 2B を使用）を利用する。
離散化: アクションの特徴量（固有受容感覚および制御出力）は、ビン（bin）に離散化され、共有語彙を用いてトークン化される。アクションチャンク $A_t$ は、一連のトークンとして表現される。
時間的ブロック構造: アクションホライゾンは、サイズ $m$ の $K$ 個のブロックに分割される。アクションシーケンスの確率は、これらのブロックにわたって因数分解される：
$p(a_{1:H_p} | o, g) = \prod_{k=0}^{K-1} p_\theta(a_{km+1:(k+1)m} | o, g, a_{1:km})$

2. トレーニングパイプライン

トレーニングプロセスは、以下の3つの主要なメカニズムを通じて、VLM の次トークン予測目的関数を離散拡散パラダイムに適応させる。

時間レベルのトークンシフト (Temporal-Level Token Shift): VLM の自己回帰的な性質に適合させるため、現在の・アクションブロック内のトークンが「次の」アクションブロックを予測するようにモデルを訓練する。これにより、自己再構成型拡散と因果的シーケンスモデリングの間のギャップを埋める。
離散ブロック拡散 (Discrete Block Diffusion):
- 前方プロセス (Forward Process): クリーンなアクションブロックは、トークンをランダムにマスキングすることによって破損（corruption）される。
- 逆プロセス (Reverse Process): モデルは、「シフトされた予測器」ブロック $z_k$ に条件付けられた状態で、ブロック $k$ のクリーンなトークンを予測する。最初のブロックの場合、 $z_k$ はマスクのアンカーとなる。後続のブロックの場合、 $z_k$ はクリーンな先行ブロックで構成される。
- 損失関数: 目的関数は、マスキングされたアクション・トークンに対する平均クロスエントロピーである。
ダブルレイアウト・アテンション・マスキング (Doubled-Layout Attention Masking): ブロック内の並列性とブロック間の自己回帰性を同時に扱うために、トレーニング入力はクリーンなシーケンスとノイズを含むシーケンスを結合する。カスタムアテンションマスクにより、モデルは単一のパス内で、過去のクリーンなブロックと現在のノイズを含むブロックの両方に注意を向けることができ、これによりトレーニングが大幅に加速される。

3. 推論戦略

ブロック単位のデコーディング: 推論時には、アクションブロックは逐次的に生成される。各ブロック内では、トークンは $n_d$ 回の離散拡散ステップにわたって並列に精緻化される。
必要に応じたデコード (Decode-as-Needed): フルホライゾンを生成する代わりに、ポリシーは現在のロールアウトホライゾンに必要な数のブロックのみをデコードし、総デノイジングステップ数を削減する。
Prefix KV キャッシング: 視覚入力、プロンプト、および以前に生成されたアクションブロックのキー・バリュー（KV）状態をキャッシュすることで、反復的なデノイジングステップ中の冗長な計算を回避する。
期待値サンプリング (Expectation Sampling): 単一の最も可能性の高いトークン（argmax）を選択するのではなく、予測されたフル・トークン分布の期待値を計算することでスカラー値のアクションをデコードし、よりきめ細かな信号を提供する。
リアルタイム・チャンキング (Real-Time Chunking: RTC): クローズドループ制御におけるレイテンシを軽減するため、TBD-VLA は非同期実行をサポートする。これは、以前に生成されたアクションの末尾（推論レイテンシ・ウィンドウに対応）を固定し、それを次のアクションブロックを「インペインティング（描き込み）」するためのコンテキストとして使用する。これは、部分的にコミットされたアクションチャンクを補完するというトレーニング目的と一致している。

主な貢献

TBD-VLA フレームワーク: ブロック離散拡散を通じて、並列アクションデコーディングと時間的レベルの自己回帰を組み合わせた、新しい VLA フレームワーク。
トレーニングスキーム: VLM バックボーン上でブロック単位の拡散を効率的に訓練するために、時間的トークンシフトとダブルレイアウト・アテンション・マスキングを組み込んだ特定のパイプライン。
包括的な評価: 複数のシミュレーション・ベンチマーク（LIBERO, SimplerEnv）および実世界の操作タスクにおいて、強力な汎化性能と堅牢性を実証する広範な実験。

実験結果

著者らは、シミュレーションおよび実世界の環境の両方において、TBD-VLA を最先端のモデル（例： $\pi0.5$ , GR00T-N1, OpenVLA-OFT）と比較評価した。

シミュレーション (LIBERO): TBD-VLA は LIBERO ベンチマークにおいて 97.6% の平均成功率を達成し、従来の SOTA 手法を上回った。推論遅延（シミュレートされたレイテンシ）下において、RTC を備えた TBD-VLA は 93.3% の成功率を維持し、RTC なしのベースライン（72.3% まで低下）を大幅に上回った。
堅牢性 (LIBERO-Plus): モデルは摂動（オブジェクトの配置、カメラの視点、照明）に対して高い堅牢性を示し、83.0% の平均成功率を達成して、2番目に優れた手法を 15.1% 上回った。
実世界への転移:
- SimplerEnv: TBD-VLA は Widow-X タスクで 66.8%、Google Robot タスク（視覚的一致）で 91.0% の成功率を達成し、ほとんどのベースラインを上回った。
- 物理的操作: 実世界のテーブルトップ・タスク（例：「Everything in Bin」、「Load Toaster」）において、TBD-VLA は摂動シナリオ全体で 67.1% の平均成功率を達成し、 $\pi0.5$ ベースラインの 50.0% を上回った。
効率性: 最適化（KV キャッシング、コンパイル）により、TBD-VLA は 0.086秒（NVIDIA RTX A40 GPU 上）の推論レイテンシを達成した。これは、時間的コヒーレンスを維持しながら、他の高速な VLA モデルに匹敵する性能である。

意義と主張

本論文は、TBD-VLA が 高速で時間的に認識能力を持つ、離散 VLA モデルへのスケーラブルな道筋 を提供すると主張している。時間的自己回帰と並列デコーディングを統一することで、本フレームワークは推論速度とアクションのコヒーレンスの間のトレードオフに対処している。

著者らは、明示的な時間モデリングが 非同期実行（RTC による）を可能にすることを強調しており、これはリアルタイム制御において極めて重要である。結果は、ブロック拡散が、クローズドループ制御に必要な効率性を犠牲にすることなく、ロボット・ポリシーの汎化性能と堅牢性を向上させるための有望な方向であることを示唆している。

論文は、ブロック拡散の VLA への採用に焦点を当てており、代替のトレーニング戦略（例：補助的な目的関数との共同訓練）や、VLM の表現がどのように実行可能なアクションへと変換されるかについてのより深い解釈を今後の課題として残していることから、その限界については控えめに述べている。また、堅牢ではあるものの、極端な分布外（out-of-distribution）の条件下（例：液体転送タスクにおける大幅なカメラ視点の変化）では依然として失敗する可能性があることも認めている。