💻 computer science

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

本論文は、デノイジング・トラジェクトリの結合確率を最適化することで周辺アクション確率の計算不可能性を克服し、統一された可変ステップ・スケジューリング・アプローチを通じてロボット操作ベンチマークにおいて最先端の性能を達成する、離散拡散視覚言語行動モデルのための強化学習フレームワークであるdVLA-RLを提案する。

原著者： Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、スフレのような複雑な料理の作り方を教えていると想像してください。

旧来の手法（「真似っこ」の問題）:
以前、ロボットは人間のシェフが一度行う動作を観察し、その動きを正確にコピーしようとして学習していました。これは「教師あり微調整（Supervised Fine-Tuning）」と呼ばれます。単純なタスクには機能しますが、キッチンが散らかったり、材料が少し違ったりすると、ロボットはパニックを起こして失敗してしまいます。それは、練習問題の答えを丸暗記しただけで、新しい問題には解けない学生のようなものです。

新しいツール（「デノイジング」ロボット）:
最近、科学者たちは「dVLA」と呼ばれる新しいタイプのロボットの脳を構築しました（離散拡散視覚言語行動モデル：Discrete Diffusion Vision-Language-Action model）。このロボットは、次の動きを即座に決めるのではなく、「ノイズを含んだ」方法で考えます。ロボットが、落書きがいっぱいの白紙からスタートすることを想像してみてください（ノイズ）。そして、ステップバイステップでその落書きを消していき、完璧なレシピを浮かび上がらせるのです。

ステップ1: いくつかの言葉を推測する。
ステップ2: 見ているものに基づいて、それらの言葉を洗練させる。
ステップ3: レシピを完成させる。

この「ゆっくりとした開示」プロセスは、アーティストがインクを引く前にスケッチを描くように、ロボットが反復的に計画を洗練することを可能にします。

欠けているピース（「強化学習」のギャップ）:
この「ゆっくりとした開示」を行うロボットは賢かったのですが、依然として単なる真似っ子でした。彼らは「間違いから学ぶ」ことができていなかったのです。科学者たちは、ロボットが試行錯誤し、成功すれば「親指を立てる（報酬）」をもらい、失敗すれば「親指を下げる（罰）」をもらうことで、時間をかけてより良くしていく手法である「強化学習（RL）」を使いたいと考えていました。

大きな問題:
そこには数学的な障害がありました。標準的なロボットの脳では、正解にたどり着く確率を簡単に計算できます。しかし、この「ゆっくりとした開示」を行うロボットでは、最終的な答えは一連の長い、紆余曲折のある推測の結果です。ロボットが辿りうるあらゆる経路を見て、最終的な結果の正確な確率を計算しようとするのは、潮の満ち引きを予測するために、ビーチにあるすべての砂粒を数えようとするようなものです。これは数学的に不可能（手に負えない状態）です。

解決策：dVLA-RL（「旅路」のアプローチ）:
この論文の著者たちは、問いを変えることでこの問題を解決しました。彼らは「完璧な最終回答を得る確率はどのくらいか？」と問う代わりに、「今歩いた特定の経路を通る確率はどのくらいか？」と問いました。

ビデオゲームを例に考えてみましょう：

旧来の数学: ゲームが始まる前に、トーナメント全体に勝つ確率を計算しようとする。
新しい数学（dVLA-RL）: 次のレベルに進むために、今まさに踏み出した具体的なステップを踏む確率を計算する。

ロボットの「ゆっくりとした開示」プロセスを、ステップバイステップの旅（軌跡／トラジェクトリー）として扱うことで、標準的な強化学習を用いてロボットを教えることができるようになったのです。彼らは最終的な結果だけでなく、そこに至るまでの「経路全体」に対して報酬を与えられるようになりました。

「ハイブリッド」戦略（「スマート・スケジューラー」）:
論文では、「Hybrid dVLA-RL」と呼ばれる巧妙なトリックも紹介されています。

簡単なタスク: ロボットがカップを持ち上げるような簡単なタスクに習熟している場合、考えるために10ステップもかける必要はありません。わずか1、2ステップで済みます。これにより、時間とエネルギーを節約できます。
難しいタスク: ブロックを積み上げるような複雑なタスクの場合、ロボットは計画を練り、洗練させるために、より多くのステップを踏むことが許されます。

これは、先生が簡単な質問には小テストを出し、難しい研究論文にはエッセイ形式を許可するようなものです。これにより、ロボットは簡単な仕事では速くなり、難しい仕事ではより賢くなります。

結果
チームは、2つの主要なロボット訓練場を用いてテストを行いました。

LIBERO: シングルアーム・ロボットのためのシミュレーション。新しい手法は99.7%の成功率を達成し、実質的にタスクを完璧にこなしました。
RoboTwin 2.0: 人間のような二本腕のロボットのための、より困難なシミュレーション。新しい手法は、従来の「真似っ子」バージョンと比較して成功率を30.6%向上させ、他のトップクラスのロボット脳を上回りました。

まとめ
この論文は、「ゆっくりとした思考」を行うロボットに、自らの経験から学ぶ方法を提示しています。最終的な結果に関する不可能な数学的計算に陥る代わりに、そこに至るまでの「特定の旅路」から学ぶように教えているのです。これにより、ロボットは指示に従い、複雑な物理的タスクをこなす能力が大幅に向上しました。

技術要約: dVLA-RL

問題提起

Vision-Language-Action (VLA) モデルは、大規模視覚言語モデル（VLM）のセマンティックな推論に制御を接地させることで、ロボット操作における強力なパラダイムを確立してきました。離散拡散VLA（dVLA）は、視覚、言語、および行動を単一の離散トークン空間へと統合するマスク生成モデリングを通じて、有望な代替案として浮上していますが、その学習は教師あり微調整（SFT）に限定されてきました。

ネイティブなdVLAへの強化学習（RL）の適用には、根本的なボトルネックが存在します。それは、周辺アクション確率の計算不可能性です。標準的な方策勾配アルゴリズム（PPOなど）は、最終的に実行されるアクションの正確な確率 $\pi_\theta(a_t | s_t)$ を必要とします。しかし、離散拡散モデルにおいて、最終的なアクションは $K$ ステップの確率的なデノイジング過程の結果です。正確な周辺確率を計算するには、考え得るすべての中間デノイジング・トラジェトリの組合せ空間を総和する必要があり、これは計算上不可能です。さらに、最終ステップの出力のみを用いて方策を近似することは、ロールアウトを決定づける中間状態を無視することになり、勾配のミスマッチや学習の不安定化を招きます。

手法: dVLA-RL

これに対処するため、著者らは、学習目的を計算不可能な周辺アクション確率から、サンプリングされたデノイジング・トラジェトリの結合確率へとシフトさせるフレームワークである dVLA-RL を提案しています。

1. トラジェトリレベルの確率モデリング

著者らは、デノイジング過程をマルコフ決定過程（MDP）としてモデル化しています。最終的なアクションの確率を最適化する代わりに、デノイジング過程を展開し、特定のサンプリングされた生成パス $\tau = (x_K, \dots, x_0)$ の確率を、ステップごとの遷移の積として定式化します：
$\log \pi_\theta(\tau | s_t) = \sum_{k=1}^K \left[ \log P_{\text{unmask}}(U_k | p_\theta, k) + \sum_{i \in U_k} \log p_\theta(x_{k-1}^i | x_k, s_t) \right]$
ここで、 $U_k$ はステップ $k$ でアンマスク（非マスク化）するために選択されたトークンのサブセットです。

2. アンマスク過程の暗黙的な最適化

重要な課題は、トークンのアンマスク・スケジュールの決定（Gumbel-TopKメカニズムによる）が離散的であり、非微分的であることです。アンマスク選択の確率を直接バックプロパゲーションすると、高分散な勾配が発生します。

解決策: 著者らは、アンマスク過程を、内在的で非微分的なシステム力学として扱います。彼らは、勾配更新からアンマスク項を除外し、目的関数を、特定のトークンIDから [MASK] へと遷移するトークン生成確率のみに集中させます。
暗黙的な効果: コアとなるトークン予測精度を最適化することで、ネットワークの確信度分布が改善され、これによりGumbel-TopKスケジューラが、スケジューラ自体の明示的な勾配推定器を必要とせずに、不確実な領域をターゲットとするよう、暗黙的かつ適応的に最適化されます。

3. ハイブリッド・デノイジング・ステップ戦略

トラジェトリレベルの定式化の柔軟性を活用し、著者らは Hybrid dVLA-RL アプローチを導入しています。このフレームワークは可変的なデノイジング・ホライゾンを自然に受け入れるため、タスクの複雑さと初期のSFT性能に基づいて、異なるデノイジング・ステップを割り当てることができます。

単純なタスク: デノイジング・ステップを少なくすることで、ロールアウトと推論のコストを抑えつつ、高い成功率を維持します。
複雑なタスク: より大きなデノイジング・ホライゾンを提供することで、より優れた初期アクションと、反復的な洗練のためのより情報量の多いオンライン探索が可能になります。

主な貢献

離散拡散のためのRLの定式化: 本論文は、サンプリングされたデノイジング・トラジェトリの確率を最適化することで、ネイティブな離散拡散VLAに対する強化学習を定式化しました。これにより、マルチステップの離散デノイジング方策と標準的な方策勾配RL（PPO）を統合する、計算可能な手法を提供しました。
統一された学習戦略: 著者らは、デノイジング・ステップを特定のタスクの複雑さに合わせる統一されたステップ・スケジューリング・アプローチ（Hybrid dVLA-RL）を導入しました。これにより、単一のフレームワーク内で、アクションの質、サンプル効率、および計算コストのバランスをとっています。
実証的検証: 本フレームワークは、SFTによる初期化を超えて、RLが離散拡散VLAの方策を大幅に改善できることを示し、標準的なベンチマークにおいて最先端（SOTA）の結果を達成しました。

実験結果

著者らは、2つのロボット操作ベンチマーク、LIBERO（シングルアーム）および RoboTwin 2.0（バイマニュアル）を用いてdVLA-RLを評価しました。

LIBERO: dVLA-RLは、4つのスイート（Spatial, Object, Goal, Long）すべてにおいて**平均成功率99.7%**を達成し、SFTのみのベースラインおよび既存のVLA/World-Action Model (WAM) ベースラインの両方を上回りました。
RoboTwin 2.0: 本手法は、SFTのみのMM-ACTベースラインに対して30.6%の絶対的な向上（平均成功率61.4%から92.0%へ上昇）を実現しました。この困難なバイマニュアル・ベンチマークにおいて、VLAベースの手法の中で最高の性能を達成し、強力なWAMベースラインとも互角の性能を示しました。
アブレーション研究:
- トラジェトリ vs. ラストステップ: 比較により、トラジェリオレベルのモデリングが必要であることが示されました。「ラストステップのみ」のプロキシは、特にデノイジング・ステップの数が増えるにつれて、学習の不安定化と成功率の低下を招きました。
- ハイブリッド戦略: ハイブリッド・アプローチはサンプル効率を向上させることに成功し、固定ステップ戦略と比較して、より少ない環境相互作用ステップでより高い成功率を達成しました。

意義と主張

本論文は、dVLA-RLが、マルチステップの離散拡散プロセスと標準的なRL目的関数の間の根本的なミスマッチを解消することを主張しています。最適化対象をデノイジング・トラジェトリの結合確率へと再構成することで、著者らは、ネイティブな離散拡散VLAへのオンラインRLの最初の成功的な適用を可能にしました。

結果は、離散拡散がRL最適化されたVLA方策のための有望なアクション生成パラダイムであることを示唆しており、シングルアームおよび複雑なバイマニュアル操作タスクの両方において、最先端の性能に到達できることを示しています。本研究は、拡散モデルにおける周辺確率の「計算不可能性」が、RLの目的を実際のデノイジング過程の実行パスに整合させることで回避可能であり、それによって行動クローニングを超えた方策洗練の可能性を切り拓くことを明らかにしています。