💻 computer science

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

本論文は、推論と行動を単一のモデルで統合し、タスク実行中に必要に応じて適応的に推論モードと行動モードを切り替えることで、長期的な計画やエラー回復、複雑な操作タスクを可能にする新しい統一型ビジョン・言語・アクションモデル「OneTwoVLA」を提案するものです。

原著者： Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

公開日 2026-03-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「OneTwoVLA（ワン・ツー・VLA）」**という、新しいタイプのロボット用 AI について紹介しています。

一言で言うと、**「考えながら動き、動きながら考えることができる、とても賢いロボットの頭脳」**を作ったという話です。

従来のロボットは「頭（思考）」と「手（動作）」が別々で、うまく連携できていないことが多かったです。この論文は、その問題を解決する画期的なアプローチを提案しています。

わかりやすくするために、いくつかの比喩を使って説明しましょう。

1. 従来のロボット vs 新しいロボット（OneTwoVLA）

【従来のロボット：二人組のチーム】
昔のロボットは、**「頭の良い指揮官（システム 2）」と「手先の器用な作業員（システム 1）」**の二人組で動いていました。

指揮官は「お皿を持ってきて」と言います。
作業員はそれを見てお皿を掴みます。
問題点： 指揮官が「お皿を持ってきて」と言っても、作業員が「でも、お皿が壊れてるよ！」と気づいていても、指揮官にはその情報が届きません。また、指揮官が考えるのに時間がかかると、作業員は「えっ、今どうすればいいの？」と待たされすぎて、動きが遅くなったり、古い指示のまま間違ったことをしたりします。

【新しいロボット：OneTwoVLA（一人の天才）】
OneTwoVLA は、**「指揮官と作業員が一人の人間に融合した」**ような存在です。

このロボットは、「考えるモード（システム 2）」と「動くモード（システム 1）」を、状況に応じて自分で切り替えることができます。
例え話： 料理をしているとき、包丁で野菜を切るような単純な作業は「動くモード」でサクサク進めます。でも、「あ、火が強すぎるかも？」「お肉が焦げそう！」と気づいた瞬間、一瞬だけ「考えるモード」に切り替えて「どうしよう、水をかけようか？」と判断し、その判断に基づいてまた「動くモード」に戻ります。
メリット： 無駄な思考を省きつつ、重要な瞬間だけ深く考えるので、**「速く、かつ賢く」**動けます。

2. 具体的に何ができるの？（4 つのすごい能力）

このロボットは、以下のような難しいタスクを得意としています。

🍳 長期的な計画（例：鍋料理を作る）
- 「お肉を茹でて、野菜を足して、最後に器に盛る」という長い手順を、一つずつ間違えずに実行できます。途中で「お肉が落ちた！」と気づけば、すぐに「拾い直そう」と計画を修正します。
🚑 失敗からの回復（例：コップを落とした時）
- もしコップをこぼしてしまったら、ロボットは「あ、こぼしちゃった。拭こう」と自分で判断し、新しい手順（拭く動作）を即座に考え出して実行します。
🗣️ 自然な会話（例：注文の変更）
- 「オレンジのウォッカで」と言われていたのに、途中で人間が「あ、レモン味に変えて！」と言ったら、ロボットは「わかった、オレンジを置いてレモンを取ろう」と即座に反応して行動を変えます。
🔍 目で見えるものを理解する（例：「あの赤い丸いもの」）
- 「赤くて丸いもの」や「本を読むのに使うもの」といった、名前を言わずに特徴で指示されても、正しくそれを見つけます。これは、インターネット上の膨大な知識（本や写真のデータ）をロボットが学習しているおかげです。

3. どうやってこんなに賢くしたの？（データ合成の魔法）

ロボットを賢くするには、人間がロボットに教えてあげる「練習データ」が必要ですが、それには時間とコストがかかります。そこで、この論文のチームは**「AI によるデータ合成」**という魔法を使いました。

魔法のレシピ：
1. AI に「テーブルの上にリンゴと本があるような風景を描いて」と頼む。
2. AI がその画像を生成する。
3. さらに別の AI に「この画像を見て、リンゴを拾うための手順と、その時の思考（『リンゴは赤くて、右側にある』など）を書いて」と頼む。
これを 1 万 6000 回も自動で行い、**「思考付きの練習問題」**を大量に作りました。
この「思考付きデータ」と「実際のロボットの実践データ」を一緒に学習させることで、ロボットは**「なぜその動きをするのか」**を理解するようになり、未知の場面でも柔軟に対応できるようになりました。

まとめ

この論文は、**「ロボットに『考える力』と『動く力』を一つにまとめて、状況に応じて賢く使い分けさせる」**という新しい仕組みを提案しました。

まるで、**「料理中にレシピを見ながら、もし焦げそうなら火を止めることを即座に考え、その通りに手を動かすプロのシェフ」**のようなロボットを作ったのです。

これにより、ロボットは工場だけでなく、私たちの家庭で、複雑な家事や、人間との自然なやり取りができるようになる未来が近づいたと言えます。

OneTwoVLA: 適応的推論を備えた統合型ビジョン・言語・アクションモデルの技術的概要

本論文は、ICLR 2026 にて発表された「OneTwoVLA」について述べています。これは、推論（System 2）と実行（System 1）の両方を単一のモデル内で統合し、タスクの実行中に状況に応じて適応的にモードを切り替える新しいビジョン・言語・アクション（VLA）モデルです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

従来のロボット制御アプローチ、特に長期的なタスク遂行においては、以下の課題が存在していました。

双システムアプローチの限界: 多くの既存手法は、カネマンの「双システム理論」に着想を得て、高レベル推論を行うシステム 2（例：事前学習済み VLM）と、低レベル動作を生成するシステム 1（例：VLA）を分離しています。しかし、この分離により、両システム間の能力理解の欠如（システム 2 がシステム 1 で実行不可能な指示を出すなど）や、推論によるレイテンシ（遅延）が発生し、リアルタイムな制御やエラー回復が困難になる問題がありました。
推論能力の不足: 従来の単一 VLA モデルは、大規模なロボットデータで訓練されていますが、長期的な計画や複雑な動的環境、未知のオブジェクトに対する推論能力が限られており、汎用性が不足していました。

本研究は、推論と実行を密接に連携させ、単一のモデル内で適応的に「考えるタイミング」と「動くタイミング」を決定する統合モデルの構築を目指しています。

2. 手法 (Methodology)

2.1 OneTwoVLA のアーキテクチャ

OneTwoVLA は、単一の VLA モデル（ベースは $\pi_0$ ）を拡張し、以下の 2 つのモードを統合しています。

推論モード (Reasoning Mode / System 2):
- 重要な局面（サブタスク完了時、エラー検出時、人間の介入が必要な時など）で発動します。
- 入力：現在の画像観測、参照画像（最新の推論時の画像）、言語指示、最新の推論内容。
- 出力：自然言語による推論テキスト（シーン記述、高レベル計画、進捗の要約、次のステップ指示）。
- 特徴：推論内容は、タスクの文脈を維持し、次の動作を導くためのコンテキストとして機能します。
実行モード (Acting Mode / System 1):
- 推論モード以外の通常のタスク実行時に発動します。
- 入力：画像観測、参照画像、言語指示、最新の推論内容、ロボットの姿勢状態。
- 出力：ロボットのアクションチャンク（連続的な動作ベクトル）。
- 特徴：最新の推論結果に基づいて動作を生成するため、文脈を維持した効率的な実行が可能です。

適応的推論パイプライン:
モデルは、推論開始トークン [BOR] と動作開始トークン [BOA] のいずれかを予測することで、どのモードで動作するかを自律的に決定します。これにより、推論はタスクのクリティカルなステップでのみ行われ、全体の推論効率を損なうことなく、必要な推論のみを実行します。

2.2 データキュレーションと合成

モデルの推論能力と汎化性能を向上させるため、以下の 2 つのデータ戦略を採用しました。

ロボットデータの再構築 (Embodied Reasoning):
- 既存のロボット実証データ（観測 - 動作ペア）を、推論区間（Reasoning Intervals）と実行区間（Acting Intervals）に分割します。
- 推論区間には、シーン記述、高レベル計画、進捗要約、次のステップ指示という 4 つの要素からなる「具現化された推論コンテンツ」を付与します。
- エラー検出・回復や人間との対話（HRI）を含むデータも収集・注釈化しました。
スケーラブルな合成データパイプライン:
- 人手に依存しない大規模なデータ生成パイプラインを構築しました。
- 手順：(1) Gemini 2.5 Pro で多様なテーブルレイアウトのテキスト記述を生成、(2) FLUX.1-dev で高品質な画像を合成、(3) 再度 Gemini でタスク指示と対応する推論コンテンツを生成。
- これにより、16,000 件の「推論中心のビジョン・言語データ」を自動生成し、ロボットデータと共訓練（Co-training）することで、モデルの汎化能力を大幅に強化しました。

3. 主要な貢献 (Key Contributions)

単一統合モデルによる適応的推論・実行:
- 推論と実行を別システムに依存せず、単一モデル内で適応的に切り替えるアーキテクチャを提案しました。これにより、双システム方式のレイテンシや能力のミスマッチを解消し、効率的かつ柔軟な制御を実現しました。
推論中心のデータ合成パイプライン:
- 高品質でスケーラブルな「具現化された推論」を含むビジョン・言語データの合成手法を開発しました。これにより、ロボットデータのみでは得られない推論能力と汎化能力をモデルに付与しました。
4 つの主要能力の飛躍的向上:
- 長期的タスク計画、エラー検出・回復、自然な人間 - ロボット対話、汎用的な視覚的グラウンディングにおいて、既存の SOTA モデルを凌駕する性能を実証しました。

4. 実験結果 (Results)

実世界でのロボット実験（7 自由度 Franka アームおよび双腕 ARX システム）を通じて、以下の結果が得られました。

長期的タスク計画:
- 「トマト炒め」「火鍋」「カクテル作り」の 3 つの複雑なタスクにおいて、OneTwoVLA は平均成功率 87% を達成しました。
- 比較対象：推論を持たない VLA ( $\pi_0$ ) より 30% 上回、双システムアプローチより 24% 上回りました。 $\pi_0$ はタスクの進行状況を見失うことが多かったのに対し、OneTwoVLA は計画の追跡と動的調整に成功しました。
エラー検出と回復:
- 把持失敗や油瓶の滑落などのエラーに対し、リアルタイムで推論を行い、修正戦略（再把持、姿勢調整など）を生成して回復動作を実行しました。
- エラー回復成功率は 80%（双システムは 58.3%、 $\pi_0$ は 57.1%）でした。双システムは推論の遅延により、エラー発生後の状態（分布外状態）での回復が困難でした。
自然な人間 - ロボット対話:
- 人間の介入や曖昧な指示に対し、即座に文脈を維持して対応しました（例：「別の野菜も入れてほしい」という要求への対応、カクテルの味の変更への対応）。
- 対話成功率は 100%（双システムは 65%）でした。
汎用的な視覚的グラウンディング:
- 訓練データに存在しないオブジェクトや、合成データからの知識転移により、未知の環境や指示（例：冷蔵庫の中の冷たいコーラを探す、遠くの物体を道具を使って取る）に対しても高い成功率を示しました。
- 合成データと共訓練した OneTwoVLA-VL は、オープンワールド設定で 73% の成功率を達成し、訓練データ未出現のオブジェクトに対しても汎化できました。

5. 意義と結論 (Significance)

OneTwoVLA は、ロボットが「考えること」と「動くこと」をシナジー的に統合する新たなパラダイムを示しました。

効率性と柔軟性の両立: 常に推論を行うのではなく、必要な瞬間にのみ推論を行う適応的なアプローチにより、推論のオーバーヘッドを最小化しつつ、複雑なタスク遂行を可能にしました。
汎用性の向上: 合成された推論中心のビジョン・言語データとの共訓練により、ロボットが未知の状況や指示に対しても、常識的な推論に基づいて適応的に行動できるようになりました。
将来への示唆: 本アプローチは、長期的な自律性、エラー耐性、そして人間との自然な協調を実現する一般目的ロボットの実現に向けた重要な一歩です。

今後の課題として、推論ステップの決定を強化学習（RL）で最適化する、非同期アーキテクチャによる推論と動作の並列化、および大規模モデルにおける推論効率の改善などが挙げられています。