💻 computer science

ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning

本論文は、構造化された探索のために離散的な行動事前分布に基づき方策を条件付け、さらに訓練時の多様性と決定論的なデプロイメントを橋渡しするために状態条件付きトークンセレクターを利用することで、Vision-Language-Actionモデルのサンプル効率と収束性を向上させる強化学習フレームワークであるExTokenを導入するものである。

原著者： Yilun Kong, Yunpeng Qing, Guozheng Ma, Haoyu Wang, Li Shen, Zhi Hou, Dacheng Tao

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yilun Kong, Yunpeng Qing, Guozheng Ma, Haoyu Wang, Li Shen, Zhi Hou, Dacheng Tao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにシャツの畳み方やテーブルの拭き方を教えていると想像してみてください。あなたは、ロボットに実際にやってみて、何がうまくいくかを見極める「試行錯誤」を通じて学ばせたいと考えています。これは「強化学習（Reinforcement Learning: RL）」と呼ばれるものです。しかし、ここには落とし穴があります。ロボットは高価ですし、現実の世界は混沌としています。もしロボットにただランダムに「あらゆることを試す」ようにさせてしまうと、同じ愚かなミスを何度も何度も繰り返すという、無駄な時間を過ごしてしまうかもしれません。それは、どこにも進まずに同じ場所を回り続けるハムスターの回し車のように、ループに陥ってしまうのです。

この論文の著者たちは、この「行き詰まり」現象が大きな問題であることを見出しました。彼らは、現在のロボット訓練において、ロボットの行動が非常に早く退屈で似通ったものになってしまうことを発見しました。彼らはこれを「アクション・モード崩壊（action mode collapse）」と呼んでいます。それは、一度数学のテストで失敗した学生が、その失敗を恐れて、将来のテストでも同じ間違った答えを書き続けることに決めてしまうようなものです。ロボットは、問題を解決するための新しい方法を模索することをやめてしまうのです。

大きな発見：量よりも多様性

研究者たちは、シンプルな問いを立てました。「すべてが同じ内容である100万回の試行と、すべてが異なる内容である数百回の試行では、どちらが良いのか？」

これを知るために、彼らはシミュレーションを行いました。彼らは3つのグループのロボットを比較しました。

標準的なランダム探索を用いて1,024回試行するグループ。
わずか512回（半分）の試行を行うグループ。
1,024回試行するが、退屈で反復的な試行は捨て、最も「異なり」があり「ユニーク」な512回の試行のみを残すグループ。

結果は驚くべきものでした。512回のユニークで多様な試行を維持したグループは、1,024回試行したグループと同等のパフォーマンスを発揮しました。実際、標準的な退屈な方法を用いた512回の試行グループよりも、はるかに優れた結果を出しました。この論文は、試行の絶対数よりも、試行の多様性の方がはるかに重要であることを示唆しています。もし同じことばかりを繰り返しているなら、それは学習しているのではなく、単に「行き詰まった状態」を練習しているだけなのです。

解決策：ExToken（「行動メニュー」）

では、どうすればロボットがループに陥るのを防げるのでしょうか？著者たちは、ExTokenと呼ばれる巧妙なトリックを導入しました。

あなたがロボットに、さまざまな「個性」や「スタイル」を試すためのメニューを与えているところを想像してください。単に「シャツを畳もうとして」と言う代わりに、ロボットには「今日はプロのシェフのように畳んでみて」「今日は急いでいるティーンエイジャーのように畳んでみて」「今日は優しく畳んでみて」と伝える特別なトークン（デジタル的なタグ）が与えられます。

このメニューは次のように構築されました：

ライブラリ： 人間がタスク（服を畳むなど）を行っている膨大なビデオ映像を調査しました。
分類： コンピュータの脳を使用して、人間の動きに基づいてこれらのビデオをクラスター（集団）に分類しました。例えば、あるグループは「ゆっくりと丁寧」、別のグループは「速くて直接的」といった具合です。
トークン： 各グループにトークンが割り当てられました。これらのトークンは、仕事のさまざまなやり方を表しています。
訓練： ロボットが練習するとき、コンピュータはメニューからランダムにトークンを選び、「今日はこのスタイルでやってみて！」とロボットに指示します。これにより、ロボットにさまざまな動き方を強制し、退屈なループに陥るのを防ぎます。

魔法のスイッチ：トークン・セレクター

このメニュー方式には問題があります。実際の仕事（例えば、実際のキッチンでの作業）をしている最中には、ランダムにスタイルを選ぶことはできません。その特定のシャツや、その特定のテーブルに対して、どのスタイルが最適かを判断する必要があります。

これを解決するために、ExTokenは「トークン・セレクター」を追加しています。これは、現場の状況（シャツ、テーブル、照明など）を瞬時に観察し、メニューの中から完璧なトークンを即座に選ぶ「スマートなマネージャー」のようなものです。

訓練中： マネージャーは、どのトークンがうまくいくかを確認するために、さまざまなトークンを試します。
実際の仕事中： マネージャーは状況を観察し、「よし、この特定の汚れに対しては、『丁寧なシェフ』のトークンを使う」と自信を持って判断します。

これにより、ロボットは学習中に大胆かつ創造的に探索することができますが、いざ実作業を行うときには、完璧で決定論的な精度を持って行動することができます。

数字が示すもの

彼らはこのアイデアを、コンピュータ・シミュレーションと実機のロボットの両方で2つの方法でテストしました。

シミュレーションにおいて： 彼らはLIBEROというベンチマークを用い、4つの異なるタイプのタスク（空間、物体、目標、長期）をテストしました。
- 標準的なロボット（RLinf-GRPO）の平均成功率は**96.8%**でした。
- ExTokenを用いたロボットは**98.2%**でした。
- 最も難しいタスク（LIBERO-Long）では、標準的なロボットは**95.2%でしたが、ExTokenは97.8%**へと跳ね上がりました。
- 極めて重要なのは、厳格な制限下で行われたことです。ExTokenは、ステップごとに512回の試行回数という厳しい予算制限の中でも勝利しました。
現実世界において： 彼らは、服を畳む、テーブルを拭く、水を注ぐ、ペンをホルダーに入れるという4つの実作業でテストを行いました。
- 「服を畳む」タスクでは、標準的な手法の成功率は90%でしたが、ExTokenは95%でした。
- 環境を変更した場合（異なるシャツや異なるテーブルの背景を使用した場合）、標準的な手法のパフォーマンスは**10%から20%低下しましたが、ExTokenの低下はわずか5%から10%**であり、より堅牢（ロバスト）であることを示しました。

まだ分かっていないこと（現時点での課題）

この論文は、これがすべてに対する魔法の杖ではないことを慎重に述べています。

粒度（Granularity）： 彼らは3、6、または10個の異なるトークンを使用してテストしました。結果は3個から6個の間では非常に安定していましたが、10個になるとパフォーマンスがわずかに低下しました。彼らは、あまりに細かすぎるカテゴリーを持ちすぎると、ロボットが学習するのが難しくなる可能性があると示唆しています。
極端な制限： 予算をわずか128回まで削減すると、システムは不安定になり始めました。著者らは、これほど幅広いトークンを支えるための出発点が不足しているためだと推測しています。
人間の解釈可能性： 彼らは、ロボットが学習した「スタイル」の中には、明確な人間の名前（例：「変なひねり畳み」など）が付いていないものがあることも発見しました。しかし、それは問題ではありませんでした！トークンが物理的に異なる動きを生み出している限り、それらはロボットの学習に役立っていたからです。

結論

この論文は、もしロボットを効率的に訓練したいのであれば、単に大量のデータを投げ込むのではなく、そのデータがいかに多様であるかに焦点を当てるべきであると示唆しています。ExTokenを使用して、練習中にロボットにさまざまな「個性」を試させることで、より少ない試行回数で、より速く学習させることができ、さらに現実世界の予期せぬ変化にも対応できる優れたロボットを作ることができます。重要なのは、何回試行するかではなく、どれほど多くの「異なる方法」を試すかなのです。

技術要約: ExToken: 高効率なVision-Language-Action強化学習微調整のための構造化された探索

1. 問題提起

Vision-Language-Action (VLA) モデルはロボット操作において有望な成果を示しており、強化学習 (RL) は、環境との相互作用を通じてこれらのモデルをポストトレーニングするためのパラダイムを提供します。しかし、VLA-RLの現実的なスケーラビリティは、サンプル効率の悪さによって著しく制限されています。大規模なVLAアーキテクチャは、物理環境またはシミュレーション環境における広範な試行錯誤にさらされると、法外なコストと安全上のリスクを伴います。

著者らは、現在のVLA-RLフレームワークにおける特定のボトルネックとして、**探索の停滞（exploration stagnation）によるアクションモードの崩壊（action mode collapse）**を特定しています。標準的な確率的サンプリングメカニズムは、学習が進むにつれて、ポリシーがますます均質な軌道を生成する原因となります。エージェントは類似したアクションパターンを繰り返し利用するため、状態とアクションのカバー範囲を改善できない冗長なデータ収集が行われます。本論文は、根本的な問題は単なるデータ量の不足ではなく、**軌道の多様性（trajectory diversity）**の欠如であると断定しています。

2. 手法: ExToken

探索の停滞に対処するため、著者らは、構造化された探索を可能にするためにオフラインのデモンストレーションから得られた離散的な行動事前分布に基づき、VLAポリシーを条件付けするフレームワークであるExToken (RL Exploration Token) を提案しています。このフレームワークは、主に以下の2つのコンポーネントで構成されています。

A. トークン定式化と条件付け

非構造的な確率的ノイズに頼る代わりに、ExTokenはオフラインの専門家データセットに内在する行動の多様性を活用します。

トークン生成: 学習済みのビデオエンコーダが、デモンストレーションデータセット $\mathcal{D}$ から潜在的な時空間特徴を抽出します。この潜在空間内で $K$ -meansクラスタリングを実行し、 $K$ 個のクラスター重心 $\{c_1, \dots, c_K\}$ を特定します。各重心は、明確に異なる行動モードに対応する離散的な**探索トークン（exploration token）**を定義します。
トークン条件付きウォームアップ: RLの前に、教師あり微調整（SFT）フェーズを行い、ポリシーをこれらのトークンに適合させます。各デモンストレーションの軌道は、対応するクラスター・トークンとペアにされ、これによりポリシーは特定のトークンと行動モードの関連性を学習します。
RL中の構造化された探索: RLの相互作用フェーズ中、ポリシーは入力シーケンスの先頭に付加された、一様にサンプリングされた探索トークン $k \sim \mathcal{U}(1, K)$ によって条件付けられます。これにより、エージェントを異なる行動モードへと明示的に誘導し、アクションモードの崩壊を防ぎ、ロールアウトの多様性を向上させます。

B. 状態条件付きトークンセレクター

確率的な学習時の探索と、デプロイメント時の決定論的な推論との間のギャップを埋めるため、ExTokenはトークンセレクター $\phi$ を組み込んでいます。

アーキテクチャ: 初期観測 $s_0$ （画像と言語）が与えられると、学習済みSigLIPエンコーダとそれに続くMLPヘッドが、トークンスペースに対するカテゴリカル分布を予測します。
学習: セレクターはVLAポリシーと共同で最適化されます。ポリシーは標準的なRL目的関数を通じて更新されますが、セレクターはエピソードレベルでREINFORCEを用いて最適化されます。この目的関数は、選択されたトークンに対する期待軌道報酬 $R(\tau)$ を最大化するように設計されており、セレクターが与えられた初期状態に対して最も効果的な行動モードを予測するように促します。
推論: デプロイメント中、セレクターは最も可能性の高いトークン（ $\arg\max$ ）を決定論的に出力し、ランダムサンプリングなしで、安定した文脈依存型の挙動を保証します。

3. 主な貢献

本論文は、主に3つの貢献を述べています。

経験的知見: 著者らは、軌道の多様性が、収集されたロールアウトの純粋な量よりも、サンプル効率にとって根本的に重要であることを実証しました。均質な軌道を破棄し、多様なサブセットで学習を行うことで、標準的なロールアウトの2倍の量で学習した場合と同等の性能が得られることを示しています。
ExTokenフレームワーク: 離散的なトークン条件付けを通じて、VLAポリシーに構造化された行動モードを探索させる、シンプルかつ汎用的なフレームワークを導入しました。これは、トークン条件付き探索と、決定論的推論のための状態条件付きトークンセレクターを独自に組み合わせたものです。
堅牢なパフォーマンス: 広範な実験により、ExTokenが学習の収束を加速させ、タスク成功率を向上させ、厳格に制限された相互作用予算（例：限られたロールアウト回数）や環境の変化に対しても堅牢性を維持することを証明しました。

4. 実験結果

著者らは、シミュレーションおよび実世界のロボット操作タスクの両方でExTokenを評価しました。

シミュレーション (LIBEROベンチマーク)

設定: ExTokenは、OpenVLA-OFTをベースポリシーとし、GRPOによる最適化を用いて、4つのLIBEROタスクスイート（Spatial, Object, Goal, Long）でテストされました。相互作用予算は、ステップあたり512軌道に厳格に制限されました。
パフォーマンス: ExTokenは平均成功率 98.2% を達成し、全く同じ予算条件下で強力なベースラインであるRLinf-GRPO（96.8%）を上回りました。
効率性: 学習曲線は、ExTokenがベースラインよりも速く収束することを示しました。特に困難なLIBERO-Longスイートにおいて、ExTokenは成功率を95.2%から97.8%に向上させました。
アブレーション: 512の多様化されたロールアウト（ExToken経由）を用いた学習は、1024の標準的なロールアウトを用いた場合と同等の性能を示し、多様性が量よりも重要であるという仮説を検証しました。

実世界実験

タスク: 衣類の折り畳み、テーブルの拭き取り、水の注ぎ、ペンの挿入の4つのタスクが評価されました。
予算: 実験は、厳格な制約（1イテレーションあたり20ロールアウト）の下で行われました。
結果: ExTokenは、元の設定においてEvo-RLベースラインを平均 6.25% 上回りました。
汎化性能: 決定的なことに、ExTokenは環境の変化（未知の物体、背景の変化、照明）に対して優れた堅牢性を示しました。ベースラインが10〜25%の性能低下に見舞われた一方で、ExTokenの劣化は 5〜15% に限定されました。これは、訓練中に多様な相互作用パターンに曝露されていたためと考えられます。

分析

トークンクラスタリング: 可視化により、トークンが明確な行動モード（例：布を畳む際の修正的な直線化 vs 平滑化）を捉えていることが確認されました。
探索空間: 3Dエンドエフェクタ位置の分析では、トークン条件付きの探索は、標準的な確率的探索と比較して、有意に広い空間領域をカバーしていることが示されました。
制約: ExTokenは、ロールアウト予算を512から256に削減した場合でも堅牢性を維持し、同様の結果を得るために2倍のデータを必要としたベースラインを上回りました。

5. 意義と主張

本論文は、ExTokenがVLA-RLにおける根本的なボトルネックである「探索コストとサンプル効率のトレードオフ」に対処すると主張しています。構造化されたトークン条件付けを通じて、「より多くのデータを収集する」ことから「より多様なデータを収集する」ことへと焦点を移すことで、ExTokenはタイトな相互作用予算下での効率的なポリシー最適化を可能にします。

著者らは、ExTokenを、様々なVLAアーキテクチャやRLパラダイム（オンラインおよび反復的なオフライン）に統合可能な、軽量で広く互換性のあるフレームワークとして位置付けています。彼らは、この手法が複雑なアーキテクチャ変更を必要とするのではなく、入力の条件付けを利用して探索を制御することを強調しています。

限界と今後の展望:
著者らは、現在の設計がコアとなる仮説の簡略化された検証であることを控えめに述べています。今後の方向性には以下が含まれます。

トークン表現とポリシーの共同最適化。
暗黙的なアンサンブルのための確率的トークンドロップアウトの導入。
単一の初期状態トークンから、複雑で長期的なタスクを扱うための**時間条件付きトークン（temporally-conditioned tokens）**への移行（探索戦略を動的に変化させる必要がある場合）。