💻 computer science

From Pixels to Tokens: A Systematic Study of Latent Action Supervision for Vision-Language-Action Models

本論文は、視覚言語行動モデルにおける画像ベースおよび行動ベースの潜在行動監視戦略を体系的に比較し、画像ベースの手法が長期視野の推論を強化する一方で、行動ベースの手法は運動協調を改善し、直接トークン監視が全体的に最良のパフォーマンスをもたらすことを明らかにする。

原著者： Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yihan Lin, Haoyang Li, Yang Li, Haitao Shen, Yihan Zhao, Chao Shao, Jing Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに家事を教える場面を想像してみてください。人間が何かをしている様子を映した膨大な動画ライブラリがあるとします。ある人はお椀を積み重ね、別の人はテーブルを拭き、また別の人は重い箱を運んでいます。問題は、人それぞれ動き方が異なることです。ある人はカップを手のひら全体で掴み、別の人は指先だけで掴みます。あるロボットアームは短く太く、別のロボットアームは長く細いです。

もし、これらの異なる動画すべてから直接ロボットに教えようとすれば、ロボットは混乱してしまいます。それは、すべてが異なる方言やアクセントを使う話者から同時に言語を学ぼうとするようなものです。ロボットは、どの「動き」が正しいのか分からなくなります。

この論文は、「潜在行動（Latent Actions）」と呼ばれる巧妙な仲介者を導入します。潜在行動を、万能な「振り付けカード」と考えてください。ロボットに、筋肉の動きそのもの（これは大きく異なります）を教えるのではなく、まずその動きの「概念」を認識させるのです。

研究者たちは、「これらの振り付けカードを使ってロボットを教える最良の方法は何か？」と問いかけました。彼らは統合されたロボット脳（ビジョン・言語・行動モデル）を用いて、4 つの異なる教え方をテストしました。彼らが発見したことを、簡単に説明します。

1. 「振り付けカード」の 2 種類

この論文は、これらのカードを 2 つの地図のようなカテゴリに分けています。

「絵の地図」（画像ベースの潜在行動）:
- 仕組み: タスクの「前」と「後」の画像を見て、「この場面は以前どうで、今はどうなっているのか？」と問います。特定のロボットアームには注目せず、視覚的な変化に焦点を当てます。
- 最も適しているもの: 長く複雑な物語。 ロボットが「お椀を 3 つ積み、その後テーブルを拭く」といった多段階のタスクを計画する必要がある場合、これらの絵の地図は素晴らしい働きをします。これらは、物語を理解するために漫画を読み進めるように、ロボットが全体像と出来事の順序を理解するのを助けます。
- 結果: ロボットは、長く多段階のタスクや、以前見たことのない散らかった部屋への対応において、大幅に上達しました。
「動きの地図」（行動ベースの潜在行動）:
- 仕組み: 実際の物理的な動き（ロボットのアームやモーター）を見て、それを「左、右、ジャンプ」といった単純な記号（トークン）のリストに変換します。複雑なダンスを単純なコードに変えるようなものです。
- 最も適しているもの: トリッキーな物理的動作。 滑りやすいボトルを掴むために、両腕を同時に動かすなど、精密で協調的な筋肉制御が必要なタスクの場合、これらの動きの地図は優れています。これらはロボットが動きの「感覚」を学ぶのを助けます。
- 結果: ロボットは、複雑で協調的な物理的タスクの達人となりました。

2. 4 つの教え方

研究者たちは、これらのカードをロボットの脳に示す 4 つの方法をテストしました。

「ささやき」（暗黙的アライメント）: 教師はロボットに「これをやれ」と明示的に言わず、振り付けカードとロボットの内的思考を一致させようとして、ヒントをささやきます。
- 判定: 少しは役立ちましたが、少し曖昧でした。
「直接的な命令」（明示的直接デコーディング）: 教師は「まず、振り付けカード（計画）を考え、その後に動き方を考えろ」と言います。ロボットは動く前に、計画を明示的に予測することを強制されます。
- 判定: 長いタスクの勝者でした。 これにより、ロボットは行動する前に考えることを強制されました。
「条件付き命令」（明示的条件デコーディング）: 教師は「計画を予測し、その最中に、動きも予測せよ」と言います。両方を同時にやろうとします。
- 判定: 良好ですが、ほとんどのタスクにおいて「直接的な命令」よりもわずかに効果は低かったです。
「トークン交換」（行動からトークンへのマッピング）: 教師は物理的な動きを直接単純な言葉（トークン）に変換し、「これらの言葉だけを言え」と言います。
- 判定: 複雑な物理的タスクの勝者でした。 これにより動きがあまりにも単純化されたため、ロボットはそれを素早く学ぶことができました。

3. 大きな発見：「離散トークン」が王者である

最も重要な発見は、ロボットが情報をどのように受け取るかに関するものです。

あなたが子供に絵を描くことを教える場面を想像してください。

連続表現: 「15.7 度の角度で、4.32 インチの長さの線を描け」と言います。（数字が多すぎて、混乱します）
離散トークン: 「『長い線』を描け」と言います。（シンプルで明確、覚えやすい）

この論文は、複雑な動きを、文の単語のような単純な「離散トークン」に変換することが、正確な連続数値をロボットに教えようとするよりもはるかに効果的であることを発見しました。ロボットは、「動き」が単一の単語である新しい言語を学ぶようなもので、数式を学ぶのではありません。この方法は、一貫して最も賢いロボットを生み出しました。

4. なぜこれが重要なのか（実験室において）

研究者たちは、シミュレーション上のロボットと、実験室の実際のロボットアームでこれをテストしました。

実験室で: 彼らは異なるタスクを混ぜ合わせました（ロボットにお椀を積み、同時にテーブルを拭くことを教えるなど）。すると、ロボットは通常混乱し、どちらか一方のやり方を忘れました（これを「負の転移」と呼びます）。
解決策: これらの潜在行動の「振り付けカード」を使用することで、混乱が防がれました。ロボットは古いタスクを忘れることなく、すべてのタスクを一緒に学ぶことができました。これにより、ロボットはより頑健になり、以前よりも散らかった現実世界の状況に対処できるようになりました。

まとめ

この論文は、これが明日、病気を治したり自動運転車を作ったりすると主張しているわけではありません。単にこう述べています：「多くの異なる動画から、ロボットに多くの異なることを教えたいなら、生身の筋肉の動きを教えるのではなく、代わりに『計画』（画像を用いて）または『単純な動きのコード』（トークンを用いて）を認識させるように教えなさい。」

具体的には、ロボットに長いシーケンスを計画させたい場合は、画像ベースの計画を使用してください。トリッキーな物理的動作を行わせたい場合は、動きベースのコードを使用してください。そして、どちらの場合も、それらのコードを単純な離散トークン（単語のようなもの）に変換することが、成功の秘訣です。

技術的概要：ピクセルからトークンへ：ビジョン・ランゲージ・アクションモデルにおける潜在行動監督の体系的検討

1. 問題提起

ビジョン・ランゲージ・アクション（VLA）モデルは、大規模データセットを用いて学習することにより、汎用的なロボティクス方策を学習するパラダイムとして登場しました。しかし、重要なボトルネックが残っています。それは、学習データが極めて不均質であり、さまざまなロボットプラットフォームや人間の動画から一貫性のない行動空間にまたがっているという点です。この不均質性は、ドメイン間での行動意味の不一致により、性能低下を招くことがよくあります。

これを解決するため、研究者らは潜在行動を中間表現として提案し、視覚的遷移または生データとしての行動から運動を抽象化し、統合された監督信号を提供しています。その可能性にもかかわらず、潜在行動を用いたVLAの監督アプローチは断片的なままです。既存の方法は、離散トークン監督から補助学習目的まで多岐にわたり、多くの場合、潜在行動の定式化を特定のVLAアーキテクチャ設計と絡み合わせています。その結果、潜在行動監督をVLA方策学習に統合するための最適な戦略は依然として不明です。

2. 手法

本研究は、定式化と統合の効果を分離するために、統合されたVLAベースライン（LoRA微調整を施したQwen3-VL-2Bに基づく）の下で潜在行動監督の研究を構造化します。著者は、統合戦略を、ビジョン・ランゲージ（VL）空間と行動空間間のマッピング方向に基づいて、2つの補完的な視点に分類します。

視点1：軌道の正則化（画像ベースの潜在行動）

この視点は、画像ベースの潜在行動を高レベルの視覚的計画として用い、VLMの意思決定を導くものです。著者は3つの戦略を提案します。

戦略1：暗黙的表現整合（LA-Align）：補助目的関数により、内部VLM表現（特に行動プレースホルダーの隠れ状態）を、視覚的遷移から導出された真の連続潜在行動埋め込みとコサイン類似度を用いて整合させます。
戦略2：明示的直接デコーディング（LA-Direct）：VLMは、専用のプレースホルダー位置において、画像ベースの潜在行動を離散トークンの系列として予測するように直接監督されます。連続的な行動チャンクは、これらの潜在トークンから後にデコードされます。
戦略3：明示的条件付きデコーディング（LA-Cond）：VLMは、潜在計画と行動表現を同時に予測します。行動セグメントは、因果的アテンションマスキングを通じて予測された潜在計画に条件付けられ、「計画してから実行する」という生成フローを強制します。

視点2：目標空間の統合（行動ベースの潜在行動）

この視点は、監督対象そのものを再定式化することにより、モダリティのギャップを橋渡しします。

戦略4：行動からトークンへのマッピング（LA-Tok）：連続的な行動チャンクは、カスタムの行動ベース潜在行動モデル（周波数領域および時間的畳み込み特徴を備えたVQ-VAE）を用いて、共有トークン空間に離散化されます。その後、VLMは、これらの離散行動トークンを主要な学習目標として予測するように直接監督されます。

統合目的関数：すべての戦略は、同じバックボーン、プレースホルダー設計、および行動ヘッドを共有します。学習目的関数は、標準的な連続行動再構成損失（ $L_{action}$ ）と、重み $\lambda$ でバランスの取れた潜在監督損失（ $L_{latent}$ ）を組み合わせます。

3. 主な貢献

本論文は、3つの主要な貢献を行います。

体系的検討：特定のモデルの評価を超え、監督メカニズムそのものを理解するために、統合されたベースラインの下で潜在行動の定式化とアーキテクチャ統合の効果を分離します。
分類と提案：2つの補完的な視点（軌道正則化対目標統合）を定義し、4つの異なる統合戦略を提案します。
実証的分析：「定式化－タスク対応」を明らかにし、最も効果的な監督信号を特定する広範な実証的分析を提供します。

4. 実験結果

著者は、LIBERO（長期的推論）およびRoboTwin 2.0（運動学的に複雑な二腕）ベンチマーク、ならびにJAKAロボットアームを用いた実世界実験において、4つの戦略を評価しました。

主要な知見：

定式化－タスク対応：
- 画像ベースの潜在行動（戦略1～3）は、長期的推論およびシーンレベルの汎化に著しく寄与します。LIBERO-Longにおいて、これらの戦略はベースラインに対して成功率を8.4%～10.8%向上させました。実世界の積み上げタスクでは、多段階操作において優れた性能を示しました。
- 行動ベースの潜在行動（戦略4）は、複雑な運動協調において優れています。RoboTwin 2.0において、LA-Tokは最良の性能を達成し、ベースラインに対して平均成功率を17.5%向上させました。これは、連続行動を離散化することで提供される構造化された監督信号によるものと考えられます。
最適な統合戦略：
- 明示的監督（離散トークンの予測）は、暗黙的整合に一貫して優れていました。
- VLMに離散潜在行動トークンの予測を直接監督すること（LA-DirectおよびLA-Tok）が、全体的に最も効果的な性能をもたらしました。LIBEROではLA-Directが、RoboTwinではLA-Tokが優位でした。
- 離散対連続：離散トークン監督は、潜在埋め込みの連続回帰に一貫して優れており、トークン化がより強力なアーキテクチャ制約を提供することを示唆しています。
ロバスト性と汎化：
- 潜在行動監督は、**分布外（OOD）**の実世界ピック＆プレイスタスクにおけるロバスト性を一貫して向上させました。ここではベースラインが著しく劣化していました（例：LA-DirectのOOD平均スコアは17から75へ向上）。
- マルチタスク共同学習において、潜在行動監督（特にLA-Cond）はネガティブ転移を軽減し、単一モデルが多様なタスクを学習することを可能にし、ベースラインで観察された性能の不安定性を回避しました。

5. 意義と主張

本論文は、潜在行動がVLA学習のための効果的な中間表現として機能し、汎用的なロボティクス方策の学習に対する実践的な指針を提供すると主張しています。核心的な意義は、潜在行動の定式化の選択はタスク依存であるべきであるという発見にあります。

長期的計画とシーン理解を必要とするタスクには、画像ベースの潜在行動を使用します。
複雑で高次元の運動制御を必要とするタスクには、行動ベースの潜在行動を使用します。
VLMに離散潜在トークンで直接監督を与えることは、一般的に最も効果的な統合戦略であり、サンプル効率とロバスト性を向上させる、シンプルで一貫した監督目標を提供します。

著者は、研究が代表的な設計を網羅している一方で、潜在行動監督戦略の選択のための基礎的枠組みを提供し、混合データ環境における将来のVLA学習への有望な方向性を示唆していると結論付けています。また、研究対象とした統合戦略の範囲や、現在単一腕の実世界評価に限定されていることなどの限界を認め、多様なロボット実装を将来の課題として挙げています。