🤖 machine learning

Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner

本論文は、フローマッチングを用いて多様なタスクに拡張された「決定事前学習トランスフォーマー（DPT）」を提案し、これにより数百のタスクにわたる訓練を通じて、保持されたテストセットへの汎化性能を向上させ、オンラインおよびオフライン推論において従来のアルゴリズム蒸着を凌駕するスケーラブルなコンテキスト内強化学習を実現したことを示しています。

原著者： Andrei Polubarov, Lyubaykin Nikita, Alexander Derevyagin, Artyom Grishin, Igor Saprygin, Aleksandr Serkov, Mark Averchenko, Daniil Tikhonov, Maksim Zhdanov, Alexander Nikulin, Ilya Zisman, Albina Klep

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Andrei Polubarov, Lyubaykin Nikita, Alexander Derevyagin, Artyom Grishin, Igor Saprygin, Aleksandr Serkov, Mark Averchenko, Daniil Tikhonov, Maksim Zhdanov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Alexey Zemtsov, Vladislav Kurenkov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

VINTIX II: 経験から学ぶ「万能な AI アシスタント」の物語

この論文は、**「VINTIX II（ヴィンティックス・ツー）」という新しい AI 技術について紹介しています。これを一言で言うと、「一度も見たことのない新しい仕事でも、少しのヒントを見せるだけで、すぐにプロ並みにこなしてしまう万能な AI アシスタント」**を作ろうという試みです。

従来の AI は「料理をする AI」なら料理しかできず、「運転する AI」なら運転しかできませんでした。しかし、この新しい AI は、料理、運転、ロボット操作、エネルギー管理など、全く異なる 10 種類の分野で、新しい任務を即座に習得できるのです。

以下に、難しい専門用語を使わず、日常の例えを使って解説します。

1. 従来の AI との違い：「暗記」vs「理解」

昔の AI（暗記型）：
学生が試験勉強をするように、特定の課題（例えば「ドアを開ける」）だけを何千回も練習して、そのパターンを丸暗記していました。試験問題が少し変わっただけ（「ドアの鍵が少し錆びている」など）で、全く対応できなくなりました。
VINTIX II（理解型）：
この AI は「文脈学習（コンテキスト・ラーニング）」という能力を持っています。これは、**「経験豊富な職人の横で、少しだけお手本を見せられれば、その場でコツを掴んで真似できる」**ような状態です。
- 例え話： 料理のレシピ本を何冊も読んだのではなく、料理人の「手元」や「声かけ（文脈）」を見るだけで、「あ、この食材は火を通しすぎないんだな」と理解し、新しい料理でも失敗せずに作れるようになります。

2. 核心となる技術：「流れるように学ぶ（Flow Matching）」

この AI が特にすごいのは、**「連続した動き」**を自然に扱える点です。

問題点：
従来の AI は、動きを「点」で捉えることが得意でした（例：「左に 1 歩」「右に 1 歩」）。しかし、ロボットアームを滑らかに動かしたり、車を曲げたりするときは、動きは「滑らかな線（流れ）」です。点でつなぐと、動きがカクカクして不自然になります。
VINTIX II の解決策：
彼らは**「Flow Matching（フロー・マッチング）」**という技術を使いました。
- 例え話：
  - 古い方法： 川を渡るために、石を一つ一つ置いて渡る（点と点）。
  - VINTIX II の方法： 川の流れそのものを理解して、滑らかに泳ぎながら渡る（流れ）。
    これにより、複雑で滑らかな動き（ロボットの手先操作や自動運転など）を、非常に自然に、かつ多様なパターンで生み出せるようになりました。

3. 膨大な「経験のデータベース」

この AI を強くするために、研究者たちは**「7 億回以上」**の試行錯誤（データ）を集めました。

どんなデータか？
- ロボットが箱を積み上げる作業
- 工場の機械を制御する作業
- 自動運転車の運転
- ビルの冷暖房（HVAC）を最適化する作業
- 偏微分方程式（高度な数学）の最適化
  など、10 種類の異なる世界から集められました。
効果：
これらの多様な「経験」を一度に学習させることで、AI は「特定の作業」ではなく**「問題を解決する力そのもの」**を身につけました。
- 例え話： 料理、運転、音楽、スポーツなど、全く異なる分野の名人たちの「失敗と成功の記録」をすべて読み込んだ結果、新しい分野に挑んでも「どんな手を使えばいいか」を直感的に理解できるようになったのです。

4. 実際の成果：「見知らぬ土地でも迷わない」

実験の結果、この AI は以下のような驚異的な能力を示しました。

ゼロからスタートでも強い：
何もヒントを与えない（ゼロショット）状態で新しい任務を与えても、すぐに適応し、プロのレベルに近いパフォーマンスを発揮しました。
少しのヒントで完璧に：
数回の実例（プロの動き）を見せただけで、その任務の「コツ」を完全に理解し、プロ以上の成績を出すこともありました。
他社製品との比較：
以前の類似技術（Vintix や REGENT など）と比較しても、特に「見たことのない新しい任務」に対する適応力が圧倒的に高かったです。

5. なぜこれが重要なのか？

これまでは、AI を新しい仕事に使うには、その仕事ごとに「ゼロから学習（トレーニング）」させる必要がありました。これは時間もお金もかかりました。

しかし、VINTIX II は**「一度学習すれば、新しい仕事もすぐにこなせる」**という、人間に近い汎用性（Generalist）を実現しました。

未来への展望：
将来的には、この AI が「家庭のロボット」や「工場の自動化システム」に入り、新しい道具の使い方や新しい環境の変化を、人間が教えることなく、その場で学習して対応できるようになるかもしれません。

まとめ

VINTIX II は、**「多様な経験（データ）」と「滑らかな動きの理解（フロー・マッチング）」を組み合わせることで、「どんな新しい仕事でも、少しのヒントで即座にマスターする万能な AI」**を実現した画期的な研究です。

まるで、**「あらゆる分野の名人たちの経験を体内に宿し、新しい挑戦にも臆せず、滑らかに、賢く対応できる天才的なインターン」**のような存在です。

VINTIX II: 決定事前学習トランスフォーマー（DPT）によるスケーラブルな文脈内強化学習の技術的サマリー

本論文は、ICLR 2026 にて発表された「VINTIX II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner」に関する詳細な技術サマリーです。この研究は、推論時に新しいタスクを直接習得できる汎用エージェント（Generalist Agent）の構築を目指し、文脈内強化学習（ICRL）の手法を大規模な多ドメイン環境へ拡張することに焦点を当てています。

1. 問題設定と背景

従来の強化学習（RL）は、特定のタスクに対して個別に最適化されたポリシーを学習するアプローチが主流でした。一方、大規模言語モデル（LLM）の成功に触発され、**文脈内学習（In-Context Learning, ICL）**を RL に適用する試みが進んでいます。

既存手法の限界:
- Algorithm Distillation (AD): 学習軌跡からポリシー改善を蒸馏する手法ですが、多様なドメインや連続制御タスクへの汎化能力に限界がありました。
- Decision Pre-Trained Transformer (DPT): 事前学習されたトランスフォーマーを用いて、ベイズ的な事後分布サンプリングとして行動を生成する手法です。しかし、従来の DPT は主に離散行動空間や単純なドメインに限定されており、複雑な連続行動空間（特に多峰性分布を持つ場合）へのスケーラビリティが確立されていませんでした。
課題: 多様なドメイン（ロボティクス、自律運転、HVAC 制御など）にまたがる大規模データを用いて、推論時に少量のデモンストレーション（またはゼロショット）で未知のタスクに適応できる、スケーラブルな「大規模行動モデル（Large Action Model）」の構築。

2. 提案手法 (Methodology)

VINTIX II は、DPT アーキテクチャを拡張し、連続かつ多峰性の行動分布を扱うための**フローマッチング（Flow Matching）**を統合したモデルです。

2.1 アーキテクチャ

モデルは以下の 3 つの主要ブロックで構成されます。

エンコーダ: 観測、行動、報酬を固定サイズの埋め込みベクトルに変換します。異なる行動・観測空間を持つタスクグループごとに専用エンコーダ/デコーダを使用し、文脈情報への依存を強制します。
トランスフォーマーバックボーン: TinyLLaMA をベースとした 16 層、24 ヘッド、パラメータ数 9.28 億のトランスフォーマーです。位置符号化は DPT の特性上不要として除去されています。
フローベースのデコーダヘッド: トランスフォーマーの隠れ状態を条件として、**整流フロー（Rectified Flow）**のベクトル場をパラメータ化します。これにより、単純なガウス分布から複雑な多峰性の行動分布への変換が可能になります。

2.2 学習と推論

学習目標: 整流フローマッチングの目的関数（Rectified Flow Matching Objective）を最小化します。
- データセットから $(o_q, C, a^*)$ のタプルをサンプリングし、 $a^*$ （デモンストレーターの最適行動）を予測します。
- ベース分布（ガウス分布） $x_0$ とターゲット分布 $a^*$ の間の線形補間 $x_t$ を用いて、ベクトル場 $v_\eta$ を学習します。
推論:
- オンライン: 空の文脈から開始し、相互作用履歴を逐次的に追加して自己修正を行います。
- オフライン: 特定のタスクに関するデモンストレーション（プロンプト）を文脈として提供し、Heun 法（2 次ルンゲ・クッタ法）を用いて ODE を数値積分することで行動をサンプリングします。

2.3 データセットの構築

規模: 10 の異なるドメイン、209 のタスクにわたる**7 億 900 万回（709M）**の遷移データ。
収集手法: 連続ノイズ蒸留（Continuous Noise Distillation, CND）手法を用いて、最適ではない領域もカバーする広範な状態 - 行動対を収集し、デモンストレーターの最適行動でラベル付け（Relabeling）を行いました。
評価用データ: 訓練データとは完全に分離された 46 のタスク（10 ドメイン）を保持し、未知タスクへの汎化性能を厳密に評価しました。

3. 主要な貢献 (Key Contributions)

クロスドメインへの DPT のスケーリング: ロボット歩行・操作、HVAC 制御、PDE 最適化、自律運転など、多様なドメインを含む大規模データセット上で DPT を訓練し、成功させました。
フローマッチングの導入: 連続行動空間における多峰性分布を自然に表現・サンプリング可能にし、従来のガウスヘッドでは困難だった複雑な行動分布の学習を可能にしました。
大規模データセットの公開: 209 のタスク、10 ドメインにわたる 7 億 900 万回の遷移を含む大規模クロスドメインデータセットをオープンソース化しました（前作 Vintix の 3.2 倍の規模）。
未知タスクでの高性能化: 事前学習済みモデルが、少量のデモンストレーション（オフライン）またはゼロショット（オンライン）で、未知のタスクにおいて専門家レベルのパフォーマンスを達成することを示しました。

4. 実験結果 (Results)

評価は、訓練タスクと未知のテストタスク（46 タスク）に対して、オンラインおよびオフラインの 2 設定で行われました。

未知タスクへの汎化:
- オフライン設定: 2500 遷移のプロンプトを与えた場合、MetaDrive、CityLearn、SinerGym、ControlGym などのドメインで、デモンストレーター性能の 75% 以上（一部で 100% 超）を達成しました。
- 既存モデルとの比較: 前作の Vintix や REGENT（検索拡張型エージェント）と比較して、Meta-World ML45 スプリットで +63%、Bi-DexHands で +17% などの大幅な改善を示しました。REGENT に対しては、検索モジュールを不要とする全パラメータ的なアプローチでありながら、より高い性能を達成しました。
オンライン適応:
- 文脈なし（ゼロショット）から開始し、相互作用を通じて自己修正を行う能力を確認しました。多くのドメインで、数回のエピソード内でデモンストレーターに近い性能に達しました。
アブレーション研究:
- フローマッチング vs ガウスヘッド: 複雑なドメイン（SinerGym など）では、フローマッチングヘッドがガウスヘッドよりも大幅に優れた汎化性能を示しました。
- マルチドメイン学習: 単一ドメインモデルと比較し、マルチドメイン学習が汎化性能を向上させることを確認しました。
- 文脈長の効果: プロンプト（デモンストレーション）の量が増えるにつれて性能が向上し、ベイズ的な事後サンプリングとしての振る舞い（文脈が長くなるほど行動分布が鋭くなる）が確認されました。

5. 意義と結論

VINTIX II は、文脈内強化学習（ICRL）が、専門家の知識を蒸馏する従来の手法に対する有力な代替手段となり得ることを実証しました。

技術的意義: 連続制御タスクにおける多峰性行動分布を扱うためのフローマッチングと、トランスフォーマーベースの事前学習を組み合わせることで、大規模なクロスドメイン設定でのスケーラビリティを確立しました。
汎用エージェントへの道: 特定のタスクに特化せず、多様な環境とタスクを横断して学習・適応できる「汎用エージェント」の実現に向けた重要なステップです。
今後の課題: 現在のモデルはトークン数とパラメータ数の比率（Token-to-Parameter Ratio）が最適化の基準（Chinchilla スケーリング則など）に比べて低いため、さらなるデータ規模の拡大とスケーリング則の解明が求められています。また、ゼロショット評価における探索能力の限界も今後の課題です。

本論文は、大規模なデータセットと適切なアーキテクチャ（DPT + Flow Matching）の組み合わせが、強化学習における「文脈内適応」を現実的なものにする可能性を強く示唆しています。