🤖 AI

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

RankQ は、一様な悲観主義を自己教師ありの多項ランキング損失に置き換えて構造化された行動選好を学習することにより、サンプル効率と方策性能を向上させるオフラインからオンラインへの強化学習手法であり、スパース報酬ベンチマークにおいて優れた結果を示し、視覚に基づくロボット学習において顕著なシミュレーションから現実への転移の向上を実現する。

原著者： Andrew Choi, Wei Xu

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Andrew Choi, Wei Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「RankQ: 自己教師あり行動ランキングによるオフラインからオンラインへの強化学習」を、平易な言葉と創造的な比喩を用いて解説します。

全体像：ロボットを壊さずに教える

ロボットにブロックを積み上げる方法を教えると想像してください。2 つの選択肢があります。

オンライン学習: ロボットに試行錯誤させ、失敗し、衝突させ、ゼロから学ばせます。これは遅く、危険で、高価です（幼児に車を運転させて運転方法を学ばせるようなものです）。
オフライン学習: 誰かがそれを行っている動画を見せます。ロボットは動画から学びますが、実際のブロックには触れません。これは速く安全ですが、動画が揺れていたり、動画の中の人物がミスをしていたりすると、ロボットは悪い癖を学ぶ可能性があります。

RankQ は、両者の長所を組み合わせようとする新しい手法です。まずロボットに動画から学習させ（オフライン）、その後、より良くするために実世界で練習させます（オンライン）。問題は、ロボットが練習を始めた際、自身のミスや動画の悪い部分に混乱することが多いことです。RankQ は、単に行動を暗記させるのではなく、行動をランク付けすることをロボットに教えることで、この問題を解決します。

問題点：「悲観的」なコーチ

従来の手法（CQL や Cal-QL など）は、「悪い動画」という問題に対処するために、悲観的なコーチのように振る舞おうとしました。

仕組み: 「動画で見たことのないものはおそらく危険だ。だから、新しいことを試そうとすれば、厳しく罰する」とロボットに言います。
欠点: 動画が完璧な動きを示している場合はうまく機能します。しかし、動画が失敗に満ちている場合はどうでしょうか？悲観的なコーチは、「動画がすべて悪いと言っているのだから、新しいことは試すな」と言います。これにより、ロボットは決して向上できなくなります。動画で見た最適ではない動きをそのまま繰り返し、たとえより良くできる可能性があっても、そのまますり減った状態に留まってしまいます。

解決策：「ランキング」コーチ（RankQ）

RankQ はコーチングのスタイルを変えます。新しいものをすべて罰する悲観主義者の代わりに、RankQ は賢明なランキングコーチとして振る舞います。

「新しいものは悪い」と言うのではなく、「比較しよう。この新しい動きは、動画の中のものよりも良いのか、それとも悪いのか？」と言います。

RankQ がロボットに行動のランク付けを教える方法は以下の通りです。

成功 vs 失敗: 動画を見て、「良い動き（成功）」と「悪い動き（失敗）」を区別します。
「ノイズ」テスト: 動画から「良い動き」を取り出し、わずかに調整します（少しノイズを加えるなど）。ロボットに教えます。「元の完璧な動きは、少し崩れたバージョンよりも優れている」。
「混沌」テスト: 「良い動き」を取り出し、非常に乱雑またはランダムなものにします。ロボットに教えます。「少し崩れたバージョンは、この完全な混沌よりもまだ優れている」。
「失敗」テスト: 動画に失敗が映っていても、RankQ は動画からの「悪い動き」が、完全にランダムで作り上げられた動きよりも優れているとロボットに教えます。

魔法: これらの相対的なランキングを学ぶことで、ロボットは精神的なマップ（「Q 景観」）を構築します。このマップでは、「良い動き」が丘の頂上にあり、「悪い動き」が谷にあります。

ロボットが新しい行動を試すとき、単に「はい/いいえ」の答えを得るのではなく、方向性を得ます。
数学はロボットに伝えます。「あなたはここにいる。丘の頂上（成功）に行くには、この方向へ移動する必要がある」。

これにより、ロボットは悪い動画データの「谷」から這い上がり、元の動画がミスに満ちていても、ブロックを積み上げるより良い新しい方法を見つけることができます。

検証結果（結果）

研究者はこの手法を 2 種類の課題でテストしました。

1. 「ビデオゲーム」テスト（D4RL ベンチマーク）

標準的なロボットシミュレーションタスク（アリが迷路を移動したり、手がペンを動かしたりするタスク）を使用しました。

結果: RankQ は、他の 7 つのトップ手法と同程度か、それ以上の性能を発揮しました。特に、他のロボットが立ち往生してしまう最も難しい迷路を解決する点で優れていました。

2. 「実機ロボット」テスト（視覚 - 言語 - 行動モデル）

これが本番です。言語指示を「見て」「理解」できる高度な AI モデル（VLA）を使用しました。

低データシナリオ: ロボットに練習データをわずか（200 回のみ）与えました。
- 他の手法: 停滞しました。新しいことを試すことを恐れすぎて、改善できませんでした。
- RankQ: 成功しました。次の最良の手法と比較して、ロボットの成功率を**42.7%**向上させました。キューブを積み上げたり、スプーンをボウルに入れたりする能力が大幅に向上しました。
高データシナリオ: ロボットに多くのデータ（800 回）を与え、さまざまな照明条件やカメラアングルをシミュレートしました。
- 結果: RankQ は依然として最も速く、最も成功しました。競合他社よりもタスクを**25.7%**早く完了しました。
実世界への転移: コンピュータシミュレーションで訓練されたロボットを、実のラボにある実物理ロボットに搭載しました。
- RankQ 以前: ロボットはキューブを**43.1%**の確率でしか積み上げられませんでした。
- RankQ 後: ロボットはキューブを**84.7%**の確率で積み上げました。

結論

RankQ を、ロボットに何を行うかを教えるだけでなく、自分が行っていることをどう判断するかを教える方法だと考えてください。

blindly（盲目に）スクリプトに従うことや、新しいことを試すことを恐れる代わりに、RankQ はロボットにコンパスを与えます。それはロボットに、「失敗より少し良い」ことが一歩前進であり、「完璧」が目標であることを理解させるのを助けます。これにより、ロボットは不完全なデータから素早く学習し、実世界での練習を開始すると急速に改善できるようになります。

技術的サマリー：自己教師あり行動ランキングによるオフラインからオンラインへの強化学習 RankQ

問題定義

オフラインからオンラインへの強化学習（RL）は、オンライン相互作用を開始する前に収集済みのデータセットを活用することで、サンプル効率を向上させることを目指す。このパラダイムにおける主要な課題は、データセットのカバレッジが限られている大規模な状態・行動空間において、正確なクリティック（価値関数）を学習することである。既存の手法は、分布外（OOD）の行動に対する価値の過大評価に対処するため、悲観性を課すことで、データセット内の行動に比べて OOD 行動の重みを効果的に低下させることが多い（例：Conservative Q-Learning [3]、Calibrated Q-Learning [2]）。

悲観性は学習を安定させるが、本論文はそれが「行動クローニングのアンカー」として機能すると主張する。未見の行動を一様に罰することで、これらの手法は方策をデータセットの分布へと偏らせる。オフラインデータセットに最適でない軌道や失敗の軌道が含まれている場合、この悲観的な制約は、データに存在しなかった潜在的に優れた行動の探索をエージェントが妨げることで、下流のオンライン方策の改善を阻害する可能性がある。ここで扱われる核心的な問いは、一様な悲観性に依存することなく、効果的なオンライン改善を可能にするために、データセットを超えて価値関数をどのように形成するかである。

手法：RankQ

著者らは、標準的な時間的差分（TD）学習を自己教師ありの多項ランキング損失で拡張する、オフラインからオンラインへの Q 学習目的関数RankQを提案する。OOD 行動を一様に罰するのではなく、RankQ は Q 値のランドスケープに構造化された順序付けを強制するために、行動の相対的な品質を明示的にモデル化する。

中核メカニズム

この手法は、データセット $D$ を成功（ $D_{success}$ ）と失敗（ $D_{failure}$ ）の軌道に分割する。また、ペアごとのランキング制約を生成するために、特定のクラスの最適でない行動を構築する：

ノイズのある行動（ $a_\epsilon$ ）： $a + \epsilon$ 、ここで $\epsilon \sim \mathcal{N}(0, \sigma)$ 。
非常にノイズのある行動（ $a_{2\epsilon}$ ）： $a + 2\epsilon$ 。
ランダム行動（ $a_r$ ）： 一様にサンプリングされた行動。
順列行動（ $a_p$ ）： 無関係な状態からサンプリングされた行動。

RankQ 損失は、以下の構造化された順序付けを強制する：

成功の優先： 成功遷移において、最適行動の Q 値は、すべての最適でないバリエーションよりも高くなければならない： $Q(s, a) > Q(s, a')$ （ただし $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$ ）。
最適でない行動間の相対的品質： この手法は、最適行動への近さに基づく階層を強制する： $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$ 。これにより、Q ランドスケープの勾配（ $\partial Q/\partial a$ ）が単にデータセットから遠ざかるのではなく、より高品質な領域へと向かうように保証される。
失敗の監督： 失敗軌道については、データセット内の行動がランダム行動よりも依然として好ましい（ $Q(s, a) > Q(s, a_r)$ ）ことを強制するが、失敗間の相対的品質の意味のある概念が欠如しているため、より強い順序付け制約は課さない。

最終的な目的関数は、これらのランキング損失を標準的な TD 損失と組み合わせる：
$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$

主要な貢献

ベンチマーク性能： RankQ は、D4RL ベンチマーク内の 4 つのantmazeおよび 3 つのadroitスパース報酬環境において、7 つの先行手法（CQL、Cal-QL、Hybrid RL などを含む）と競合するか、あるいはそれらを凌駕する性能を達成する。
低データ VLA 微調整： 困難な低データ領域（オフラインロールアウト 200、更新あたりオンラインロールアウト 8）において、RankQ はベースラインのビジョン・ランゲージ・アクション（VLA）モデルを有意に改善する唯一の手法である。3 つの操作タスク（carrot-on-plate、cube-stacking、spoon-into-bowl）において、次点の手法と比較して平均42.7% 高い成功率を達成する。
高データ性能とシミュレーションから実世界への転移： 広範なドメインランダム化を伴う高データ設定において、RankQ はシミュレーションの成功率を13.7%、タスク完了速度を**25.7%向上させる（次点の手法と比較して）。重要なのは、実世界への転移に成功したことで、初期 VLA パフォーマンスと比較して実世界のキューブ積み上げの成功率を43.1% から 84.7%**に引き上げていることである。
Q ランドスケープの分析： 著者らは、RankQ が Q 値ランドスケープを形成し、行動勾配がより高品質な行動へと向かうように導くことを示す広範な分析を提供する。これにより、CQL や Cal-QL で見られる無制限の悲観性や過度な勾配スパイクを回避している。

実験結果

D4RL ベンチマーク： RankQ は、antmaze-mediumやadroit-penなどの容易なタスクにおいて最強のベースラインと同等の性能を示し、antmaze-largeやadroit-relocateなどの困難で長期のタスクでは、他の手法が意味のある方策の学習に失敗する中で、すべてのベースラインを上回る。
VLA 低データ： オンラインロールアウトを合計 800 回のみ使用しても、RankQ は方策を模倣ベースラインを超えて一貫して押し上げるのに対し、他の手法（CQL、Cal-QL、SAC+OFF）は初期性能の近くでほぼ横ばいになる。
VLA 高データおよびシミュレーションから実世界への転移： RankQ で学習された方策は、より高い成功率を達成するだけでなく、タスクを実行する速度も速い（ベースラインの 10.5〜12.5 秒に対し約 8 秒）。実世界の実験では、RankQ 方策は 144 回の試行においてキューブ積み上げの成功率を 43.1% から 84.7% に改善し、実行時間のばらつきも減少させた。

意義と主張

本論文は、行動順序の相対性を明示的にモデル化することが、最先端のオフラインからオンラインへの手法で使用される一様な悲観性に対する効果的な代替手段であると主張する。単に未見の行動を抑制するのではなく、Q 関数を形成して行動勾配をより高品質な行動へと導くことで、RankQ はオフラインの事前学習とオンラインの微調整の両方において、より効果的な方策改善を可能にする。

著者らは、このアプローチがスパース報酬および低データ環境において特に価値があることを示唆している。なぜなら、悲観的な手法は過度に制限的となり、豊富な失敗データから学習信号を抽出できなくなることがあるからである。RankQ 方策のシミュレーションから実世界への成功した転移は、初期データセットが最適でない軌道や失敗の軌道で支配されていても、構造化された価値形成がスケーラブルなオフラインからオンラインへの RL や実世界のロボット学習を促進し得ることを示している。