🤖 machine learning

Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons

本論文は、フレーム単位の進行度監視と軌道比較に基づく選好学習を組み合わせ、大規模なRBM-1Mデータセットを用いて多様な専門家および最適でない軌道から汎用性の高い報酬関数を効果的に学習するスケーラブルな報酬モデリングフレームワークであるRobometerを導入する。

原著者： Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Ste

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Stephen Tu, Erdem Biyik, Jesse Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに夕食の作り方を教えることを想像してみてください。過去には、ロボットを教えるために、あなたは厳格な審査員としてその動きのすべての瞬間を監視し、玉ねぎを切る性能に対して「10 点満点中 7.5 点」といった正確なスコアを割り当てる必要がありました。ロボットが包丁を落とした場合、スコアがいつ、どれほど低下したかを正確に突き止める必要がありました。これは、特にロボットが失敗した際に実行するのが極めて困難であり、現実世界でロボットが行う何千もの「失敗」試行は、採点するにはあまりに無秩序であるため、活用できませんでした。

ROBOMETERは、より賢く、人間らしい採点アプローチを用いることで、ロボットへの教え方を変える新しいシステムです。

中核となるアイデア：採点ではなく比較

すべての瞬間に完璧なスコアを与えようとする代わりに、ROBOMETER は同じタスクに対する 2 つの異なる試行を比較することで学習します。

これは、タレントショーの審査員のようなものです。出場者に「10 点満点中 8.2 点」といったスコアを与えるのではなく、審査員は 2 つのパフォーマンスを見て、「パフォーマンス A は明らかにパフォーマンス B より優れていた」と言うだけです。

従来の方法: ロボットがカップをテーブルに置くことに失敗するのを見て、その失敗がどれほど「ひどい」ものかを正確に計算しようとします。
ROBOMETER の方法: あなたはロボットに、人間が完璧に行う動画と、ロボットがカップを落とす動画を見せます。システムは「人間の動画の方が優れている」と学習します。なぜそうなのか、あるいは具体的な数値を与える必要はありません。単に「良い」対「悪い」の順序を学習するだけです。

「巨大なミス図書館」(RBM-1M)

このシステムを教えるために、研究者たちはRBM-1Mと呼ばれる巨大な図書館を構築しました。

従来の問題: ほとんどのロボット訓練用図書館には「完璧な」動画しか含まれていません。ロボットがカップを落とすと、採点が難しいため、その動画はゴミ箱に捨てられてしまいます。
新しい解決策: この図書館には、21 種類の異なるロボット（単一の腕から人間のような手まで）からの100 万本の動画が含まれています。重要なのは、そこにはミス、失敗、不器用な試行が満載であることです。ROBOMETER は比較（例えば、「この失敗した試行は、その成功した試行より劣る」）によって学習するため、失敗動画のゴミ山から実際に学習することができます。それは失敗を、「してはいけないこと」に関する貴重な教訓として扱います。

仕組み（2 段階のダンス）

ROBOMETER は、同時に 2 つの特定のトリックを使用して学習します。

「進行度」チェック: 単一の動画を見て、「このタスクはどの程度進んでいるか？」（0% から 100%）を推測しようとします。これにより、ロボットの時間と進行度に関する理解が固定されます。
「選好」チェック: 2 つの動画を並べて見て、「どちらがタスクをよりよくこなしたか？」を決定します。これにより、ロボットはたとえ完全な失敗であっても、行動の質を理解することを学びます。

これらを組み合わせることで、ロボットは成功に対する「感覚」を学習し、見たこともないロボットや、行ったこともない部屋であっても機能するようになります。

実際の効果（実証された結果）

この論文は、このシステムが以下の 4 つの具体的な現実世界のシナリオにおいて、従来の手法よりも優れていることを示しています。

自動オンライン学習: ロボットがタスク（例えば、お椀をテーブルに置くこと）をリアルタイムで学習している際、ROBOMETER はコーチとして即座に「間違っています」と伝え、修正を導く役割を果たします。それは、ロボットが混雑した台所での成功率を**20% から 85%**に向上させるのを助けました。一方、従来の手法は 55% で頭打ちになりました。
無秩序なデータからの学習（オフライン強化学習）: 完璧な動画と無秩序な失敗動画が混在している場合、ROBOMETER はそれらを整理して新しいロボットに教えることができます。これは、既存の最良のツールと比較して、成功率を2.4 倍向上させました。
良い部分の発見（データフィルタリング）: 巨大な動画クリップの山があり、「鍋をかき混ぜる」方法を教えるために最良の 10 本を見つける必要があると想像してください。ROBOMETER は、他の検索ツールよりも失敗を無視し、関連する成功クリップを見つけるのがはるかに優れています。これにより、タスクを学習するロボットの能力が4.5 倍向上しました。
失敗の検出: ロボットが立ち往生している場合、振動して（前後に揺れて移動せずに）いる場合、または物体を落としている場合、ROBOMETER は失敗の姿を事前に教えられることなく、即座にこの失敗を検出できます。それは**81%**のケースで失敗を正しく識別し、他のシステムを上回りました。

結論

ROBOMETER は、ロボットが自分の作業のすべての瞬間を人間に採点させる必要をなくす「汎用報酬モデル」です。成功と失敗の両方の巨大な図書館を用いて「良い」対「悪い」を比較することを学習することで、ロボットはより速く学習し、ミスをよりよく処理し、ゼロから再学習させることなく、新しいタスクや新しいロボット本体に適応できるようになります。

技術的概要：ROBOMETER

問題定義

現在の汎用ロボティクス報酬モデルは、顕著なスケーラビリティと汎化性の課題に直面しています。既存のアプローチは、専門家のデモンストレーションから導出された絶対的進行ラベル（例：0 から 1 まで線形に進行度を補間する）にのみ依存しています。成功する軌道に対しては効果的ですが、このパラダイムは主に以下の 2 点の理由により、大規模で多様なデータセットへの拡張が困難です：

失敗した軌道における曖昧性： 実世界のデータ収集において豊富に存在する、最適でない試行や失敗した試行には、明確に定義された絶対的進行ラベルが存在しません。これらの場合の進行度は頻繁に変動したり後退したりするため、ポイントごとの教師信号は高コストであり、かつ定義が不明確です。
限られた汎化性： 軌道局所的な進行度教師信号のみで訓練されたモデルは、異なるロボット実装、シーン、および変化する軌道の質にわたって汎化することに苦慮します。絶対スコアが曖昧な場合、成功と最適でない行動を区別できないことがよくあります。

本論文は、人間の認知が較正された進行度を内面化するために、孤立した絶対尺度ではなく比較的判断に依存していると仮定しています。したがって、ロボティクス報酬モデルは、多様な軌道にわたる相対的な順序付けを活用し、堅牢で汎化可能な報酬関数を学習するための教師信号を必要とします。

手法

1. ROBOMETER フレームワーク

ROBOMETER は、軌道内進行度教師と軌道間選好教師を組み合わせるスケーラブルな報酬モデリングフレームワークです。これは、二重目的の訓練レシピを利用します：

フレームレベル進行度損失： 専門家のデータに基づき、密なフレームごとの進行度（[0, 1] 間で 10 バインに離散化）と二値成功ラベルを予測することで、報酬の大きさを固定します。これにより、モデルはタスク完了の時間的構造を学習します。
軌道比較選好損失： 2 つの軌道のどちらが言語指示をよりよく満たすかを予測することで、グローバルな順序付け制約を課します。これにより、モデルは失敗した軌道に対する絶対スコアを必要とせず、相対比較から学習できます。

2. アーキテクチャ

ROBOMETER は、事前学習されたビジョン・ランゲージモデル（VLM）バックボーン、具体的にはQwen3-VL-4B-Instructを基盤として構築されています。

トークン化： モデルは、テキストと視覚トークンを交互に処理します。事前学習された表現を乱すことなく密な報酬推定を可能にするため、最初の軌道の各フレームの後に学習可能な進行度トークン（<|prog token|>）を挿入し、プロンプトの末尾に単一の選好トークン（<|pref token|>）を挿入します。
因果的マスキング： アーキテクチャは因果的マスキングを使用し、進行度トークンが最初の軌道の現在および過去のフレームのみを参照するように（オンライン推論を可能にする）、一方、選好トークンが両方の軌道を参照して相対的判断を下すようにします。
ヘッド： 軽量な MLP ヘッドが、進行度トークンの隠れ状態（進行度と成功の予測用）および選好トークンの隠れ状態（二値選好分類用）に接続されます。

3. RBM-1M データセット

この二重目的の訓練を大規模に支援するために、著者らはRBM-1Mを収集しました。これは、21 種類のロボット実装（単一アーム、両手、移動マニピュレータを含む）および多様なシーンにまたがる100 万を超える軌道のデータセットです。

構成： このデータセットは、専門家のデモンストレーション（例：Open-X、AGIBotWorld）、人間の動画（Epic-Kitchens）、シミュレーションデータ（LIBERO）、そして決定的に、自動化されたロールアウトと失敗検出データセットからのラベルなしの失敗および最適でない軌道を統合しています。
拡張戦略： 追加の人間による注釈なしに選好ペアを構築するために、著者らは 3 つの戦略を採用しています：
1. 進行度に基づく比較： 専門家のデモンストレーションと、ラベルなしの失敗または最適でない軌道との対比。
2. 指示のネガティブ： 異なる言語指示と軌道をペアリングし、報酬がコマンドに基づいていることを保証する。
3. ビデオ巻き戻し： 成功した軌道のセグメントを逆再生することで「進行度の取り消し」をモデル化する合成失敗を生成する。

主要な貢献

二重目的訓練レシピ： 本論文は、絶対的進行度ラベル（成功データ用）とペアワイズ選好ラベル（失敗を含む全データ用）の両方を使用して報酬モデルを訓練する手法を提案します。これにより、以前は使用不可能だった最適でないデータの有効利用が可能になります。
RBM-1M データセット： 広範な失敗データを含む大規模で多実装のデータセットの公開。これは、一貫したグローバルな選好関係を訓練するために特別に設計されています。
スケーラブルな汎化： このフレームワークは、選好教師が正則化剤として機能し、構造化された内部報酬表現を誘発することを示しています。これにより、限られた専門家データで訓練された場合でも、成功と最適でない軌道を区別するモデルの能力が向上します。

実験結果

報酬評価

ROBOMETER は、3 機関および 6 実装（そのうち 3 つは訓練中に未見）からの 976 軌道で構成されるRBM-EVAL-OODで評価されました。

報酬整合性： ROBOMETER は OOD データにおいて**値順序相関（VOC）**0.94 を達成し、最先端のベースライン（例：RoboReward-8B が 0.88、VLAC-8B が 0.38）を上回りました。
軌道ランキング： 成功と失敗の軌道を区別する際、ROBOMETER は OOD データにおいてKendall- $\tau_a$ 0.64を達成し、RoboReward-8B（0.47）や ReWiND（0.01）を大幅に上回りました。
失敗検出： ゼロショット失敗検出タスクにおいて、ROBOMETER は真陽性率と真陰性率を効果的にバランスさせた**平均 F1 スコア（0.81）**で最高を記録しました。一方、VLAC などのベースラインは高い偽陽性率に、トークン不確実性ベースラインは高い偽陰性率に苦しんでいました。

下流のポリシー学習

本論文は、ROBOMETER の密でよく較正された報酬が、4 つの設定における下流のロボット学習を改善することを示しています：

自動オンライン RL： ROBOMETER を使用した DSRL は、単一ステージタスクで成功率を20% から 85%に、マルチステージタスクで20% から 70%に向上させ、RoboReward を2.5 $\times$ 上回りました。
オフライン RL： 混合専門性設定（専門家＋ノイズのあるデータ）において、ROBOMETER は IQL ポリシーが最良のベースラインに対して成功率を2.4 $\times$ 改善することを可能にしました。
データフィルタリングと検索： 模倣学習のためのタスク関連サブ軌道の検索に使用された場合、ROBOMETER でフィルタリングされたデータは、STRAP や SigLIP などのベースラインと比較して4.5 $\times$ 高い成功率をもたらしました。
モデルベース RL： DreamZero に ROBOMETER を統合することで、混雑した環境における成功率が 20% から 70% に向上しました。

アブレーション研究

選好教師： 進行度のみでの訓練に選好損失を追加すると、ランキング指標（Kendall- $\tau$ ）と成功・失敗の分離が常に改善されました。
失敗データ： 選好訓練のためにラベルなしの失敗軌道を取り入れることが、報酬識別において最大の改善をもたらしました。
バックボーン： 事前学習された VLM バックボーンを、より小さく非事前学習のアーキテクチャ（ReWiND 変種）に置き換えると、性能が著しく低下し、大規模なマルチモーダル事前学習の必要性が確認されました。

意義と主張

本論文は、ROBOMETER が報酬学習のスケーリングメカニズムとして、絶対的進行度教師から比較選好教師への転換を表していると主張しています。相対比較を活用することで、このフレームワークは実世界のロボティクスに普遍的に存在し、以前は廃棄されていた膨大な量の最適でないデータと失敗データを効果的に利用できます。

著者らは、このアプローチが以下を可能にすると強調しています：

スケーラビリティ： 各フレームに対する密な絶対的注釈を必要とすることなく、数百万の軌道を含むデータセットからの学習。
汎化性： 未見のロボット実装、シーン、カメラビューにわたる堅牢な性能。
実用性： オンライン RL、オフライン RL、模倣学習データキュレーション、自動化された失敗検出における即座の適用可能性。

この研究は、現在のモデルが失敗の曖昧さに苦慮している一方で、専門家による進行度を基盤としつつグローバルな選好によって導かれる二重目的アプローチにより、報酬モデルがタスク進行度の較正された尺度を内面化できるようになり、複雑な実世界環境におけるロボット学習を加速できると結論付けています。