RL Bootstrapping of OpenVLA-OFT for a Novel Robot Embodiment

あなたは、超高性能なロボットに腕の動かし方を教えようとしているところだと想像してください。通常、最も優れた方法は、まず人間がそのタスクを行っているビデオをロボットに見せることです。これは、ダンスの先生が学生にステップを見せるようなものです。これは「デモンストレーション（実演）」と呼ばれ、ロボットが人間のような姿をしていたり、標準的な腕を持っていたりする場合は非常に効果的です。しかし、もし、そのロボットがこれまでの学習ビデオとは全く似ていない、見たこともないような奇妙な新しいロボットだったらどうなるでしょうか？例えば、糸で吊るされた巨大な浮遊プラットフォームだったり、人間の手ではなく、小さくて単純なグリッパー（掴み具）しか持っていなかったりしたら？もし、従来の方法で教えようとすると、行き詰まってしまいます。なぜなら、この特定のロボットが何かを行っているビデオが一つも存在しないからです。これは研究者が直面しているパズルです。どうすれば、全く新しいタイプの機械に対して、言語を理解させ、正しく動かすことができるのでしょうか？

この論文は、まさにその問題に取り組んでいます。研究者たちは、強力で事前学習済みのロボットの脳（すでに言葉を話し、物を見ることができるOpenVLA-OFTというモデル）を取り上げ、それを非常に特殊なケーブル駆動型ロボットを制御するために教えようとしました。ひねりは、ロボットが動いているビデオを一度も見せていないことです。代わりに、彼らはロボットをビデオゲームのシミュレーションの中に置き、「強化学習」と呼ばれる別の種類の教え方を用いました。これは、攻略本やマップがない状態でビデオゲームをプレイし、ゴールに近づくことでポイントを獲得しながら、自分で動き方を解明していくようなものです。研究者たちは、この「試行錯誤」による方法と特別なスコアリングシステムを用いることで、人間が最初に見せることなく、ロボットが「左に動け」や「リンゴのところへ行け」といったコマンドを聞いて動けるようになることを発見しました。

糸で駆動するロボットの物語

この物語の登場人物を紹介しましょう。それは、ケーブル駆動型パラレルロボット（CDPR）です。カメラや工具が空中の中空に吊るされており、いくつかの糸（ケーブル）によってさまざまな方向に引っ張られている様子を想像してください。それは関節のある標準的なロボットアームではなく、むしろ張力によって制御される浮遊プラットフォームのようなものです。研究者たちは、この浮遊プラットフォームに音声コマンドを聞いて周囲を移動するように教えたいと考えましたが、大きな障害がありました。ロボットの「体」が全く新しく、それが動いているビデオがゼロだったのです。

通常、ロボットに教えるには、「デモンストレーション・データセット」が必要です。人間（または完璧なロボット）がそのタスクを100回行う様子を記録し、新しいロボットにその動きをコピーさせます。しかし、この奇妙な糸のロボットについては、そのようなビデオが存在しませんでした。そこで研究者たちは、こう問いかけました。「ビデオを完全にスキップして、ビデオゲームを使ってロボットを教えることはできるだろうか？」

2段階のトレーニング・ゲーム

これに答えるため、彼らはコンピュータ・シミュレーション（物理法則を模倣した仮想世界）の中にトレーニングキャンプを設置しました。彼らは、ビデオゲームでレベルアップしていくような、2段階のプロセスを用いました。

レベル1：方向指示ドリル (PPO)
まず、彼らは「左へ動け」「右へ動け」「前へ動け」「後ろへ動け」といった単純なコマンドを使って、ロボットに動きの基本を教えました。彼らはPPO（Proximal Policy Optimization）と呼ばれるアルゴリズムを使用しました。ゲームの中で、ロボットは目標の方向に近づくたびにポイント（報酬）を得ました。これは合格・不合格を決めるゲームではなく、「進捗」を競うゲームでした。もしロボットが少しでも左に動けば、小さな報酬が得られました。これにより、ロボットは自身のユニークな糸による駆動メカニズムが実際にどのように機能しているのかを学ぶことができました。

レベル2：オブジェクト・ハント (GRPO)
ロボットが方向への動きに慣れてくると、彼らはゲームのレベルを上げました。GRPOと呼ばれる新しいアルゴリズムを導入し、「[物体]へ動け」という新しいコマンドのセットを追加しました。彼らは仮想世界の中に、リンゴ、野球のボール、ボウル、カップ、マグカップ、桃、梨、皿という8種類のアイテムを散りばめました。今やロボットは、単にどのように動くかだけでなく、「何に向かって」動くべきかを理解しなければなりません。

結果：成功とつまずきの混在

結果は有望でしたが、完璧ではありませんでした。数字が示す内容は以下の通りです。

• 方向指示の動き： 第1段階（PPO）の後、ロボットは正しい方向に動くことに約**34.25%の確率で成功しました。第2段階（GR포を追加）の後、その数字は53.50%**に跳ね上がりました。
  • 最も大きな改善が見られたのは「左へ動け」（**17.00%から52.00%**へ）と「後ろへ動け」（**15.00%から48.00%**へ）でした。
  • 「前へ動け」はすでに**62.00%**と好調で、その状態を維持しました。
• オブジェクト・ハント： 特定の物体（例：「リンゴへ動け」）を見つけるよう指示されたとき、ロボットは試行の9.75%（400回中39回）で成功しました。

**9.75%**という数字は低く聞こえるかもしれませんが、研究者たちは重要なことに気づきました。失敗した試行の多くにおいて、ロボットは実際には最初の方では正しい行動をとっていました。つまり、リンゴを正しく識別し、それに向かって動き始めていたのです。ただ、最後の方で少しふらついて、クラッシュしてしまっただけなのです。これは、ロボットがコマンドと物体を理解してはいるものの、仕事をスムーズに完遂するためにはもっと練習が必要であることを示唆しています。

なぜこれが重要なのか（そして、何ではないのか）

この論文が大きな意味を持つのは、デモンストレーション動画を一つも必要とせず、シミュレーションと報酬のみを使用して、ゼロからロボットコントローラーをブートストラップ（立ち上げ）できることを証明したからです。それは、他の犬がボールを取ってくるビデオを見せるのではなく、ボールに近づくたびに treats（おやつ）を与えることで、犬に取ってこさせる方法を教えるようなものです。

しかし、著者たちはこれを「解決済み」の問題と呼ぶことには非常に慎重です。彼らは、これはまだ単なるシミュレーションであることを明示しています。ロボットはまだ堅牢（ロバスト）ではなく、特に特定の物体を掴もうとする際に頻繁に失敗します。彼らはこれがすべてのロボットに対する最終的な解決策であると主張しているわけではありません。むしろ、これは有用な第一歩であると示唆しています。

この「RL（強化学習）のみ」の手法は、ロボットが自分の新しい体の基本を理解できるレベルまで到達させるためのものです。一度その基礎ができれば、研究者は現実世界のビデオを少し収集して微調整（ファインチューニング）を行うことができ、ゼロから始めるよりもはるかに安価で迅速にプロセスを進めることができます。

要約すると、この論文は、まったく新しい奇妙なロボットにとって、始めるためにビデオのライブラリを必ずしも必要としないことを示しています。ビデオゲーム内の巧妙なスコアリングシステムを使ってコツを教えることができ、「デモなし」の状態を「最初の一歩」の成功へと変えることができるのです。まだ完璧なロボットではありませんが、ようやく指示を聞き始めることができるようになったロボットなのです。