あなたは、ロボットにブロックを積み上げたり飲み物を注いだりといった複雑なタスクを教えようとしていると想像してください。ロボットが学習するために、あなたの家の中を何百万回も走り回らせるわけにはいきません。それでは物を壊したり、ロボットが疲れたり、時間がかかりすぎたりしてしまうからです。代わりに、科学者たちは「ワールドモデル」を構築します。これは、ロボットが特定の方向に腕を動かした場合に次に何が起こるかを正確に予測できる、スーパースマートなビデオゲームエンジンのようなものです。それは、実物のロボットを用意することなく、ロボットの行動の未来を見せてくれる「水晶玉」を持っているようなものです。しかし、ここが難しいところです。これらの水晶玉が役に立つためには、完璧である必要があります。物理法則に従い（物体が浮き上がらないように）、与えられたコマンドに正確に従い（「左に動け」と言ったら右に動いてはいけません）、そして人間が理解できるほど映像がリアルである必要があります。もしモデルがこれらの一つでも間違えれば、それは重力の存在を忘れて崖に向かって運転しろと言うGPSのようなものです。

大きな問題は、ほとんどのモデルが「完璧な」例（ロボットがタスクを正確にこなしているビデオ）のみで学習されていることです。それらは特定の動きをコピーすることには長けていますが、少し違うことを試そうとしたり、ミスをしたりすると、しばしばデタラメな幻覚（ハルシネーション）を見せてしまいます。彼らは、現実世界の混沌とした予測不可能な部分を扱う方法を学んでいないのです。PAVXploreRLと題されたこの論文は、これらのワールドモデルをよりタフで、スマートで、信頼できるものにするための新しい学習方法を紹介しています。研究者たちは、単に完璧なビデオを暗記するだけでなく、安全なシミュレーション環境の中で「奇妙な」あるいは不完全な動きを積極的に試行錯誤するシステムを構築しました。物理的に現実的であること、コマンドに従うこと、そして映像が鮮明であることを通じてモデルに報酬を与えることで、彼らは、物事が計画通りに進まない場合でも、ロボットが実際に何をするかをより良く予測できるツールを作り上げました。

PAVXploreRLのアドベンチャー

この論文の著者であるHan Wang氏とそのチームは、ロボットに未来を想像させる方法における特定の弱点を修正しようと試みました。彼らはその解決策を、Physical（物理的）、Action（行動）、および Visual Exploration（視覚的探索）Reinforcement Learning（強化学習）の頭文字をとったPAVXploreRLと呼んでいます。これは、ロボットの想像力のためのトレーニングキャンプのようなものです。

かつて、これらのモデルのトレーニングは、解答集だけを見せて学生を教えるようなものでした。モデルはロボットが完璧にタスクをこなしている何千ものビデオを見て、それらを模倣しようとします。問題は何でしょうか？もしモデルに対して、例えば「もう少し速く動く」とか「物体を落とす」といった、少し異なる動作を想像するように求めた場合、モデルはしばしば失敗し、偽物のように見えたり物理法則を無視したりするビデオを生成してしまいます。研究者たちは、真に有用な「水晶玉」を作るためには、モデルが以下の3つの特定の要素、彼らがPAV目標と呼ぶものを理解する必要があると主張しています。

1. 物理的な妥当性 (Physical Plausibility - P): ビデオは物理法則に従わなければなりません。ロボットがコップを落としたら、コップは下に落ちるべきであり、上に浮いてはいけません。
2. アクションへの忠実性 (Action Adherence - A): ビデオはロボットに指示された通りに動かなければなりません。もしコマンドが「赤いブロックを掴め」であれば、ビデオはロボットが青いブロックを掴んでいる様子を見せてはいけません。
3. 視覚的な鮮明度 (Visual Fidelity - V): ビデオはぼやけたり奇妙だったりせず、シャープでリアルに見え、人間が信頼できるものでなければなりません。

論文では、従来のメソッドが失敗した理由は、それらが「イン・ディストリビューション（ID：分布内）」のデータ、つまり完璧なエキスパートのビデオのみで学習していたからだと論じています。彼らは、物事がうまくいかなかったり、ロボットが何か新しいことを試そうとしたりしたときに何が起こるのかを教えていなかったのです。これを解決するために、PAVXploreRLは「遊び心のある」トレーニング方法を導入しています。完璧なビデオをただコピーする代わりに、システムはそれらの完璧なビデオに少しずつ「ノイズ」を加え、意図的に台無しにします。これにより、ロボットのコマンドに「外れ値（Out-of-Distribution: OOD）」のアクションを加えます。これらは、「もし〜だったら」というシナリオです。もしロボットが速すぎたら？もし滑ってしまったら？

魔法が起きるのは、このシステムがこれらの混沌としたシナリオを学ぶために、実際のビデオを必要としないからです。システムは、予測された未来を見て、「おい、これは物理的に不可能だ」とか「これはコマンドと一致していない」と言える特別な「審判」（VJEPA-2と呼ばれるモデルに基づいています）を使用します。システムはこれらのスコアを、ビデオゲームが優れた動きに対してポイントを与えるのと同様に、報酬として使用します。もしモデルが、現実的でルールに従った未来を予測すれば、高いスコアを得られます。もしモデルが、浮いているコップや命令を無視するロボットを予測すれば、低いスコアを得て、やり直しとなります。

このアプローチの結果は非常に有望です。研究者たちは、彼らの新しい手法を2つの異なるロボットデータセット、Agibot（両手ロボット）とDroid（片手ロボット）でテストしました。彼らは、この特別なトレーニングを経た後のモデルが、標準的なモデルを一貫して上回ったことを発見しました。平均して、さまざまなベンチマークにおいて5.6%の向上が見られました。これは小さく聞こえるかもしれませんが、ロボットのトレーニングの世界では、大きな飛躍です。新しいモデルは、物体を接地させること（物理的な妥当性）、指示に従うこと（アクションへの忠実性）、そしてリアルに見えること（視覚的な鮮明度）において優れていました。

おそらく最も重要な発見は、「ポリシー評価（policy evaluation）」における扱いです。これは、簡単に言えば、「実世界に解き放つ前に、ロボットの脳が優秀かどうかをテストするために、このモデルを使用できるか？」ということです。論文は、古いモデルが過剰に自信を持ち、ロボットがどれほど上手くこなすかを過大評価してしまう傾向があることを示しています。彼らは、実際には60%しか成功しないのに、ロボットがタスクに90%成功すると考えてしまうかもしれません。しかし、PAVXploreRLは、より正直で信頼できる推定値を提供します。それは、ロボットの「成功の夢」に騙されることなく、実際に何が起こるかについて真実を伝えます。

チームはまた、「アブレーション研究（ablation studies）」、つまりどの歯車が重労働をしているかを確認するために機械を分解するような調査も行いました。彼らは、身体に特化した報酬（embodiment-focused rewards）や、静的な正則化（static regularization：モデルが凍結された完璧な画像を予測するのを防ぐもの）といった、トレーニングのレシピの異なる部分を取り除いてシステムをテストしました。その結果、レシピのすべての要素が必要であることがわかりました。物理的な妥当性をチェックする部分を取り除くと、モデルの性能は低下しました。OOD（分布外）のアクションを扱う部分を取り除くと、モデルの信頼性は低下しました。これは、これらすべての要素の組み合わせこそが、システムをうまく機能させている要因であることを示唆しています。

結局のところ、PAVXploreRLは単に見た目が美しいロボットのビデオを作ることではありません。それは、より安全で信頼できるロボットのトレーニング方法を構築することです。これらのモデルに「もしも」のシナリオを探索することを教え、物理的な正確さと従順さに報酬を与えることで、研究者たちは、現実世界でロボットをより速く、より安全に学習させるためのツールを作り上げました。この論文は、あらゆるロボットの問題を解決したと主張しているわけではありませんが、シミュレーションを私たちが本当に信頼できるものにするための、強力で着実な一歩を示しています。