The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

ロボットに迷路の進み方を教えているところを想像してみてください。これを行うために、ロボットは脳の中に世界の「メンタルマップ（心の地図）」を構築します。このマップは画像ではなく、ある瞬間の世界がどのようなものかを数学的に要約した、圧縮されたデータです。科学者たちはこれを「潜在的世界モデル（latent world model）」と呼んでいます。ロボットは、自分が動いているビデオを見ながら、次に何が起こるかを予測することで、このマップを学習します。もし未来を正確に予測できるのであれば、そのロボットはその世界を理解していると見なされます。一度このマップを手に入れると、ロボットは「プランナー（計画立案器）」と呼ばれる意思決定アルゴリズムを使用して、宝箱を見つけるといった目標に向けた最適な経路を見つけ出します。この分野における大きな疑問は常にこうでした。もしロボットが遠くにある目標に到達できなかった場合、それはメンタルマップがぼやけて不正確だからなのか、それとも意思決定ツールが壊れているからなのか？ 本論文はこの謎を掘り下げ、問題がロボットの「視覚」にあるのか、それとも「コンパス（羅針盤）」にあるのかを検証しています。

研究者たちは、単純な2部屋の環境をナビゲートする特定のロボットを調査しました。彼らは、ロボットの「メンタルマップ」は実際には非常に鋭く正確であり、遠い未来を見通すことさえできることを発見しました。しかし、ロボットは遠くにある目標に到達できないままの状態でした。驚くべき発見は、ロボットが経路を「見ることができなかった」のではなく、距離を測るために使っていた「コンパス」が壊れていたということでした。ロボットは特定の数学的スコア（現在のメンタル状態と目標との間の二乗距離）を最小化しようとしていましたが、このスコアはある地点を過ぎると意味をなさなくなっていました。それはまるで、目的地に近づいていると伝えているのに、実際には逆方向に車を走らせているGPSのようなものでした。

本論文は、ロボットの内部マップが、ロボットが実際に計画を立てようとした25ステップを遥かに超えて、75ステップ先の世界の状態を極めて少ない誤差で予測できたことを示しています。問題はマップではなく、目的関数、つまりプランナーが成功を判断するために使用するルールにありました。研究者たちは、ロボットの心の中における標準的な距離測定法が「飽和」し、その後「反転」することを発見しました。これは、目標が約120ユニットよりも遠くなると、目標から「遠ざかる」動きが逆にコストスコアを下げてしまい、進歩していると錯覚させてしまうことを意味します。目標がどこにあり、どうやってそこへ行くかという情報は、依然としてロボットの脳内に完全に存在していたのですが、プランナーが間違った指標を見ていたために、その情報を無視してしまっていたのです。

これを修正するために、研究者たちはロボットを再学習させたり、より強力なハードウェアを与えたりしたわけではありません。代わりに、壊れたコンパスを新しいものに交換しただけでした。彼らは、単に「近さ（proximity）」を測るのではなく、「到達可能性（reachability）」（実際にそこへ到達できるか？）を重視するようにプランナーを教えました。これは、2つのフレーム間の距離を単に測定するのではなく、あるフレームから別のフレームへ移動するのに何ステップかかるかを予測する小さなヘルパーを訓練することによって行われました。この新しいアプローチは大成功を収めました。元のロボットの設定において、100ステップ離れた目標への成功率は、悲惨な26%から驚異的な98%へと跳ね上がりました。さらに印象的なことに、ロボットは通常の3分の1のタイム予算で、それら遠くの目標の92%に到達することができました。

しかし、この修理はどこにでも効く魔法の杖ではありません。研究者たちが同じ修正を元の著者らが公開した重みに試みたところ、成功率は14%から34%に向上しただけで、より単純な線形手法が達成した70%には及びませんでした。この失敗の理由は、元のモデルの「メンタルマップ」が、未来を想像する際に現実から大きく逸脱してしまうことにあります。新しいコンパスは実際のビデオフレームに基づいて訓練されましたが、プランナーは「想像された」フレームに対してスコアを算出していました。元のモデルの予測があまりにも不正確であったため、想像されたフレームが実物と乖離しすぎてしまい、新しいコンパスが正しく機能しなかったのです。これは、学習されたプランニング・コストは、プランナーが実際に使用するのと全く同じ種類の「想像された」データに基づいて訓練されなければ、予測がドリフト（逸脱）した際に失敗するという重要なルールを浮き彫りにしています。

この研究はまた、奇妙な癖も明らかにしました。「最高の」プランナーとは、最も正確なマップを持つものではありませんでした。実際、空間的な距離を予測する能力が（元のものより）「劣っている」コスト関数を使用しているプランナーの方が、より優れた計画を立てていました。これは、新しいコスト関数が壁を越えることに対して追加のコストを課すことを学んだ一方で、古いものは壁を全く気に留めなかったためです。古いプランナーは、2つの部屋が物理的に近くにあるため、それらが近いと考えていましたが、ドアの存在を無視していました。新しいプランナーは、ドアを通らなければならないことを理解しており、その結果、より優れたナビゲーターとなったのです。本論文は、長期的なプランニングにおいてボトルネックとなるのは、未来を予測する能力ではなく、「そこに到達する」とはどういうことかを定義する能力であると結論付けています。もしコンパスが間違った方向を指しているなら、どれほど完璧な視力を持っていても、目的地を見つけることはできません。