The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

探偵のジレンマ：地図が領域と一致しないとき

ロボットに迷路をナビゲートする方法を教えていると考えてみてください。あなたは単にロボットに経路を暗記させたいのではなく、脳内に「世界モデル」を構築させたいのです。つまり、左に曲がったり右に曲がったりしたら何が起こるかを予測できるメンタルマップ（心の地図）です。もしロボットが未来を正確に予測できれば、先を見越して計画を立て、複雑なパズルを解くことができます。これが**潜在的世界モデル（latent world models）**の夢です。これは、人間が手を貸さなくても、環境の隠れたルールを学習して知的に行動できるAIシステムのことです。

しかし、ここからが厄介なところです。ロボットのメンタルマップが本当に優れているかどうか、どうすれば判断できるでしょうか？通常、科学者たちはロボットが「次のステップ」をどれだけうまく予測できるかで判断します。ビデオの次のフレームを完璧に推測できれば、そのロボットは世界を理解していると見なされます。しかし、この論文は危険な問いを投げかけます。「もしロボットが、次の1秒間を予測することには天才的だが、次の1分間の計画を立てることに関しては完全な素人だったらどうなるだろうか？」

この物語は、機械学習の世界、特にAIがいかにして現実をシミュレートすることを学ぶかという研究分野から来ています。そこは、物理学、動き、そして因果関係を理解するためにデジタル脳を構築する研究者たちの世界です。もし、書類上では優秀に見えても現実世界では失敗してしまうモデルに基づいてロボットや自動運転車を作ってしまったら、その結末は悲惨なものになります。この論文は、LeWorldModelと呼ばれる有名な新しいAI手法に対して、「探偵」になろうと決めた独立した研究者たちの物語です。彼らは、その手品が本当に成功しているのか、それとも手品師が指示書の重要なステップをいくつか隠しているだけなのかを確かめようとしたのです。

---

失われた指示書の件

研究者たちは、自分たちの新しいAIであるLeWorldModelが、単純な2部屋の迷路を約**87%の確率で解決できると主張する論文の結果を再現しようと試みました。他の手法が97〜100%**に達しているのと比べると低く見えますが、著者によれば、彼らの手法はシンプルであり、機能するために派手なトリックを必要としないという点で特別であるとのことでした。

ジョイジート・シン（Joyjeet Singh）率いる独立したチームは、AIをゼロから再構築するために、コンピューターの計算資源（GPU使用料約24ドル分）をレンタルしました。彼らは同じ**87%**の成功率を目論んでいました。しかし、そこで彼らが見つけたのは、隠された秘密の塊でした。

4つの隠されたルール
チームは、元の論文の指示書が、最も重要な材料を書き忘れたレシピのようなものであることを発見しました。公開されている設定ファイルに従うだけでは、AIは何一つ学習できませんでした。研究者たちは、すべてを決定づけていた4つの「文書化されていない慣習」がコードの中に埋め込まれていることを見つけました。

1. 高密度なアクション収集（Dense Action Gathering）：AIは、ロボットが行ったあらゆる微細な動きを見ている必要がありました。単なる数枚のスナップショットだけでは不十分だったのです。
2. プログラムによる幅の設定（Programmatic Width）：脳の特定の部分のサイズは、設定ファイル内の数値ではなく、隠された数学公式によって設定されていました。
3. ImageNet正規化（ImageNet Normalization）：AIに入力される画像は、単に色を255で割るのではなく、非常に特定の方法（「ImageNet」基準）で処理される必要がありました。
4. Zスコア化されたアクション（Z-Scored Actions）：ロボットの動きは、まず奇妙な「NaN（非数）」エラーを取り除いた上で、データセット全体に基づいて数学的に調整される必要がありました。

これら4つの隠された修正がなければ、AIの「予測器（未来を推測する部分）」は収束することさえできませんでした。それはまるで、「小麦粉を加えろ」とか「オーブンを予熱せよ」という指示を忘れたレシピでケーキを焼こうとしているようなものでした。

機械の中の幽霊
レシピを修正した後も、チームは壁にぶつかりました。3回のトレーニング実行において、AIは失敗しているように見えました。「検証損失（validation loss：AIがいかに悪いかを測るスコア）」は激しく変動しており、モデルが壊れていることを示唆していました。しかし、「トレーニング損失（training loss：学習しているデータに対する悪さ）」は、実際には改善していました！

彼らは原因を突き止めました。それはバッチ正規化層（Batch Normalization layer）でした。これはAIの脳におけるサーモスタット（温度調節器）のようなものです。間違ったモードでは、このサーモスタットが故障しており、誤差を300倍に増幅させていました。これにより、AIが実際には完璧に学習しているにもかかわらず、失敗しているように見えていたのです。一度このサーモスタットを「再校正」すると、真の性能が現れました。

2つの異なるマップ
チームはまた、元の論文にはAIをテストするための2種類の異なるルールが公開されており、それらが全く異なる結果をもたらすことも発見しました。

• 「ショート（短距離）」テスト：コードの設定ファイルでは、ゴールまでの距離を25ステップ、予算を50ステップとしてテストするように指示されていました。このルール下では、元の著者たちのAIは**84.0%**に達しました。
• 「ロング（長距離）」テスト：論文の付録では、ゴールまでの距離を100ステップ、予算を150ステップとしてテストするように記載されていました。このルール下では、同じAIの成功率はわずか**14.0%**でした。

研究者たちは、論文が主張していた「87%」の成功率は、おそらく「ショート」テストに基づいたものであり、「ロング」テスト（付録に記載されていたもの）こそが、AIの弱点を露呈させる非常に困難なテストであったことに気づきました。

大きな驚き：正確さはスキルを意味しない

最も衝撃的な発見は、隠されたルールについてではなく、「良い」とは一体何を意味するかについてでした。

チームは、3つの異なるバージョンのAIを訓練しました。

1. 予測誤差が高い「悪い」AI。
2. 「中程度」のAI（元の著者たちのバージョン）。
3. 予測誤差が非常に低い「優れた」AI（チームによる修正版）。

短期的な勝利：
ゴールが近い（25ステップ）場合、「優れた」AIが最高の結果を出し、**94.0%の成功率を記録しました。「悪い」AIは78.0%**と最悪でした。これは理にかなっています。予測が優れていれば、計画も優れるからです。

長期的な災厄：
しかし、ゴールが遠い（100ステップ）場合、ルールは完全に逆転しました。

• 「優れた」AI（最も正確な予測器）は、最悪のプランナーとなり、成功率はわずか**20.0%**でした。
• 「悪い」AI（最も予測精度の低いもの）は、最高のプランナーとなり、**80.0%**の成功率を叩き出しました。

最も正確なAIは、自身の完璧な予測に自信を持ちすぎたあまり、極端で無謀な動きをしてしまい、ゴールを通り過ぎて、最終的に目標から116.6ユニットも離れた場所に到達してしまいました（ランダムに動いた場合よりも遠くに！）「悪い」AIは、自身の予測に確信が持てなかったために、より慎重に動き、実際にゴールに到達できたのです。

これが将来に意味すること

この論文は、このAI手法が無用だと言っているわけではありません。実際、隠されたルールを修正したことで、チームのAIは「ショート」テストで**94.0%**に達し、元の主張を上回りました。表現（メンタルマップ）は強固であり、ロボットは自分がどこにいるかを理解していました。

しかし、この論文は強い警告を発しています。**「プランナー（計画者）を、次のステップをどれだけうまく予測できるかによって判断してはならない」**ということです。

この特定の迷路においては、「完璧な予測器」であることは、実は長期的な計画においてマイナスに働きました。研究者たちは、最も正確なモデルほど、自らの進路を確信しすぎて極端な行動に固執し、道を見失ってしまうことを発見しました。

また、チームは、事前登録された実験（同じ部屋内のゴールと、部屋をまたぐゴールでのナビゲーションの差を見るテスト）が、あるバージョンのAIでは機能したが、別のバージョンでは完全に失敗することも発見しました。これは、「魔法」のような性能が、手法そのものの一般的な特性ではなく、モデルの特定のバージョンに依存している可能性を示唆しています。

教訓
論文は次のように結論付けています。もし長期的な計画ができるAIを作りたいのであれば、単に未来を最も正確に予測するものを選んではいけません。実際、このタスクにおいては、最も正確なモデルを選ぶことは、最悪のプランナーを選ぶことを意味していました。将来への教訓は、単純な予測スコアを超えた、AIをテストするための新しい方法が必要であるということです。なぜなら、完璧な地図を持っていることが、必ずしも車の運転の仕方を知っていることを意味するわけではないからです。