FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds

ロボットに世界を理解させる方法を教えようとしている場面を想像してみてください。単に猫や車を認識させるだけでなく、次に何が起こるかを「予測」させたいのです。ボールが壁に向かって転がっていれば、ロボットはそれが跳ね返ることを知っているはずです。人々が歩いているなら、お互いにぶつかることなくどのようにすり抜けていくかを推測できるはずです。この科学分野は「ワールドモデリング（世界モデル）」と呼ばれています。それはAIに水晶玉を与えるようなものですが、魔法ではなく、数学とビデオを使って未来を推測するのです。

長い間、科学者たちは非常に整然とした秩序ある世界でこれらのロボットをテストしてきました。例えば、白い線がはっきりしており、車が車線を守り、誰もが完璧にルールに従う高速道路のような世界です。それはビデオゲームの「イージーモード」で遊んでいるようなものです。しかし、現実の世界はそうではありません。世界中の多くの賑やかな都市では、交通は混沌としたダンスのようです。厳格な車線はなく、人々は好きな場所を歩き、リキシャがバスの脇をすり抜け、動物が通りを徘列しています。それは「ハードモード」です。科学者たちが問い続けてきた大きな疑問は、「現在のAIモデルはこの混沌とした混雑した現実に対処できるのか、それともすべてが整っている時にしか機能しないのか？」ということです。

FactorJEPAと題されたこの論文は、まさにその問題に取り組んでいます。研究者たちは、標準的なAIモデルが混雑した都市の混沌によって混乱していることに気づき、DENSEWORLDという新しいデータセットを構築しました。彼らは22の異なる都市から1,000時間のビデオを収集し、賑やかな市場や狭い路地から、高架橋やビーチに至るまで、あらゆるものを捉えました。彼らは、整然とした高速道路ではうまく機能する既存のAIモデルが、これらの混雑したシーンにおいて次に何が起こるかを予測する際に苦戦することを発見しました。モデルは概略は把握できても、人々や車両がどのように相互作用するかという具体的な詳細を見落としてしまうのです。

これを解決するために、チームはFactorJEPAと呼ばれる新しい手法を考案しました。AIに未来のすべてを一つの巨大で乱雑なデータの塊として推測させるのではなく、複雑な料理を作る前に材料を分けるシェフのように、予測を3つの独立した「チャネル」に分解するように教えたのです。

1. レイアウト（Layout）: 建物、道路、壁など、あまり動かない静的なもの。
2. エージェント（Agents）: 人、車、リキシャなどの動くもの。
3. 相互作用（Interactions）: それらの動くものが互いにどのように関係しているか。例えば、歩行者がバスのために脇に寄ったり、2台の自転車がすれ違ったりすることです。

これら3つの要素を分離することで、AIはより優れた学習ができるようになりました。それは、混雑したパーティーを理解しようとするようなものです。部屋全体を一度に暗記しようとすると、圧倒されてしまいます。しかし、まず部屋の形に注目し、次に人々、そして最後に彼らがどのように会話しているかに注目すれば、誰が次に動くかを推測するのがずっと簡単になります。

結果は目覚ましいものでした。彼らの新しい混沌とした都市のビデオでテストした際、この新しい「分離された」AIは、従来の「オールインワン」モデルよりもはるかに優れた未来予測を行いました。物体の位置に関する間違いが少なくなり、「介入（インターベンション）」と呼ばれるテスト（車が突然ハンドルを切った場合にどうなるかというテスト）においても、より正確に理解し、ビデオの一部が隠れていたりぼやけていたりしても精度を維持しました。この論文は、AIが世界を考える方法を整理すること（レイアウト、エージェント、相互作用へと分解すること）によって、ようやく人間が住む混沌とした、混雑した、そして素晴らしい現実を理解できるロボットを構築できることを示しています。