SR-JEPA: Learning Predictive Latent State in 3D Scenes

見えない設計者：AIはいかにして「そこにないもの」を見ることを学ぶのか

あなたが部屋の中を歩いているところを想像してください。しかし、誰かが魔法を使って、あなたの視界から椅子を消してしまいました。椅子は見えませんが、その椅子が置かれているはずの床、背後の壁、そして隣にあるテーブルは見えています。人間の脳は即座にその隙間を埋めます。「ああ、あそこに椅子があるんだな」と。私たちは、椅子がその場所に属していると知るために、実際に椅子を見る必要はありません。私たちの脳は、部屋のコンテキスト（文脈）を利用して、欠けているピースを予測するのです。この「見えるものに基づいて見えないものを推測する」能力は、人間の知性の超能力であり、コンピュータに世界を理解させるための聖杯でもあります。

人工知能の世界では、研究者たちは単に画像を記憶するだけではないシステムを構築しようとしています。彼らは、**JEPA（Joint-Embedding Predictive Architecture：結合埋め込み予測アーキテクチャ）**と呼ばれる巧妙なトリックを使用しています。JEPAを、写真をピクセル単位で再現しようとする画家ではなく、手がかり（シーンの可視部分）だけを見て、失われた容疑者の「概念」や「本質」を推測しようとする探偵だと考えてみてください。欠けている椅子を描き出す代わりに、AIは椅子の「概念」を予測するのです。科学者たちが問い続けてきた大きな疑問は、「もしAIにこれらの隠れた概念を予測するように教えた場合、それは対象が「何であるか」を本当に学習しているのか、それとも単にパターンに基づいて推測しているだけなのか？」ということです。本論文は、AIの「予測エンジン」が自力でシーンを完成させるほど十分に賢いのかどうかを確認するために、特に3D空間において、この問いを深く掘り下げます。

---

SR-JEPA：空白を埋めるAI

数百万の小さな点（ポイントクラウドと呼ばれます）で構成された3D空間を理解するために設計された、新しい種類のAIモデル、SR-JEPAを紹介します。研究者たちは、このAIの非常に特定の部分、すなわち「予測経路（predictive pathway）」をテストしたいと考えました。これは、「ここに隙間がある。そこには何があるべきか？」と告げる脳の部分です。

これをテストするために、科学者たちは3Dオブジェクトを使った「かくれんぼ」を行いました。彼らはデジタルな3Dスキャンによる部屋のデータを取り出し、キャビネットや椅子のようなオブジェクトを見つけ、次にそのオブジェクトを構成するすべての点を削除しました。オブジェクトは消えてしまいました。しかし、オブジェクトがあった場所に、小さく形のない「クエリ（照会点）」（固定された32個の点）を残しておきました。それは、形のない幽霊のような輪郭を残したようなもので、ただ場所を示すだけでした。

その後、彼らは学習済みの凍結されたAIに対し、「この場所には何が属しているか？」と問いかけました。AIは、部屋の残りの部分——壁、床、他の家具——を見つめ、その予測経路を使用して、欠落しているオブジェクトの正体を推測しなければなりませんでした。AIは、元のオブジェクトの形状や色を見ることは許されず、完全に部屋のコンテキストに頼らなければなりませんでした。

コンテキストの魔法

結果は驚くほど強力でした。AIが実世界の3Dスキャン（ARKitScenesと呼ばれます）から得られた5,953個の異なるアイテムを含むテストセットに対して、欠落したオブジェクトの正体を推測したところ、正解率は**43.13%**でした。

これを比較対象として考えると、もしAIがランダムに推測したり、最も単純な手がかり（欠落した場所の中心点のみなど）を見ただけであれば、正解率はわずか**20.95%**程度であったはずです。AIの「予測脳」は、これらの単純な推測に対して、22.18パーセントポイントという大幅な精度向上をもたらしました。これは、AIが単に推測しているのではなく、周囲のシーンを利用して何が欠けているのかを実際に解明していることを証明しています。

しかし、ここからが本当に面白いところです。研究者たちは、AIが「どのように」これを行っているのかを知りたいと考えました。単に部屋を暗記しているのでしょうか？ それとも、オブジェクト間の関係を真に理解しているのでしょうか？

彼らは2つの「妨害」テストを実施しました：

1. ランダムな脳： AIの目（エンコーダー）はそのままにし、予測脳（予測器）をバラバラにしました。すると、精度は9.78ポイント低下しました。これは、AIが予測を学習する方法の特定性が重要であることを示しています。
2. 間違った部屋： AIの脳はそのままにし、部屋の背景を無関係な別の部屋（ドナー・シーン）と入れ替えました。すると、精度は21.98ポイントも急落しました。これは、AIの推測が完全に「正しい」周囲のコンテキストに依存していることを証明しています。もしキッチン用のクエリを寝室に置けば、AIは混乱してしまうのです。

推測から構築へ

研究者たちは、単にオブジェクトの名前を推測することに留まりませんでした。彼らは、この「補完された」情報が、例えば「ある物体が別の物体を支えているか（例：本がテーブルの上にあるか？）」といった構造的な決定を下すのに役立つかどうかを確認したいと考えました。

彼らはこれを8,570組のオブジェクトペアでテストしました。AIによる欠落したオブジェクトの「推測された」正体と、可視オブジェクトの実際の幾何学形状（形状と位置）を組み合わせたとき、システムは平均適合率（AP）41.15を達成しました。

最も興味深い発見は、欠落したオブジェクトの「真の」正体（グラウンドトゥルース）を与えた「超強力な」バージョンと比較したときに起こりました。たとえグラウンドトゥルースを与えたとしても、パフォーマンスはAI自身の推測よりもわずか2.48ポイント高いだけでした。実際、AI自身の推測した正体を使用したとき、それは39.37 APに達しており、これはグラウンドトゥルースとほぼ同等の性能です。

これは、美しい役割分担を示唆しています。AIの予測経路は「何が欠けているか（正体）」を特定することに非常に長けており、その後の単純な数学的計算によって「それがどのように適合するか（幾何学）」を導き出すことができます。AIはあらゆる可能な「テーブルの上の本」というルールを暗記する必要はありません。ただ、本が何であり、テーブルがどこにあるかを知る必要があり、残りの部分は自然に導かれるのです。

これが意味すること

本論文は、SR-JEPAがクエリ可能な、構成的な3D予測状態を作り出したと結論付けています。平易な言葉で言えば、AIは、たとえオブジェクトが完全に消えていたとしても、「ここに何が来るか？」と問い、コンテキストに基づいて有用な答えを得ることができる、部屋の「メンタルモデル」を学習したということです。

しかし、著者らはこれが現時点では「できないこと」についても慎重に注記しています。このシステムは、静止した、凍結されたシーンで機能します。それはどのように動くか、どのように経路を計画するか、あるいは時間が経つにつれて変化するオブジェクトを扱う方法を知りません。これは知性の「スナップショット」であり、「映画」ではありません。しかし、それは強力なスナップショットです。AIに3D空間における欠落したものの「本質」を予測するように教えることで、世界を単に「見る」だけでなく、そこに何があるべきかを「想像する」システムを構築できることを示しています。

研究者たちは、シーンを補完するAIの能力は、現実的で測定可能であり、学習された予測スキルと正しいコンテキストの両方に依存していることを見出しました。これは、単にデータを処理するだけでなく、周囲の世界の構造を理解し、驚くべき精度で空白を埋めることができる機械への一歩なのです。