SeeSE3: Emergence of 3D Space in Vision Features

あなたは、世界の捉え方に関する謎を解こうとしている探偵だと想像してください。長い間、科学者たちは、空間の3次元的な形状（物体がどれくらい離れているか、どのように回転しているか、どのようにその中を移動しているか）を真に理解するためには、能動的な探索者である必要があると考えてきました。赤ん坊がハイハイを学ぶ過程や、車輪のついたロボットを思い浮かべてください。彼らは、世界が固形であり、3次元的な場所であることを理解するために、自分の体を「動かす」必要があります。数学者アンリ・ポアンカレが提唱したこの有名な概念は、「静止した存在」は、自分の目が動いているのか世界が実際に動いているのかの区別をつける理由を持たないため、空間とは何かを学ぶことはできないと示唆していました。

しかし今日、私たちには新しいものがあります。「ビジョン・ファンデーション・モデル」と呼ばれる巨大なコンピュータの脳です。これらは、数十億枚の写真や動画で学習されたAIシステムです。これらは、究極の「静止した存在」のようなものです。彼らには足もなければ車輪もありませんし、動きもしません。ただそこに座って、画像を見ているだけなのです。ここで大きな疑問が生じます。もし、この静止したコンピュータに膨大な量の写真を食べ込ませたとしたら、そのコンピュータは、自ら気づかぬうちに3次元空間のルールを発見してしまうのでしょうか？ それとも、単に平坦で混沌とした色の塊を見ているだけなのでしょうか？ この論文はこの問いを掘り下げ、これらの受動的な観察者が、一度も一歩も踏み出すことなく、デジタルな脳の中に世界の地図を密かに構築できるのかどうかを問うています。

---

論文の大きな発見： 「見えない地図」

この研究の背後にいる研究者たち（Google DeepMindおよびその他の機関のチーム）は、この「ポアンカレ・タスク」をテストすることに決めました。彼らは、これら静止したAIモデルの内部的な「思考」（あるいは特徴量）が、密かに3次元地図のように整理されているかどうかを確認したいと考えました。具体的には、**SE(3)**への関連性を探っていました。これは、3次元空間におけるあらゆる可能な移動や回転（前方に進む、左に曲がる、頭を傾けるなど）を記述するための、数学的な表現方法です。

ここでひねりがあります。テストされたAIモデルは、3次元空間について一度も教えられていませんでした。奥行きのチャートも見せられず、GPS座標も与えられず、距離をどう測るかも教えられていません。彼らは単に、「自己教師あり学習」（残りの部分から画像の一部を推測して学習する方法）を用いて、画像内のパターンを認識するように訓練されただけなのです。

主な知見：
この論文は、驚くべきことに、これらの静止したAIは、その脳内に隠れた3次元地図を構築していたことを示唆しています。AIから出てくる生のデータは、絡まり合った糸玉のような混沌とした無秩序なものに見えますが、研究者たちは、非常に単純な「アダプター」（ポアンカレ・アダプターと呼ぶ小さな追加ツール）を用いることで、その無秩序を「展開」できることを見出しました。一度展開されると、AIの内部的な特徴量は、3次元空間の幾何学構造と完璧に一致するのです。

このように考えてみてください。AIの脳が、地図が描かれた「くしゃくしゃになった紙」だと想像してください。普通の目には、その地図は壊れていて読み取れないものに見えます。しかし、ポアンカレ・アダプターは、その紙を優しく手で広げて平らにする手のようなものです。すると、展開された線は、AIの思考における「前進」が現実世界での「前進」を意味するという、完璧で真っ直理な格子状の模様を明らかにします。

彼らが否定したもの（そして否定しなかったこと）

著者たちは、これが何を意味するのか、また何を意味しないのかを非常に慎重に明確にしています。

• それは直接的な3Dカメラではない： 彼らは、AIの生の特長量がすでに完璧な3D地図になっているという考えを明確に否定しました。AIから出てくる生の数値だけを見ると、それらは混沌としており、湾曲しており、直線的でも平坦でもありません。地図は「隠されて」いるのであり、明白ではないのです。
• それは魔法ではない： この論文は、空間を理解するためには車輪のついたロボットが必要であるという考えに反論しています。彼らは、「静止した」観察者（AI）であっても、適切な問い方さえ知っていれば、静止画を見るだけでこれらの空間的ルールを発見できることを示しました。
• あらゆるところで完璧というわけではない： AIは回転（向きを変えること）については非常によく理解できましたが、正確に「どれくらいの距離か」（並進の大きさ）を把握することには少し苦労しました。論文は、追加の手がかりなしに平坦な写真から距離を推測するのは難しいため、このような結果になったと示唆していますが、移動の方向自体は依然として非常に明確でした。

証明の方法（「プローブ」実験）

この隠れた地図を見つけ出すために、研究者たちは「プローブ（探針）」と呼ぶいくつかの巧妙なトリックを用いました。

1. 近傍テスト： 現実世界で近い位置にある画像（例えば、廊下を歩いている間に撮影された2枚の写真）が、AIの脳内でも近くに位置しているかどうかをチェックしました。その結果、DINOv2のような一部のモデルにおいては、答えは明白な「イエス」であることが分かりました。AIは、地図がそうであるように、似たような視点を自然にグループ化していたのです。
2. 「真っ直にする」テスト： 現在の視点に対して単純な数学（加算や減算）を行うことで、次の視界を予測できるかどうかを試みました。生のデータでは、これは惨めに失敗しました。しかし、彼らがポアンカレ・アダプターを使用した後は、数学が完璧に機能しました。彼らはAIの「現在の思考」を取り出し、そこに「前進する」ベクトルを加えると、その結果が次のフレームと完璧に一致する「思考」になることができました。
3. ナビゲーション・ゲーム： 最終テストとして、この隠れた地図を使ってナビゲーションを行いました。彼らはAIに開始地点と目的地（例：「2メートル前進し、30度回転せよ」）を与えました。AIの内部的な特徴量とアダプターのみを使用して、新しい画像を生成することなく、目的地での視界がどのようになるかを予測することができました。それはまるで、AIが頭の中でベクトル演算を行うだけで、新しい景色を「想像」できるかのようでした。

「ビジュアル・グリッド・コード」

この論文の最もエキサイティングな部分は、**「ビジュアル・グリッド・コード」**という概念です。生物学において、動物（人間を含む）は、ナビゲーションを助けるために六角形のパターンで発火する「グリッド細胞」と呼ばれる特別な脳細胞を持っていることが知られています。この論文は、受動的で静止したAIモデルであっても、自律的にこれに似たものを発達させている可能性があることを示唆しています。彼らは単に画像を暗記しているのではなく、物理法則を反映した幾何学的構造の中に知識を整理しているのです。

著者たちは、この能力がスケールアップすることも発見しました。AIが見るデータが増えるほど、その隠れた3D地図はより優れたものになります。見たことがない全く新しい部屋に対してテストを行った場合でも、アダプターはナビゲーションを助けることができ、これは、この特性がモデルの学習における基本的かつ普遍的な性質であることを示唆しています。

なぜこれが重要なのか

これは単に、より優れたロボットを作るための話ではありません。これは、私たちが「知能」をどう考えるかを変えるものです。もし、静止したコンピュータが、写真を見るだけで3次元空間のルールを理解できるのだとしたら、それは、世界の幾何学が視覚データの中に深く刻み込まれており、見逃すことがほぼ不可能なものであることを意味します。「空間の法則」は、機械に教え込む必要があるものではありません。十分な「目」を与えれば、機械は自らそれを発見するのです。

論文は、AIは私たちがするように3次元空間を「見ている」わけではない（動くための体を持っていない）ものの、自身のコードの中に3次元空間の数学的な骨格を構築していると結論づけています。そして、ポアンカレ・アダプターのような単純なツールによる少しの助けがあれば、私たちはようやくその地図を読み解くことができ、AI自身の思考だけを用いて世界をナビゲートすることが可能になるのです。