SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation

あなたは、散らかったリビングルームの写真を見ていると想像してみてください。あなたの目には、それは単なる色と形の平坦な画像に過ぎません。しかし、世界を理解しようとするコンピュータにとって、その画像はパズルです。ソファがどれくらい離れているのか、写真を撮ったときにカメラがどこに立っていたのか、そして、もし自分がその周りを歩き回ったら物体がどのように動くのかを、コンピュータは解明しなければなりません。この科学分野は「空間知覚（spatial perception）」と呼ばれ、壁にぶつかるロボットと、部屋を優雅に通り抜けることができるロボットとの違いを生むものです。長い間、科学者たちはこのパズルの異なる部分を別々の仕事として扱ってきました。あるチームは距離を測ることに長けたロボット（幾何学）を作り、別のチームは「ランプの左には何がありますか？」といった質問に答えることに優れたモデル（推論）を作りました。しかし、人間の脳に「距離」と「論理」が互いに会話することのない独立したセンターが存在しないのと同様に、これらのコンピュータモデルは、互いに学び合うチャンスを逃していました。

ここに、単一のコンピュータモデルにこれらすべてを一度にこなせるよう教えようとする新しいアプローチ、SPARGenが登場しました。これは、単に絵を描くだけでなく、その絵についての物語を書き、さらに重力が変わった場合に絵の中の物体がどのように落下するかという正確な物理学まで計算できる、非常に才能のある芸術家のようなものです。奥行きを測るための異なるツールを使う代わりに、SPARGenは、これらすべての答えを同時に生成することを学ぶ、一つの統合された「脳」を使用します。それは、世界を別々のタスクの集合体としてではなく、幾何学と言語が同じシーンを記述するための異なる方法である、一つのつながった物語として扱うのです。

問題点：「スペシャリスト」のボトルネック

長年、コンピュータに空間について教える標準的な方法は、あらゆる仕事に対して「スペシャリスト」を雇うことでした。シーンの奥行きを知りたいときは、奥行き測定モデルに尋ねました。カメラの位置を知りたいときは、ポーズ推定モデルに尋ねました。ソファの後ろに何があるかを知りたいときは、言語モデルに尋ねました。

このアプローチの問題は、これらのスペシャリストたちがめったに互いに会話しないことです。部屋の奥行きを知っているモデルは、必ずしも部屋に関する質問に答えようとしているモデルを助けるわけではありません。それは、野菜を切ることは素晴らしいが、パンを作るパン屋に一度も会ったことがないシェフがいるようなものです。彼らは完璧な食事を作るために協力することができません。さらに、これらのモデルの多くは、計算を行うために追加の、扱いにくいアドオンに依存しており、それが速度を低下させ、複雑にさせていました。

解決策：「ユニバーサル・ストーリーテラー」

SPARGenは、ネイティブ・マルチモーダル・ジェネレーターとして機能することで、ゲームのルールを変えます。スペシャリストではなく、画像とテキストという2つの言語を流暢に話すジェネラリストなのです。

ここにある魔法のトリックがあります。SPARGenは、すべてを「生成（generation）」タスクとして扱います。

1. 「画像」に関する事項： 奥行き、ポイントクラウド（点の3Dマップ）、またはオプティカルフロー（フレーム間のピクセルの動き）を把握する必要があるとき、新しい画像を「生成」します。単に数値を計算するのではなく、ピクセルの明るさがその物体がどれだけ遠いかを示すような絵を描くのです。
2. 「テキスト」に関する事項： 「白いテーブルの右には何がありますか？」といった質問に答える必要があるときは、チャットボットのように単語のシーケンスを生成します。

この論文では、これをMixture-of-Transformer-Experts (MoT) バックボーンと呼んでいます。巨大な図書館を想像してください。そこには異なる「エキスパート（特化したAIの脳）」が同じ建物の中に住んでいます。テキストを読むのが得意なエキスパート、画像を理解するのが得意なエキスパート、そして数学が得意なエキスパートがいます。SPARGenは、これらすべてのエキスパートが同じテーブルに座って会話できるようにします。質問を投げかけると、彼らは孤立して働くのではなく、全員が会話に知識を出し合います。

仕組み：2つのトラック・システム

SPARGenは、画像とテキストの理解にすでに優れていたBagelという基盤の上に構築されています。研究者たちは、新しい奇妙なハードウェアや個別の数学モジュールを追加することなく、これを「空間的」な事項を扱えるようにアップグレードしました。

• テキスト・トラック（自己回帰パス）： モデルがカメラの位置（回転と距離）や部屋を説明する文章のような構造化された回答を出す必要があるとき、モデルは単語ごと（あるいはトークンごと）に書き出します。これは、前の文脈を利用して次に何が来るかを決定しながら、一文字ずつタイピングするタイピストのようなものです。
• 画像・トラック（整流フロー・パス）： モデルが密なマップ（すべてのピクセルに対するフルデプスマップなど）を出力する必要があるとき、**整流フロー（rectified flow）**と呼ばれる手法を使用します。これは、ノイズ（静止画の砂嵐）の塊から始めて、ゆっくりと明確な形へと彫刻していく彫刻家のようなものです。モデルは、指示に従って、ぼやけたランダムな画像から精密なデプスマップやポイントクラウドへと「流れて（flow）」いきます。

このシステムの素晴らしさは、「今、数学をせよ」とか「今、言語を扱え」と指示される必要がないことです。指示（例：「奥行きを推定せよ」や「右には何がありますか？」）を見るだけで、どの「トラック」を使用して答えを生成すべきかを判断します。

実績：すべてを支配する一つのモデル

研究者たちは、部屋の奥行きを測ることから、ビデオ内の車の動きを特定すること、難しい空間質問に答えることまで、幅広いタスクでSPARGenをテストしました。

結果：

• ジャグラー（曲芸師）： SPARGenは、たった一つのモデルでこれらすべての異なるタスクにおいて競争力のあるパフォーマンスを発揮しました。専用の「奥行きモデル」や「フローモデル」を必要としませんでした。
• スペシャリストを打ち負かす： 多くのベンチマークにおいて、SPARGenはそれら特定の仕事のために作られたモデルと同等、あるいはそれ以上の性能を示しました。例えば、KITTIデータセット（車の視点からの動きを追跡する標準的なテスト）において、SPARGenはEnd-Point Error (EPE) が4.09、F1-allスコアが13.34を達成し、RAFT（5.03 EPE）やFlowFormer（4.10 EPE）といった専門化されたモデルを上回りました。
• 推論の王様： 空間推論（「もし私がここに立ったら、私の右には何がありますか？」といった質問に答えること）の領域において、SPARGenは圧倒的な強さを見せました。SPARベンチマークにおいて、SPARGenは平均79.25を記録し、Qwen2.5-VL-72B（44.80）や、巨大な商用モデルであるGPT-4o（43.27）をも大幅に上回りました。
• 混合の力： 論文は、これらのタスクが実際にお互いを助け合っていることを示唆しています。「幾何学」のトレーニング（3D形状に関する学習）を取り除くと、モデルの回答能力は低下しました。逆に「推論」のトレーニングを取り除くと、3D形状の理解がわずかに低下しました。これは、世界を3Dで見ることを学ぶことが言語の理解を助け、言語を学ぶことが3D空間の理解を助けることを意味しています。

課題：まだ完璧ではない

結果は素晴らしいものですが、著者らは一つの制限についても注意深く述べています。SPARGenは、画像を圧縮して生成するためにVAE (Variational Autoencoder) を使用しているため、3Dの世界をより小さな圧縮された形式に押し込める必要があります。この圧縮により、物体の非常に鋭いエッジがぼやけたり、正確な物理的測定（例：「このテーブルは正確に1.23メートル離れている」など）を得ることが難しくなることがあります。構造やレイアウトを理解することには長けていますが、ミリメートル単位の精度を必要とする大工にとっては、最適な道具ではないかもしれません。

大きな展望

SPARGenは、空間的なタスクごとに異なるロボットの脳を作る必要はないということを示唆しています。代わりに、世界の幾何学を「想像」し、同時にそれについて「話す」ことができる、柔軟な生成型の脳を作ることができるのです。これらの能力を統合することで、モデルはより豊かで一貫した空間理解を学習します。真の空間知能への道は、数学と意味を切り離すのではなく、それらを融合させることにあることを証明しています。