💻 computer science

LocusGS: Spatially Grounded Tokens for Feed-Forward 3D Gaussian Splatting

LocusGSは、ガウス型クエリに対して明示的な3Dアンカー状態（中心と半径）を導入することでフィードフォワード3D Gaussian Splattingを強化しており、これにより、純粋な潜在表現と比較して、空間的な一貫性を持つ特徴量の集約とデコーディングを誘導し、レンダリング品質と構造的一致性を向上させている。

原著者： Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、いくつかの異なる角度から撮られた数枚の写真だけを見て、巨大で複雑なレゴのお城を再構築しようとしているところだと想像してみてください。コンピュータビジョンの世界では、これは「3D再構成」と呼ばれる古典的な課題です。長い間、コンピュータは新しいお城を見るたびに、何百万もの小さな仮想のブロックを一つずつ丹念に調整しなければならず、そのプロセスは遅く、コストがかかるものでした。最近、「3D Gaussian Splatting」と呼ばれる巧妙な近道が登場しました。硬いブロックで組み立てる代わりに、この手法は、形や見た目をシーンに完璧に合わせるために、押しつぶしたり、引き伸ばしたり、色を塗ったりできる、何百万もの柔らかく、ぼやけた3Dの「雲」（Gaussianと呼ばれます）を使用します。これらの雲は瞬時に新しい写真へとレンダリングできるため、バーチャルリアリティやロボット工学に最適です。

しかし、この最新かつ最速の技術には、落とし穴があります。プロセスをより迅速にするために、一部の研究者は「クエリベース」のアプローチを使い始めました。これは、いわば「目に見えない探偵たち（トークン）」を雇って、お城の形を解明させるようなものです。各探偵は写真を観察して手がかりを集め、そして特定のグループの「ぼやけた雲」を叫んで、お城の一部を構築することになります。理想的には、探偵Aは正面玄関を、探偵Bは屋根を構築すべきです。しかし問題は、現在の手法では、探偵たちが混乱してしまうことです。探偵Aが正面玄関、屋根、そして煙突のための雲を一度に叫び出し、それらを城全体に散らしてしまうことがあります。その結果、再構成は乱雑でぼやけたものになり、雲が正しい場所に定着せず、オブジェクトが間違った場所に浮いている夢の中のような光景になってしまいます。

ここで、論文「LocusGS」が登場し、救世主となります。著者である国防科技大学のチームは、これらの目に見えない探偵たちが、極めて重要な情報を欠いていることに気づきました。それは「物理的な住所」です。彼らの新しいシステムであるLocusGSは、すべての探偵に「3Dアンカー」を与えます。これは単なる漠然とした概念ではなく、3D空間における特定の座標（中心点）と半径（彼らの「責任範囲」の大きさ）です。探偵たちが作業を進める際、彼らはただ推測するのではなく、常に自分たちの住所を洗練させていきます。もしある探偵が正面玄関に割り当てられたなら、そのアンカーによって彼らはそこに留まり続け、屋根へと彷徨い出すことを防ぎます。この「空間的な接地（spatial grounding）」により、ぼやけた雲は、本来表現すべきオブジェクトの形に完璧に一致するように、整然としたコンパクトなグループとして留まるよう強制されます。

この論文は、この物理的なアンカーという単純な追加が、大きな違いをもたらすことを示唆しています。RealEstate10KやDL3DVといった標準的なデータセットで彼らの手法をテストしたところ、LocusGSは、全く同じ数の「ぼやけた雲」を使用しているにもかかわらず、以前の最良の手法よりもシャープで鮮明な画像を作り出すことがわかりました。「探偵たち（トークン）」は、雲をいたるところに散らしてしまうのをやめ、シーンの幾何学的構造に完璧に従う、タイトで組織化されたクラスターを構築しました。著者たちは、単一のトークンによって生成された雲がより近くに集まっている（よりコンパクトである）こと、そして全体の3D構造がより一貫していることを示すことで、これを測定しました。また、アンカー自体がシーン全体に論理的な「足場（スキャフォールド）」を形成し、最終的な詳細が描かれる前に、オブジェクトの異なる部分がどこにあるのかを効果的にマッピングしていることも発見しました。

要するに、この論文は、デジタルな建設者たちに明確な物理的位置を与えることで、彼らが迷ったり、仕事を散らかしたりするのを防ぐことができると主張しています。その結果、3Dシーンはよりリアルに見え、浮遊するアーティファクトが減り、形状がより明確になります。著者たちは、このアプローチが異なるカメラのビュー数に対してもうまく機能し、より良い結果を得るためにシステムの速度を低下させたり、計算能力を増やしたりする必要がないことを示しています。これは、混沌としたデジタル世界を整理するための最善の方法は、すべてに明確な居場所を与えることである、ということを思い出させてくれます。

技術サマリー: LocusGS

問題提起

近年のフィードフォワード型3D Gaussian Splatting (3DGS) 手法は、コストのかかるシーンごとの最適化から、入力ビューからの直接的な予測へと移行しています。その中で、クエリベースの手法（例：TokenGS）は、学習可能な一連の固定されたクエリ（トークン）を用いてシーンを表現します。各トークンはTransformerデコーダを介してマルチビューの証拠を集約し、一連の3D Gaussianへとデコードされます。

しかし、著者らは既存のクエリベース手法における決定的な限界、すなわち空間的一貫性の弱さを指摘しています。理想的には、異なるクエリはシーン内の明確で一貫した局所領域を専門化すべきですが、単一の潜在クエリからデコードされたGaussianは、しばれて遠く離れた無関係なシーン領域に散らばってしまうことがあります。これにより、空間的に拡散した分布となり、基礎となるシーン構造とうまく一致しません。著者らは、この失敗の原因を、既存のGaussianクエリが純粋に潜在的な表現であり、クエリが3D空間の「どこ」で動作しているか、あるいは「どの程度の大きさ」の領域をカバーしているかという明示的な概念を欠いていることにあると考えています。その結果、クエリによって集約されるマルチビューの証拠と、その結果得られるGaussianは、一貫した局所領域に制約されません。

手法: LocusGS

これに対処するため、著者らはLocalGS (Spatially Grounded Tokens) を提案します。これは、各Gaussianクエリに明示的な3Dアンカー状態を付加するものです。この状態は、3D中心 ( $\mu$ ) とサポート半径 ( $r$ ) で構成されます。

主要コンポーネント

明示的な3Dアンカー状態:
クエリを単なる潜在特徴ベクトルとして表現する代わりに、LocusGSはデコーダ層 $l$ における各クエリ $i$ にアンカー状態 $a^l_i = (\mu^l_i, r^l_i)$ を関連付けます。
- 中心 ( $\mu$ ): クエリの現在の3D参照位置を指定します。
- 半径 ( $r$ ): クエリの局所的なサポート領域の範囲を定義します。半径は、正の値を保証するために softplus 関数を通過する制約のない変数 $\rho$ を通じてパラメータ化されます。
  これらの方程式は学習可能であり、シーン間で共有され、デコーダ層を通じて段階的に洗練されます。
アンカー誘導型デコーダ:
デコーダは、アンカー状態を利用して自己注意（self-attention）および相互注意（cross-attention）メカニズムの両方をガイドします。
- アンカー認識型自己注意 (Anchor-Aware Self-Attention): アンカー中心 $\mu$ から導出された位置エンコーディングがトークン特徴に注入されます。これにより、トークン間の相互作用が、単なる潜在的な特徴の類似性ではなく、相対的な3D位置に依存するようになります。
- アンカー対レイ幾何学的バイアス (Anchor-to-Ray Geometric Bias / Cross-Attention): マルチビューの証拠を集約するために、本手法は、クエリのアンカー中心 $\mu^l_i$ $μ_{i}^{l}$ と画像トークンに関連するカメラレイ $\ell_j$ $ℓ_{j}$ の間の距離に基づく幾何学的バイアスを導入します。
  - バイアスは $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$ と定義されます。ここで、 $D$ は点からレイへのユークリッド距離です。
  - このバイアスは、アンカーから遠いカメラレイを持つ画像トークンにペナルティを与え、クエリを幾何学的に関連のある観測へと効果的に誘導します。半径 $r^l_i$ は、この空間的選好の帯域幅を制御します。
動的なアンカー洗練 (Dynamic Anchor Refinement):
各デコーダ層の後、トークン特徴はアンカーの中心と半径に対する残差更新 ( $\Delta \mu, \Delta \rho$ ) を予測します。これにより、アンカー状態はデコーダが進むにつれて、特定の入力シーンに合わせて3D位置とサポートスケールを適応させることができます。
アンカー中心のGaussianデコード:
最終的なデコード段階において、Gaussianは完全に制約のない形で予測されるわけではありません。代わりに、モデルは最終的に洗練されたアンカー中心に対する局所的なオフセット ( $\delta$ ) を予測します。最終的なGaussian中心は次のように計算されます：
$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$
ここで、アンカー中心はグローバルな参照を提供し、半径は局所的なオフセットをスケールさせます。この定式化により、単一のトークンからデコードされたGaussianは、自由に散らばるのではなく、アンカーの周囲にコンパクトな局所グループを形成するように強制されます。
マルチレイヤーレンダリング監督 (Multi-layer Rendering Supervision):
学習目的には、（最終層に加えて）中間デコーダ層でのレンダリング監督が含まれます。損失関数は、画像再構成（MSE + SS밋）と、デコードされたGaussianの中心およびアンカーの中心の両方に適用される可視性正則化を組み合わせ、デコーディングプロセス全体を通じて一貫した空間組織を促進します。

主な貢献

クエリの空間的接地 (Spatial Grounding of Queries): 純粋な潜在表現を超え、明示的な3Dアンカー状態（中心と半径）をクエリベースの3DGSに導入しました。
アンカー認識メカニズム: アンカー状態を利用して空間的一貫性を強制するための、幾何学的バイアス（アンカー対レイ）および位置エンコーディング（自己注意用）の設計。
構造化されたGaussian生成: アンカー半径によってスケールされる局所オフセットを予測するデコード戦略により、トークンが空間的にコンパクトなGaussianグループを生成することを保証します。
段階的な洗練: アンカーの位置とサポート半径をデコーダ層を横断して反復的に洗練させるメカニズムにより、モデルがシーンの幾何学に適応することを可能にします。

実験結果

著者らは、RealEstate10K (RE10K) および DL3DV という新しいビュー合成ベンチマークにおいて、TokenGS、MVSplat、DepthSplatなどのベースラインと比較してLocusGSを評価しています。

レンダリング品質: 同一のトークンおよびGaussian予算の下で、LocusGSはクエリベースのベースライン（TokenGS）に対し、PSNR、SSIM、LPIPSにおいて一貫して優れた性能を示しました。例えば、4つの入力ビューを用いたDL3DVにおいて、LocusGS（4096トークン）は24.80のPSNRを達成し、TokenGSの23.44を上回りました。
空間組織: 定性的および定量的な分析により、LocusGSはより構造化されたGaussian分布を生成することが示されました。
- トークンレベルのコンパクト性: 本論文では、トークン内のGaussianの分散を測定するために指標 $C_{centroid}$ を導入しています。LocusGSは、この分散を劇的に減少させており（例：RE10Kにおいて5.11から0.19へ）、これは単一のトークンから派生したGaussianが密にクラスター化されていることを示しています。
- アンカーのレイアウト: 学習されたアンカーは、シーン上に粗い一貫した空間的な足場を形成し、主要な構造をカバーし、局所的な複雑さに応じて半径を適応させています（疎な領域では大きな半径、詳細な領域では小さな半径）。
汎用性: モデルは、デンスなピクセル整列型手法とは異なり、入力ビューの数に依存しない固定されたGaussian予算を維持します。DL3DVにおいて、異なる数のコンテキストビュー（2、4、6ビュー）でテストした場合でも、堅牢な性能を発揮しました。
効率性: LocusGSは、TokenGS（222.0M）よりもわずかに高いパラメータ数（241.5M）と順伝播レイテンシを持ちますが、予測されるGaussianの数を増やすことなく、より優れた再構成品質を実現しています。

重要性と主張

本論文は、明示的な3Dアンカー状態が、クエリベースのフィードフォワード3DGSに対して効果的な空間的事前分布を提供すると主張しています。クエリを3D空間に接地することで、LocusGSはGaussianトークンを、暗黙的な潜在エンコーディングから解釈可能な空間再構成クエリへと変貌させます。

著者らは、このアプローチが単にレンダリング精度を向上させるだけでなく、表現の空間的組織化と解釈可能性を根本的に高めると主張しています。結果は、明示的な空間状態が、クエリが一貫した局所領域を専門化することを促し、それによってシーンの幾何学とより良く一致する、より構造化されたGaussian分布をもたらすことを示しています。この研究は、幾何学的状態をクエリメカニズムに組み込むことが、より堅牢で構造化された3Dシーン再構成に向けた重要なステップであることを示唆しています。