技術的サマリー：OpenGaFF

問題定義

ガウス表現に基づくオープンボキャブラリー 3D シーンの理解は、空間的整合性と意味的一貫性に関する重大な課題に直面しています。3D ガウススプラッティング（3DGS）は効率的で明示的なシーン表現を提供しますが、意味情報を組み込む既存の手法は、幾何学と意味の間の結合が弱いという欠点に悩まされることが多いです。これにより、断片化された予測、空間的に一貫性のないオブジェクト表現、そして透明なオブジェクトや複雑なマルチビューシナリオにおける信頼性の低い意味帰属が生じます。現在のアプローチは一般的に、明確な限界を持つ以下の 3 つのカテゴリーに分類されます：

1. 圧縮後デコード：これらの手法は高次元の言語特徴を低次元の埋め込みへ投影し、微細な意味情報を破棄してオープンボキャブラリー理解を制限します。
2. 特徴集約：これらの手法は外観ベースの不透明度重みを用いてマルチビュー特徴を融合しますが、意味的関連性と一致しないことが多く（例：透明なガラスにほぼゼロの不透明度を割り当てる）、失敗することがあります。
3. コードブックベース：これらは意味を共有された埋め込みへ離散化しますが、幾何学を無視した方法で特徴を割り当てる傾向があり、空間的に一貫性のない予測と断片化されたオブジェクト表現をもたらします。

手法

OpenGaFF（Codebook Attention を備えたオープンボキャブラリーガウス特徴フィールド）は、3DGS に基づき、幾何学的整合性とオブジェクトレベルの意味的一貫性を強制するように設計されたフレームワークです。本手法は主に 2 つの段階で動作します：

1. 前処理とコードブック初期化

パイプラインは、基礎モデル（セグメンテーション用の SAM、視覚 - 言語特徴用の CLIP）を用いて RGB 画像を処理し、2D 言語特徴マップを生成することから始まります。固定サイズのランダム初期化コードブックを使用する先行研究とは異なり、OpenGaFF はデータ駆動型で構造化言語（SL）コードブックを構築します。すべての CLIP 特徴を集約し、k-means によってクラスタリングします。ここで、クラスタ数（$N_c$）はシーンの構造によって自動的に決定されます。クラスタの重心がコードブックを形成し、共有された意味プリミティブのセットとして機能します。さらに、主成分分析（PCA）を適用して特徴を低次元（LD）空間へ投影し、特徴フィールドに対する効率的な教師信号を提供します。

2. ステージ 1：ガウス特徴フィールド

各ガウスに独立した学習可能な意味特徴を割り当てる（これにより幾何学と意味が分離される）代わりに、OpenGaFF はガウス特徴フィールドを導入します。このフィールドは、ガウスの幾何学と外観の連続関数として意味をモデル化します。具体的には、ガウスの位置（フーリエ位置符号化を介して）と色を条件とした MLP ベースのデコーダによって、ガウスの低次元意味特徴 $m_i$ が予測されます：
$$m_i = F(\phi(\mu_i), c_i)$$
この定式化は幾何学と意味を明示的に結合し、空間的に一貫した特徴表現を促進します。外観の不透明度が意味的重要性と一致しないオブジェクト（例：透明なガラス）を処理するために、独立した意味不透明度（$\alpha^s_i$）が導入されます。LD 特徴は、この意味不透明度を用いてラスタライズされ、コサイン類似度と L1 損失の組み合わせを用いて、真値の LD 特徴マップに対して教師信号を与えられます。

3. ステージ 2：コードブックによるアテンション

圧縮中に失われた高次元言語の表現力を回復するために、OpenGaFF はコードブック誘導型アテンション機構を採用します。レンダリングされた LD 特徴マップをクエリとして、構造化コードブックをキーとバリューとして使用します。アテンション機構を通じて、モデルは対応する高次元言語特徴を取得します。このプロセスはレンダリングと可換として扱われるため、モデルは 2D 教師信号のみを使用してコードブックを学習し、推論のために自然に 3D ガウスへ拡張することができます。
各クエリが単一の明確な意味単位に焦点を当てることを保証するために、アテンション重みに対してエントロピー正則化項が適用され、コードブックエントリ間の独立性を促進します。最終的な言語特徴は、真値の高次元言語マップに対して教師信号を与えられます。

主要な貢献

1. ガウス特徴フィールド：ガウスの幾何学と外観を条件とした意味予測を可能にする新たな機構であり、3D 意味表現を空間的整合性と整合させ、特徴の断片化を軽減します。
2. 構造化言語コードブック：言語特徴を共有された意味プリミティブから選択されるように制約することで、オブジェクトレベルの一貫性を強制する意味辞書のデータ駆動型初期化であり、オブジェクト内の変動を軽減します。
3. コードブック誘導型アテンション：クエリ埋め込みを学習されたコードブックエントリと一致させることで、堅牢なオープンボキャブラリー推論を可能にする検索機構であり、3D シーンにおける一貫性があり表現力豊かな意味表現を保証します。

実験結果

OpenGaFF は、標準的な 2D および 3D オープンボキャブラリーベンチマーク、具体的にはLERF-OVSおよびScanNet-v2で評価されました。

• 定量的パフォーマンス：本手法は、2D および 3D オープンボキャブラリーセグメンテーションにおいて、LangSplat、LangSplatV2、GALA、OpenGaussian などの最先端手法を一貫して上回りました。LERF-OVS において、OpenGaFF は 2D で平均 mIoU 64.98、3D で54.36を達成し、以前の最高記録（LangSplatV2）を大幅に上回りました。ScanNet-v2 においては、すべての指標で最高パフォーマンスを達成し（例：19 クラスで 36.55 mIoU）、優れた空間的整合性を示しました。
• 定性的改善：可視化により、OpenGaFF がより完全で空間的に一貫したセグメンテーションを生成することが示されました。断片化された結果をもたらしたり、透明なオブジェクトの一部を見逃したりする傾向のあるベースラインとは異なり、OpenGaFF は「赤いリンゴ」や「水の入ったグラス」のような複雑なオブジェクトを高い忠実度で正常にセグメント化しました。
• コードブックの解釈可能性：学習されたコードブックの分析により、OpenGaFF が分離された意味単位を学習していることが明らかになりました。個々のエントリは、一意で整合した意味領域に対応します。対照的に、LangSplatV2 などのベースライン手法は、意味が複数のエントリに分散するか、背景ノイズで活性化されるような、絡み合った特徴基底を示します。
• 効率性：OpenGaFF は高い効率性を示し、単一の RTX 4090 上で 12 GB のメモリと 15 分のトレーニング時間のみを必要としながら、35 fps の推論速度を維持しています。

意義

本論文は、現在の 3D シーン理解における主要な制限は、幾何学と意味の間の弱い結合にあり、それが断片化され一貫性のない表現をもたらしていると主張しています。OpenGaFF は、意味を幾何学の連続関数として扱い、構造化コードブックを通じてオブジェクトレベルの一貫性を強制することで、この課題に対処します。この研究の意義は、高密度体積手法の計算オーバーヘッドや、過激な特徴圧縮による情報損失なしに、幾何学的に整合したかつ意味的に解釈可能な3D 表現を生成できる点にあります。構造化されたアテンションベースのアプローチが、2D 基礎モデルと 3D ガウス表現を効果的に橋渡しできることを実証することにより、OpenGaFF は、空間的に整合し意味的に有意義な方法で複雑な 3D 環境を知覚する機械の能力を前進させます。