DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework

以下は、論文「DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework」の詳細な技術的サマリーです。

1. 問題定義

**エゴセントリック 3D 視覚グラウンディング（3D VG）**は、具現化された知能における中核的なタスクであり、エージェントが、スパースな第一人称のマルチビュー RGB-D 観測のみを用いて、自然言語の指示に基づき 3D 空間内の特定の物体を特定することを要求します。

現在の限界:
既存の手法は、通常、2 段階の異種パイプラインを採用しています：

1. ステージ 1: 3D 物体検出器（多くの場合、畳み込みベースまたはアンカーベース）を訓練する。
2. ステージ 2: 検出のバックボーン重みを別のグラウンディングモデル（多くの場合、Transformer ベース/DETR 風）へ転移し、グラウンディングタスクを実行する。

異種パイプラインの主要な課題:

• 不完全な知識転移: バックボーン重みが共有される一方で、デコーダとバウンディングボックスヘッダは構造的に異なります。その結果、物体レベルの事前知識（学習された物体表現と幾何学的推論）が転移されず、グラウンディングモデルはこれらの特徴を再学習せざるを得ません。
• 冗長な最適化: グラウンディングモデルは、同じデータ上で物体のデコードとボックス回帰を再最適化する必要があり、収束の遅延、高い計算コスト、そして最適化されていない精度をもたらします。
• 微細な整合性の欠如: 既存の手法は「同クラスのディストラクタ（記述に一致しない同じカテゴリの物体）」に対処するのが困難であり、言語的意図を初期クエリ表現に効果的に統合することに失敗しています。

2. 手法：DEGround

著者らは、3D 検出とグラウンディングを単一のアーキテクチャに統合する均質フレームワークであるDEGroundを提案します。

A. 中核アーキテクチャ：均質フレームワーク

• 共有物体表現: 異なるデコーダを使用する代わりに、DEGround は、検出とグラウンディングの両方の共通表現として単一の物体クエリセットを使用します。
• 共有デコーダとヘッダ: 両タスクは、同じ Transformer ベースのデコーダと共有バウンディングボックスヘッダを利用します。
  • メカニズム: 軽量なスコアリングヘッダが、視覚特徴に基づいてトップ-K のボクセル中心を選択し、初期クエリ埋め込み（$Q$）を形成します。
  • 利点: この整合性により、グラウンディングタスクは、検出タスクから堅牢な局所化と分類の事前知識を直接継承でき、冗長な学習を排除して収束を加速します。

B. 特徴抽出と融合

• 入力: マルチビュー RGB-D 画像。
• 3D 表現: 深度マップを世界座標に投影して疑似ポイントクラウドを作成し、これをボクセル化して符号化します（$F_{3d}$）。
• 2D 表現: RGB 画像からマルチスケール特徴を抽出します（$F_{2d}$）。
• 融合: 2D 特徴を双線形補間を通じて 3D 点にサンプリングし、3D 幾何特徴と連結して、統合された視覚表現（$F_{visual}$）を生成します。

C. タスク固有のプラグインモジュール

微細な指示グラウンディングを強化するために、2 つのモジュールが導入されます：

1. リージョナルアクティベーショングラウンディング（RAG）:

   • 目的: テストと一致する領域を強調することで、「同クラスのディストラクタ」に対処します。
   • メカニズム: テスト駆動アテンションを用いて、$F_{visual}$ をテキスト埋め込み（$F_{text}$）と融合し、テキスト強化特徴マップ（$F'_{region}$）を生成します。
   • 監督: **空間関連性損失（Spatial Relevance Loss, $L_{spatial}$）**を導入し、ポイントレベルの予測を監督します。これにより、モデルは真のバウンディングボックス内の点に高い関連性スコアを、他の点には低いスコアを割り当てるように強制されます。

2. クエリごとの変調（QIM）:

   • 目的: 初期物体クエリにグローバルな文レベルの意味を直接注入し、それらを「指示認識型」にします。
   • メカニズム: 文埋め込みから生成された変調ベクトル（$\beta, \gamma$）を用いて、視覚クエリ（$Q_{vis}$）に特徴ごとのアフィン変換を適用します。
   • 数式: $Q_{mod} = \beta \odot Q_{vis} + \gamma \odot \mathbf{1}S$。これは、デコードの最初から視覚的証拠と言語的意図をよりよく統合するために、クエリ空間を適応させます。

3. 主要な貢献

1. 均質フレームワーク: 検出とグラウンディングをクエリの共有を通じて統合する初のフレームワークである DEGround を提案しました。これにより、真の物体レベルの知識転移が可能となり、冗長な最適化が排除されました。
2. リージョナルアクティベーショングラウンディング（RAG）: ポイントごとの監督とテキスト誘導アテンションを使用して同クラスのディストラクタの混同を解決する新規モジュールです。
3. クエリごとの変調（QIM）: グローバルな文の意味に基づいてデコーダクエリを動的に変調するメカニズムであり、クエリの識別性を向上させます。
4. 最先端のパフォーマンス: EmbodiedScanベンチマークで新しいベースラインを確立し、既存の手法を大幅に上回る性能を達成しました。

4. 実験結果

モデルは、現実的でスパースなエゴセントリック観測を特徴とするEmbodiedScanベンチマーク（ScanNet、3RScan、Matterport3D を集約）で評価されました。

• 3D 視覚グラウンディング（ミニバリデーションセット）:

  • DEGround は、総合精度（AP@25）で**61.28%**を達成しました。
  • これは、以前の SOTA（BIP3D、45.79%）に対して**15.49%**の改善です。
  • ResNet-50 ベースライン（DenseGrounding）を**17.77%**上回りました。
  • 収束: DEGround はわずか3 エポックで 59.90% の mAP に到達しましたが、ベースラインは 35.84% に到達するのに 12 エポックを要しました。

• 3D 視覚グラウンディング（フルバリデーションセット）:

  • 総合精度**62.18%**を達成しました。
  • より軽量な ResNet-50 バックボーンを使用しているにもかかわらず、BIP3D（Swin-T バックボーン）を**7.52%**上回りました。

• 公式テストセット:

  • **42.04%の AP@50 を達成し、新しい SOTA を樹立しました。最も近い競合（BIP3D）を2.35%**上回っています。

• 3D 物体検出:

  • 検出ベンチマークで**24.68%**の AP@25 を達成し、BIP3D を 3.77% 上回りました。

5. 意義

• パラダイムシフト: DEGround は、3D VG における支配的な 2 段階の異種パラダイムに挑戦し、統合された均質アーキテクチャが物体レベルの事前知識の転移において優れていることを実証しました。
• 効率性: デコーダとボックスヘッダを共有することで、この手法は精度を向上させながら、訓練時間とデータ要件を大幅に削減します。
• 堅牢性: RAG と QIM の導入は、エゴセントリック知覚（スパースなビュー、ディストラクタ）の課題に特に対処し、事前再構築された空間事前知識に依存できない現実世界の具現化エージェントにとってより適したモデルにしています。
• ベンチマーキング: EmbodiedScan における結果は、3D 視覚グラウンディングの新たな基準を確立し、単純でエレガントなアーキテクチャの統合が、複雑な多段階パイプラインを上回ることを証明しました。