Generation of High-Level Concepts in 3D Scene Graphs via Autoregressive Diffusion

技術要約：自己回帰的拡散による高次概念の3Dシーングラフ生成

問題提起
屋内3Dシーングラフ（3DSG）は、低レベルの幾何学的プリミティブ（例：センサによって検出された平面）を、高レベルの計量的・意味的概念（例：壁、部屋、床、建物）へと結びつける、環境のコンパクトな表現として機能する。既存の手法は、観測されたノード間の関係を生成することはできるものの、低レベルの観測から完全な多層的空間階層を推論することは依然として困難な課題である。古典的なアプローチは、特定の概念クラス（例：占有マップからの部屋のセグメンテーション）に特化した手作りのヒューリスティックに依存しており、新しいクラスや複雑な階層へのスケーラビリティが制限されている。一方、学習ベースの手法は、グラフ構造と空間ノード特徴（例：重心）を別々のモデルで扱うことが多く、あるいは、わずか1つか2つの階層レベルに限定されることが多い。これらの限界により、アドホックな定義なしに、フロア、建物、都市にわたる複雑な多層階層を生成することが困難となっている。

手法
著者らは、観測された垂直平面からボトムアップで完全な3DSGを構築するために、構造と特徴を共同で学習する、統一された自己回帰的拡散ベースのグラフ生成モデルを提案している。このアプローチは、初期の観測された平面のグラフを反復的に拡張するFLexible Autoregressive Graph Generation (FLAGG) フレームワークに基づいている。

各ステップ $t$ における生成プロセスは、以下の3つのモジュール化されたコンポーネントで構成される：

1. 挿入 (Insertion): グラフ同型ネットワーク（GINE）が、次に加えられるノードのブロックのサイズ ($m_t$) を予測する。
2. 充填 (Fill): 1ショット生成モデルが、現在のグラフの状態を条件として、新しいブロックの接続性（エッジ）、意味ラベル、および連続的な幾覚属性（重心）をサンプリングする。著者らは、このモジュールにおいて2つのバリアントを実装し比較している：
   • OURS-FD4: 距離および離散デノイジング拡散モデル（D4）を適応させたもの。まず、離散拡散モデル（DiGress）を用いてトポロジーとラベルをサンプリングし、次に新しいエッジ上のペアワイズ距離をサンプリングし、最後に多次元尺度構成法（MDS）を用いて3D重心を復元する。
   • OURS-MIDI: 混合グラフおよび3Dデノイジング拡散（MiDi）モデルを適応させたもの。条件付けとなるグラフを中心とした座標系において、等変グラフ・トランスフォーマーを用いて、カテゴリカルなラベル、エッジ、および連続的な座標を共同でデノイジングする。
3. 停止 (Halt): GINEが、生成プロセスを停止するか、次のイテレーションに進むかを決定するためのバイナリ信号を予測する。

露出バイアス（推論時に、グラウンドトゥルースではなく自身のノイズを含む予測を条件としてしまう現象）に対処するため、著者らは訓練中にノイズ拡張 (noise augmentation) を採用している。これには、以前に生成された高レベルノードのラベルと位置を摂動させ、エッジをランダムにドロップまたは挿入するプロセスが含まれるが、初期の観測された平面ノードは保護される。

評価のために、著者らは融合グロモフ・ワッサースタイン (Fused Gromov–Wasserstein; FGW) 距離の適応版を導入している。この指標は、関係性の忠実度（グラフ構造に関するGromov-Wasserstein距離）と、計量的・意味的忠実度（重心やラベルなどのノード特徴に関するWasserstein距離）を共同で考慮し、グラウンドトゥルースに対する原理的なグラフレベルの比較を提供する。

主な貢献

1. 3DSGのための初の自己回帰的拡散モデル: 本論文は、ロボットが観測した平面グラフを条件として、多層階層を生成可能な、初の自己回帰的拡散ベースの深層グラフ生成（DGG）モデルを提示しており、概念固有の手作りのルールを必要としない。
2. 構造と特徴の統一生成: 構造予測と属性生成を分離する従来の手法とは異なり、本モデルは任意の階層の深さにわたって、グラフのトポロジー、意味ラベル、および3D重心を共同で生成する。
3. 新しい評価指標: 著者らは、階層的な3DSG生成を評価するために特別に設計されたFGW指標の適応版を提案しており、関係性、意味、および計量的整合性を同時に捉える。
4. 包括的なベンチマーク: 合成シーン、公開建築フロアプラン（MSD）、および実際のロボットセンサデータから派生した多様なデータセットを用いて、さまざまなレイアウトの複雑さと階層の深さ（都市レベルまで）をカバーする新しいベンチマークを確立した。データセットとコードは公開されている。

実験結果
モデルは、単一フロアから都市全体に至るまでの階層の深さにわたり、合成、MSD、および実世界のデータセットで評価された。

• ベースラインとの性能比較: 提案手法（OURS-FD4 および OURS-MIDI）は、手作りのヒューリスティック（EC-□, EC-L）やランダムな推測ベースライン（RAND）を含むすべての非オラクル・ベースラインを一貫して上回った。FGWおよびその構成要素（構造に関するGW、および計量的・意味的距離に関するW）のすべてにおいて改善が見られた。
• ワンショット・オラクルとの性能比較: ターゲットとなるグラフのサイズへのオラクルアクセスを提供する最先端のワンショットモデル（MiDi）と比較した場合、自己回帰的アプローチは競争力のある性能を維持した。特筆すべきは、最大の階層（M-C, 都市レベル）および実世界の単一フロアデータ（R-F）において、自己回帰モデルがオラクルを利用可能なワンショットモデルを上回ったことであり、これは、事前にグラフサイズを知ることの利点が構造の複雑さが増すにつれて減少することを示している。
• 堅牢性: 距離ベースのバリアント（OURS-FD4）は、座標ベースのバリアント（OURS-MIDI）と比較して、訓練データから実際のロボット記録環境への転移において高い堅牢性を示した。これは、既存のグラフに対するペアワイズ距離を通じて新しい重心を制約することが、汎化を助けることを示唆している。

意義と主張
本論文は、アドホックなアルゴリズムに頼ることなく、低レベルの観測から完全な多層的空間階層を推論するという問題を解決すると主張している。自己回帰的フレームワークの中で構造生成と特徴生成を統一することにより、本手法は、従来の学習ベースのアプローチでは到達できなかった複雑な環境（フロア、建物、都市）に対するスケーラブルな3DSG補完を可能にする。著者らは、本モデルが、一貫した高レベルの構造的表現を提供することで、SLAM、グローバル・ローカリゼーション、経路計画などのダウンストリームのロボット応用を促進すると主張している。さらに、FGW指標は、生成されたグラフとグラウンドトゥルースの間の全体的な類似性を評価するためのバランスの取れた指標を提供し、この領域における原理的な評価手法の欠如に対処すると述べている。結論として、ボトムアップ・アプローチにおける誤差の蓄積は制限事項ではあるものの、提案手法は3DSG生成の範囲を最初の2つの階層レベル以上に拡張することに成功したとしている。