SceneCritic: 3D 室内シーン合成のための記号的評価器

論文の技術的サマリー（日本語）

1. 背景と問題提起

大規模言語モデル（LLM）やビジョン・ランゲージモデル（VLM）は、テキストから 3D 室内シーンのレイアウトを生成する強力なツールとして注目されています。しかし、生成されたシーンの**評価（Evaluation）**には重大な課題が存在します。

• 既存評価手法の限界: 現在の主流は、VLM にレンダリングされた画像を見せ、スコアを判定させる方法です。しかし、この手法は以下の理由で不安定です。
  • 視点依存性: 見る角度（ビューポイント）によってスコアが大きく変動する。
  • ハルシネーション: モデルが実際には存在しない物体や関係を幻視してしまう。
  • プロンプト感受性: 質問の言い回しを少し変えるだけで評価結果が劇的に変わる。
• 人間の評価の課題: 人間による評価は信頼性が高いものの、コストが高く、スケーラビリティに欠け、また「どの空間的制約が満たされた/違反されたか」という具体的なフィードバックが得られない。
• 既存のプログラム的メトリクスの不足: 物理的な衝突回避や分布統計（FID など）は存在するが、「意味的な整合性（Semantic Coherence）」（例：机と椅子がペアになっているか、背もたれが壁に向いているかなど）を評価する体系的な枠組みが欠落している。

2. 提案手法：SceneCritic と SceneOnto

本論文は、レンダリング画像に依存せず、床面レイアウト（Floor-plan）の記号的（Symbolic）な構造そのものを評価する新しい評価器「SceneCritic」と、その基盤となる知識ベース「SceneOnto」を提案します。

2.1 SceneOnto（構造化された空間オントロジー）

SceneCritic の制約条件は、3 つの主要なデータセット（3D-FRONT, ScanNet, Visual Genome）から集約されたSceneOntoに根ざしています。これは、室内空間における物体間の関係を明示的にグラフ構造として定義したものです。

• データソース: 6,813 件のプロフェッショナルな室内シーン、1,511 件の実世界 RGB-D 再構成、61,530 件の注釈付き画像。
• 抽出される関係性:
  1. 物体の寸法: 幅・高さ・奥行きの分布（パーセンタイル統計）。
  2. 支持関係: どの物体がどの表面（床や他の家具）に置かれているか。
  3. 共起統計: 特定の部屋タイプ（寝室、リビングなど）において、どの物体ペアが一緒に出現するか（条件付き確率 $P(B|A)$ と nPMI）。
  4. 向き（Orientation）: 壁に向ける（Back-to-wall）、部屋の中心に向ける（Faces-center）、他の物体に向ける（Faces-pair）などの規則。

2.2 SceneCritic の評価メカニズム

SceneCritic は、生成されたレイアウトを SceneOnto の制約条件と照合し、以下の 3 つの軸で記号的に検証します。

1. 空間的意味論（Spatial Semantics）:
   • スケール: 物体のサイズが現実的な範囲内か。
   • 共起性: 一緒にあるべき物体が配置されているか。
   • 近接性: 機能的なグループ（例：机と椅子）が適切な距離に配置されているか。
   • 完全性: 要求された物体がすべて配置されているか。
2. 向き検証（Orientation Verification）:
   • 物体の向きが SceneOnto で定義された規則（壁に背を向ける、中心に向けるなど）に合致しているか。
3. 重なり検出（Overlap Detection）:
   • Proximity Overlap: 粗いバウンディングボックスによる近接違反。
   • True Overlap: 回転を考慮した厳密な幾何学的衝突（OBB）の検出。

これにより、VLM のような「黒箱」ではなく、「どの物体がどの制約で失敗したか」を特定可能な、解釈可能な（Interpretable）評価が可能になります。

3. 実験と結果

3.1 評価器の信頼性分析

• VLM の不安定性: 同じシーンでも、レンダリングする視点（左、右、正面など）によって VLM のスコアが大幅に変動することが確認されました（例：LayoutVLM+Gemini のオーバーラップスコアは視点によって 11.2%〜28.1% 変動）。
• 人間との整合性: 16 名のアノテータによる人間評価との比較において、SceneCritic は**簡単なシーンで 94.44%、複雑なシーンで 83.33%**の一致率を示しました。一方、VLM ベースの評価器はそれぞれ 58.82%、47.06% にとどまり、偶然のレベルに近い結果でした。特に「重なり（Overlap）」の検出において、SceneCritic は人間と 100% 一致しましたが、VLM は 2D 画像からの幾何学的関係の抽出に失敗していました。

3.2 反復的改善テストベッド（Iterative Refinement Testbed）

生成モデルが、異なる評価者（Critic）からのフィードバックに基づいてレイアウトをどのように修正するかを調査するテストベッドを構築しました。

• 評価対象: Heuristic（ルールベース）、LLM（テキストベース）、VLM（画像ベース）の 3 種類のクリティック。
• 主要な発見:
  1. テキスト専用 LLM の優位性: 意味的なレイアウト品質（Semantic Layout Quality）においては、テキストのみで動作する LLM（例：DeepSeek-3.2V）が、VLM よりも高いスコアを達成しました。
  2. 数学的トレーニングの効果: 向き（Orientation）の推論において、数学的な推論に特化したトレーニング（GRPO など）を受けた小規模モデルが、大規模な VLM よりも優れた結果を示しました。
  3. 画像ベース VLM クリティックの有効性: 意味的整合性や向きの修正においては、画像ベースの VLM によるフィードバックが最も効果的でした。テキストのみのフィードバックよりも、視覚的な情報が空間的誤りを修正するのに有効であることが示されました。

4. 主要な貢献

1. SceneOnto の構築: 複数のデータセットから得られた室内空間の統計的・構造的知識を統合した、評価に特化したオントロジーの作成。
2. SceneCritic の開発: レンダリング画像に依存せず、記号的な制約に基づいて意味的整合性、向き、重なりを評価する、人間と高い整合性を持つ評価フレームワーク。
3. 反復的改善の分析: 異なるポストトレーニング戦略（RL, RLHF, RLVR など）を持つモデルが、異なるクリティック（Heuristic, LLM, VLM）のもとで空間構造をどのように修正するかを体系的に分析。
4. 知見の提示: 「テキスト LLM は意味的品質において VLM に勝る可能性があること」と「画像ベースのフィードバックが空間的修正に最も有効であること」の実証。

5. 意義と将来展望

本論文は、3D 室内シーン生成分野における「評価のブラックボックス化」を解消する重要なステップです。SceneCritic は、生成モデルが物理的・意味的に妥当な空間を構築できているかを、人間が理解できる形で定量的に検証することを可能にします。これにより、ロボティクスシミュレーション、VR、エンベディッド AI のトレーニング環境など、信頼性の高い 3D 空間生成が必要な分野への応用が加速すると期待されます。また、SceneOnto は拡張性が高く、新しいデータセットや部屋タイプを容易に統合できるため、将来的な進化にも柔軟に対応可能です。