技術的サマリー：SceneForge

問題定義

現代のマルチモーダル学習システムは、大規模であるだけでなく、構造化され、制御可能であり、編集、視点、モダリティにわたって一貫した監督信号を必要とする。既存のデータセットは通常、レンダリング出力ではなく、背後にあるシーンの状態を露呈させる観察レベルのスナップショット（例えば、編集前後の画像ペア）を提供する。その結果、これらのデータセットは、同一シーンに対する整合した介入、物理的に整合した反事実的シナリオ、層別分解、または整列したマルチモーダル信号を提供することに失敗している。診断用合成データセット（CLEVR など）は制御可能な生成を提供するが、生成モデルや編集モデルに対する介入駆動型の監督ではなく、固定された推論タスクに焦点を当てている。同様に、既存の合成 3D パイプラインは、エンティティやビューにわたる一貫した更新を誘発するために状態遷移を操作可能な永続的な世界としてではなく、静的なレンダリング構成としてシーンを扱う傾向がある。

手法：SceneForge フレームワーク

SceneForge は、シーンを独立した画像の集合ではなく、編集可能な世界状態として扱うことで、構造化された監督を生成する、世界中心のフレームワークである。パイプラインは以下の 4 つの主要な段階を経て進行する。

1. 世界状態の表現

平坦なレンダリング構成の代わりに、SceneForge は時刻 $t$ におけるシーンを構造化されたタプル $w_t = (S_t, D_t, A_t, R_t, E_t)$ として表現する。

• $S_t$（構造的要素）： 床、壁、固定幾何学形状などの安定したコンポーネント。
• $D_t$（動的オブジェクト）： 介入（挿入、削除、移動）の対象となるエンティティ。
• $A_t$（属性）： 意味論的、幾何学的、物理的性質（カテゴリ、ポーズ、材質、支持状態）。
• $R_t$（関係）： 支持、包含、遮蔽、可視性などの依存関係。
• $E_t$（環境要因）： 照明およびレンダリング条件。

この表現により、シーンは、動的オブジェクトへの変更が構造的および関係的制約を通じて伝播する永続的なシステムとして扱われることを保証する。

2. 介入モデル

介入 $\iota$ は、動的オブジェクトまたは環境変数に対する明示的な操作（例えば、オブジェクトの削除、照明の変更）として定義される。システムは暫定的な編集 $\tilde{w}_{t+1} = I(w_t, \iota)$ を適用する。重要なことに、この段階には、編集が物理的に妥当（例えば、オブジェクトが有効な支持面上に配置され、衝突がない）であり、レンダリング前に意味論的に整合していることを検証するためのシーン照会モジュールが含まれる。

3. 依存関係認識型状態伝播

局所的な編集の非局所的な結果を処理するために、SceneForge は伝播演算子 $P$ を適用して世界状態を更新する：$w_{t+1} = P(\tilde{w}_{t+1})$。このステップでは、新しい状態に基づいて、可視性、遮蔽、支持関係、および照明効果（影、反射）が再計算される。これにより、すべての下流の監督信号が編集された世界と意味論的および物理的に整合していることが保証され、このアプローチは単純な「編集前後」の画像生成とは区別される。

4. マルチモーダル監督生成

一貫した世界状態遷移から、フレームワークは複数のモダリティにわたって整列した監督をレンダリングする（$y_m = G_m(w_t, w_{t+1}, c)$）。すべての出力が同一のシーングラフから派生するため、それらは構成上整列している。生成される出力には以下が含まれる。

• RGB 観測およびマルチビューレンダリング。
• 反事実的編集（オブジェクト削除）。
• 分解レイヤー（オブジェクトマスク、アモーダル補完）。
• 効果認識チャネル（影、反射、照明）。
• 意味論的および関係注釈。

データセット実装

著者は、ライセンスクリーンなリソースを作成するために Infinigen と Blender を使用して SceneForge を実装した。データセットには以下が含まれる。

• SceneForge (S)： 2,369 の部屋と 25,688 のオブジェクトリンクレイヤーを備えた単一カメラコーパス。
• SceneForge (M)： 8 つのカメラ設定の下で 517 の部屋と 2,772 の登録済みマルチビューインスタンスを備えたマルチカメラコーパス。
• 派生タスク： オブジェクト削除用（SceneForge-Removal）およびシーンレベルの構造的削除用（SceneForge-IndoorDynamicRemoval）のフィルタリング済みデータセット。これらは合計で 13,000 以上の単一ビューおよび 4,000 のマルチビュー編集インスタンスに達する。

実証結果

このフレームワークは、LoRA 微調整を用いた Qwen-Image-Edit-2509 ベースバックを使用して、オブジェクトレベルおよびシーンレベルの削除タスクで評価された。マッチした予算の下で 3 つのトレーニング設定が比較された。

1. OpenData-30K： 3 万の公開トレーニングサンプル。
2. OpenData+SceneForge-30K： 公開データと SceneForge サンプルを混合したもの。
3. SceneForge-16K： 1 万 6 千の SceneForge サンプルのみ。

主要な知見：

• 性能向上： SceneForge 監督でトレーニングされたモデル（OpenData+SceneForge-30K）は、すべてのベンチマーク（OpenData-30K、RORem、RemovalBench）および指標（PSNR、SSIM、LPIPS）において、公開データのみでトレーニングされたモデル（OpenData-30K）を大幅に上回った。
• データ効率： SceneForge-16K 設定は、3 万サンプルの設定よりも総サンプル数が少ないにもかかわらず、4 つのテストセットのすべての指標で最高の結果を達成した。これは、高品質で介入整合的な監督が、より大規模で混合されたトレーニングプールを上回ることを示唆している。
• 定性的改善： 複雑な影や反射を含むハードケースシナリオ（Removal-HardEffects）において、SceneForge でトレーニングされたモデルは、ベースラインモデルと比較して、関連する視覚的副作用を除去し、一貫した背景を復元する能力が優れていた。
• マルチビュー整合性： マルチビュー設定（SceneForge-Removal M）において、フレームワークは、すべてのレンダリングが同一の永続的 3D 世界状態から派生しているため、多様な視点（高重なりおよび多様な角度）にわたって空間的整合性を維持した。

意義と主張

本論文は、SceneForge が介入整合的なマルチモーダル学習のための実用的かつスケーラブルな基盤を提供すると主張している。監督を編集可能な世界における構造化された状態遷移としてモデル化することで、このフレームワークは、観察レベルのデータセットに内在する整合性問題を解決する。著者は、このアプローチが以下の点を実現すると述べている。

• 事後の画像空間マッチングなしに、整列した出力（反事実的シナリオ、分解、効果）を生成する。
• より豊かな言語的監督および広範なアセットの多様性に拡張可能な柔軟なエンジンを提供する。
• より大規模で構造化の少ないデータセットと比較して、「よりクリーンで、より介入整合的な監督」が優れた下流の有用性を生み出すことを実証する。

著者は、SceneForge を実データやハイブリッドデータセットの代替としてではなく、編集、視点、およびシーンレベルの介入下での整合性という特定のニーズに対応する補完的なエンジンとして位置づけている。