Résumé Technique : SceneForge

Énoncé du Problème

Les systèmes modernes d'apprentissage multimodal nécessitent une supervision non seulement à grande échelle, mais aussi structurée, contrôlable et cohérente à travers les modifications, les points de vue et les modalités. Les jeux de données existants fournissent généralement des instantanés au niveau de l'observation (par exemple, des paires d'images avant-après) qui exposent les rendus plutôt que l'état sous-jacent de la scène. Par conséquent, ces jeux de données échouent à fournir des interventions appariées, des contrefactuels physiquement cohérents, des décompositions en couches ou des signaux multimodaux alignés pour une même scène. Bien que les jeux de données synthétiques de diagnostic (par exemple, CLEVR) offrent une génération contrôlable, ils se concentrent sur des tâches de raisonnement fixes plutôt que sur une supervision pilotée par l'intervention pour les modèles génératifs et d'édition. De même, les pipelines synthétiques 3D existants traitent souvent les scènes comme des configurations de rendu statiques plutôt que comme des mondes persistants où les transitions d'état peuvent être manipulées pour induire des mises à jour cohérentes à travers les entités et les vues.

Méthodologie : Le Cadre SceneForge

SceneForge est un cadre centré sur le monde qui génère une supervision structurée en traitant les scènes comme des états de monde modifiables plutôt que comme des collections d'images indépendantes. Le pipeline se déroule en quatre étapes principales :

1. Représentation de l'État du Monde

Au lieu de configurations de rendu plates, SceneForge représente une scène au temps $t$ comme un tuple structuré $w_t = (S_t, D_t, A_t, R_t, E_t)$ :

• $S_t$ (Éléments Structurels) : Composants stables tels que les sols, les murs et la géométrie fixe.
• $D_t$ (Objets Dynamiques) : Entités soumises à l'intervention (insertion, suppression, relocalisation).
• $A_t$ (Attributs) : Propriétés sémantiques, géométriques et physiques (catégorie, pose, matériau, statut de support).
• $R_t$ (Relations) : Dépendances telles que le support, la containment, l'occlusion et la visibilité.
• $E_t$ (Facteurs Environnementaux) : Conditions d'éclairage et de rendu.

Cette représentation garantit que la scène est traitée comme un système persistant où les modifications apportées aux objets dynamiques se propagent à travers les contraintes structurelles et relationnelles.

2. Modèle d'Intervention

Une intervention $\iota$ est définie comme une opération explicite sur les objets dynamiques ou les variables d'environnement (par exemple, suppression d'objet, modification de l'éclairage). Le système applique une édition provisoire $\tilde{w}_{t+1} = I(w_t, \iota)$. Crucialement, cette étape inclut des modules d'interrogation de scène pour vérifier la validité, garantissant que les modifications sont physiquement plausibles (par exemple, objets placés sur des surfaces de support valides, absence de collisions) et sémantiquement cohérentes avant le rendu.

3. Propagation d'État Sensible aux Dépendances

Pour gérer les conséquences non locales des modifications locales, SceneForge applique un opérateur de propagation $P$ pour mettre à jour l'état du monde : $w_{t+1} = P(\tilde{w}_{t+1})$. Cette étape recalcule la visibilité, l'occlusion, les relations de support et les effets d'éclairage (ombres, réflexions) en fonction du nouvel état. Cela garantit que tous les signaux de supervision en aval restent sémantiquement et physiquement cohérents avec le monde édité, distinguant cette approche de la génération naïve d'images « avant-après ».

4. Génération de Supervision Multimodale

À partir de la transition d'état du monde cohérente, le cadre rend une supervision alignée à travers plusieurs modalités ($y_m = G_m(w_t, w_{t+1}, c)$). Parce que toutes les sorties dérivent du même graphe de scène, elles sont alignées par construction. Les sorties générées incluent :

• Observations RGB et rendus multi-vues.
• Éditions contrefactuelles (suppression d'objet).
• Couches de décomposition (masques d'objets, complétions amodales).
• Canaux sensibles aux effets (ombres, réflexions, éclairage).
• Annotations sémantiques et relationnelles.

Instance du Jeu de Données

Les auteurs ont instancié SceneForge en utilisant Infinigen et Blender pour créer une ressource exempte de problèmes de licence. Le jeu de données comprend :

• SceneForge (S) : Un corpus à caméra unique avec 2 369 pièces et 25 688 couches liées aux objets.
• SceneForge (M) : Un corpus multi-caméras avec 517 pièces et 2 772 instances multi-vues enregistrées sous 8 paramètres de caméra.
• Tâches Dérivées : Jeux de données filtrés pour la suppression d'objets (SceneForge-Removal) et la suppression structurelle au niveau de la scène (SceneForge-IndoorDynamicRemoval), totalisant plus de 13 000 instances éditées en vue unique et 4 000 en vue multiple.

Résultats Empiriques

Le cadre a été évalué sur des tâches de suppression au niveau de l'objet et de la scène en utilisant le socle Qwen-Image-Edit-2509 avec un affinage LoRA. Trois configurations d'entraînement ont été comparées sous des budgets équivalents :

1. OpenData-30K : 30 000 échantillons d'entraînement publics.
2. OpenData+SceneForge-30K : Données publiques mélangées avec des échantillons SceneForge.
3. SceneForge-16K : Seulement 16 000 échantillons SceneForge.

Principales Constatations :

• Gains de Performance : Les modèles entraînés avec une supervision SceneForge (OpenData+SceneForge-30K) ont nettement surpassé ceux entraînés uniquement sur des données publiques (OpenData-30K) sur tous les benchmarks (OpenData-30K, RORem, RemovalBench) et métriques (PSNR, SSIM, LPIPS).
• Efficacité des Données : La configuration SceneForge-16K a obtenu les meilleurs résultats sur chaque métrique pour les quatre ensembles de tests, malgré l'utilisation de moins d'échantillons totaux que les configurations 30K. Cela suggère qu'une supervision de haute qualité et cohérente avec l'intervention l'emporte sur des pools d'entraînement plus vastes et mélangés.
• Améliorations Qualitatives : Dans des scénarios difficiles impliquant des ombres et des réflexions complexes (Removal-HardEffects), les modèles entraînés avec SceneForge ont démontré une capacité supérieure à supprimer les effets visuels secondaires associés et à restaurer des arrière-plans cohérents par rapport aux modèles de base.
• Cohérence Multi-Vue : Dans le cadre multi-vue (SceneForge-Removal M), le cadre a maintenu une cohérence spatiale à travers des points de vue divers (chevauchement élevé et angles divers) car tous les rendus étaient dérivés du même état de monde 3D persistant.

Signification et Revendications

L'article revendique que SceneForge fournit une fondation pratique et évolutive pour l'apprentissage multimodal cohérent avec l'intervention. En modélisant la supervision comme des transitions d'état structurées dans des mondes modifiables, le cadre résout le problème d'alignement inhérent aux jeux de données au niveau de l'observation. Les auteurs affirment que cette approche :

• Génère des sorties alignées (contrefactuels, décompositions, effets) sans appariement d'espace image post-hoc.
• Offre un moteur flexible capable de s'étendre à une supervision linguistique plus riche et à une plus grande diversité d'actifs.
• Démontre qu'une « supervision plus propre et plus cohérente avec l'intervention » peut produire une utilité en aval supérieure par rapport à des jeux de données plus vastes et moins structurés.

Les auteurs positionnent SceneForge non pas comme un remplacement pour les jeux de données réels ou hybrides, mais comme un moteur complémentaire qui répond au besoin spécifique de cohérence sous les modifications, les points de vue et les interventions au niveau de la scène.