Technische Samenvatting: SceneForge

Probleemstelling

Moderne multimodale leersystemen vereisen supervisie die niet alleen grootschalig is, maar ook gestructureerd, controleerbaar en consistent over bewerkingen, gezichtspunten en modaliteiten. Bestaande datasets bieden doorgaans observatieniveau-snapshots (bijvoorbeeld voor-en-na afbeeldingsparen) die gerenderde outputs blootleggen in plaats van de onderliggende staat van de scène. Bijgevolg falen deze datasets om gekoppelde interventies, fysiek consistente contrafacten, gelaagde decomposities of uitgelijnde multimodale signalen voor dezelfde scène te bieden. Hoewel diagnostische synthetische datasets (bijvoorbeeld CLEVR) controleerbare generatie bieden, richten zij zich op vaste redeneertaken in plaats van op interventie-gedreven supervisie voor generatieve en bewerkingsmodellen. Evenzo behandelen bestaande synthetische 3D-pijplijnen scènes vaak als statische renderconfiguraties in plaats van als persistente werelden waar statietoestanden kunnen worden gemanipuleerd om consistente updates te induceren over entiteiten en gezichtspunten heen.

Methodologie: Het SceneForge-kader

SceneForge is een wereldcentrisch kader dat gestructureerde supervisie genereert door scènes te behandelen als bewerkbare wereldtoestanden in plaats van als verzamelingen van onafhankelijke afbeeldingen. De pijplijn doorloopt vier hoofdfasen:

1. Representatie van de Wereldtoestand

In plaats van vlakke renderconfiguraties, representeert SceneForge een scène op tijdstip $t$ als een gestructureerde tuple $w_t = (S_t, D_t, A_t, R_t, E_t)$:

• $S_t$ (Structurele Elementen): Stabiele componenten zoals vloeren, muren en vaste geometrie.
• $D_t$ (Dynamische Objecten): Entiteiten die onderhevig zijn aan interventie (invoegen, verwijderen, verplaatsen).
• $A_t$ (Attributen): Semantische, geometrische en fysieke eigenschappen (categorie, pose, materiaal, steunstatus).
• $R_t$ (Relaties): Afhankelijkheden zoals steun, bevatting, occlusie en zichtbaarheid.
• $E_t$ (Omgevingsfactoren): Verlichting en rendercondities.

Deze representatie zorgt ervoor dat de scène wordt behandeld als een persistent systeem waarbij wijzigingen in dynamische objecten zich voortplanten via structurele en relationele beperkingen.

2. Interventiemodel

Een interventie $\iota$ wordt gedefinieerd als een expliciete operatie op dynamische objecten of omgevingsvariabelen (bijvoorbeeld objectverwijdering, verlichtingswijziging). Het systeem past een voorlopige bewerking toe $\tilde{w}_{t+1} = I(w_t, \iota)$. Cruciaal is dat deze fase scène-vragende modules bevat om geldigheid te verifiëren, zodat bewerkingen fysiek plausibel zijn (bijvoorbeeld objecten geplaatst op geldige steunvlakken, geen botsingen) en semantisch coherent zijn voordat er wordt gerenderd.

3. Afhankelijkheidsbewuste State Propagatie

Om niet-lokale gevolgen van lokale bewerkingen te verwerken, past SceneForge een propagatie-operator $P$ toe om de wereldtoestand bij te werken: $w_{t+1} = P(\tilde{w}_{t+1})$. Deze stap herberekent zichtbaarheid, occlusie, steunrelaties en verlichtingseffecten (schaduwen, reflecties) op basis van de nieuwe staat. Dit zorgt ervoor dat alle downstream supervisiesignalen semantisch en fysiek consistent blijven met de bewerkte wereld, waardoor deze aanpak verschilt van naïeve "voor-en-na" afbeeldingsgeneratie.

4. Generatie van Multimodale Supervisie

Vanuit de consistente overgang van de wereldtoestand, rendeert het kader uitgelijnde supervisie over meerdere modaliteiten ($y_m = G_m(w_t, w_{t+1}, c)$). Omdat alle outputs afgeleid zijn van hetzelfde scenagraaf, zijn ze per constructie uitgelijnd. Gegenereerde outputs omvatten:

• RGB-observaties en multi-view renderings.
• Contrafactuele bewerkingen (objectverwijdering).
• Decompositielagen (objectmaskers, amodale completering).
• Effectbewuste kanalen (schaduwen, reflecties, verlichting).
• Semantische en relationele annotaties.

Dataset Instantiatie

De auteurs hebben SceneForge geïmplementeerd met behulp van Infinigen en Blender om een bron zonder licentieproblemen te creëren. De dataset omvat:

• SceneForge (S): Een corpus met één camera met 2.369 kamers en 25.688 object-gekoppelde lagen.
• SceneForge (M): Een corpus met meerdere camera's met 517 kamers en 2.772 geregistreerde multi-view instanties onder 8 camera-instellingen.
• Afgeleide Taken: Gefilterde datasets voor objectverwijdering (SceneForge-Removal) en structurele verwijdering op sceneniveau (SceneForge-IndoorDynamicRemoval), met in totaal meer dan 13.000 single-view en 4.000 multi-view bewerkte instanties.

Empirische Resultaten

Het kader werd geëvalueerd op taken voor verwijdering op objectniveau en sceneniveau met behulp van de Qwen-Image-Edit-2509-backbone met LoRA-finetuning. Drie trainingsinstellingen werden vergeleken onder gelijke budgetten:

1. OpenData-30K: 30K openbare trainingsstalen.
2. OpenData+SceneForge-30K: Openbare data gemengd met SceneForge-stalen.
3. SceneForge-16K: Uitsluitend 16K SceneForge-stalen.

Belangrijkste Bevindingen:

• Prestatiewinst: Modellen getraind met SceneForge-supervisie (OpenData+SceneForge-30K) presteerden significant beter dan die welke uitsluitend op openbare data waren getraind (OpenData-30K) over alle benchmarks (OpenData-30K, RORem, RemovalBench) en metrieken (PSNR, SSIM, LPIPS).
• Data-efficiëntie: De SceneForge-16K-instelling behaalde de beste resultaten op elke metriek over alle vier testsets, ondanks het gebruik van minder totale stalen dan de 30K-instellingen. Dit suggereert dat hoogwaardige, interventie-consistente supervisie zwaarder weegt dan grotere, gemengde trainingspools.
• Kwalitatieve Verbeteringen: In moeilijke scenario's met complexe schaduwen en reflecties (Removal-HardEffects) toonden SceneForge-getrainde modellen een superieur vermogen om bijbehorende visuele neveneffecten te verwijderen en consistente achtergronden te herstellen in vergelijking met basismodellen.
• Multi-view Consistentie: In de multi-view instelling (SceneForge-Removal M) behield het kader ruimtelijke consistentie over diverse gezichtspunten (hoge overlapping en diverse hoeken), omdat alle renders waren afgeleid van dezelfde persistente 3D-wereldtoestand.

Betekenis en Claims

De paper claimt dat SceneForge een praktische en schaalbare basis biedt voor interventie-consistente multimodale learning. Door supervisie te modelleren als gestructureerde statetoestanden in bewerkbare werelden, lost het kader het uitlijningsprobleem op dat inherent is aan datasets op observatieniveau. De auteurs stellen dat deze aanpak:

• Uitgelijnde outputs (contrafacten, decomposities, effecten) genereert zonder post-hoc matching in de afbeeldingsruimte.
• Een flexibel engine biedt die kan worden uitgebreid naar rijkere linguïstische supervisie en bredere diversiteit aan assets.
• Aantoont dat "schonere, meer interventie-consistente supervisie" superieure downstream bruikbaarheid kan opleveren in vergelijking met grotere, minder gestructureerde datasets.

De auteurs positioneren SceneForge niet als een vervanging voor echte of hybride datasets, maar als een complementaire engine die de specifieke behoefte aan consistentie onder bewerkingen, gezichtspunten en interventies op sceneniveau aanpakt.