Riepilogo Tecnico: SceneForge

Enunciato del Problema

I moderni sistemi di apprendimento multimodale richiedono una supervisione che non sia solo su larga scala, ma anche strutturata, controllabile e coerente attraverso modifiche, punti di vista e modalità. I dataset esistenti forniscono tipicamente istantanee a livello di osservazione (ad esempio, coppie di immagini prima-dopo) che espongono i risultati del rendering piuttosto che lo stato sottostante della scena. Di conseguenza, questi dataset non riescono a fornire interventi corrispondenti, controfattuali fisicamente coerenti, decomposizioni stratificate o segnali multimodali allineati per la stessa scena. Sebbene i dataset sintetici diagnostici (ad esempio, CLEVR) offrano una generazione controllabile, si concentrano su compiti di ragionamento fissi piuttosto che su una supervisione guidata da interventi per modelli generativi e di editing. Analogamente, le pipeline sintetiche 3D esistenti trattano spesso le scene come configurazioni di rendering statiche piuttosto che come mondi persistenti in cui le transizioni di stato possono essere manipolate per indurre aggiornamenti coerenti attraverso entità e viste.

Metodologia: Il Framework SceneForge

SceneForge è un framework incentrato sul mondo che genera supervisione strutturata trattando le scene come stati mondiali modificabili piuttosto che come collezioni di immagini indipendenti. La pipeline procede attraverso quattro fasi principali:

1. Rappresentazione dello Stato del Mondo

Invece di configurazioni di rendering piatte, SceneForge rappresenta una scena al tempo $t$ come una tupla strutturata $w_t = (S_t, D_t, A_t, R_t, E_t)$:

• $S_t$ (Elementi Strutturali): Componenti stabili come pavimenti, pareti e geometria fissa.
• $D_t$ (Oggetti Dinamici): Entità soggette a intervento (inserimento, rimozione, riposizionamento).
• $A_t$ (Attributi): Proprietà semantiche, geometriche e fisiche (categoria, posa, materiale, stato di supporto).
• $R_t$ (Relazioni): Dipendenze come supporto, contenimento, occlusione e visibilità.
• $E_t$ (Fattori Ambientali): Condizioni di illuminazione e rendering.

Questa rappresentazione garantisce che la scena sia trattata come un sistema persistente in cui le modifiche agli oggetti dinamici si propagano attraverso vincoli strutturali e relazionali.

2. Modello di Intervento

Un intervento $\iota$ è definito come un'operazione esplicita su oggetti dinamici o variabili ambientali (ad esempio, rimozione di oggetti, modifica dell'illuminazione). Il sistema applica una modifica provvisoria $\tilde{w}_{t+1} = I(w_t, \iota)$. Crucialmente, questa fase include moduli di interrogazione della scena per verificare la validità, assicurando che le modifiche siano fisicamente plausibili (ad esempio, oggetti posizionati su superfici di supporto valide, nessuna collisione) e semanticamente coerenti prima del rendering.

3. Propagazione dello Stato Consapevole delle Dipendenze

Per gestire le conseguenze non locali delle modifiche locali, SceneForge applica un operatore di propagazione $P$ per aggiornare lo stato del mondo: $w_{t+1} = P(\tilde{w}_{t+1})$. Questo passo ricalcola visibilità, occlusione, relazioni di supporto ed effetti di illuminazione (ombre, riflessi) basandosi sul nuovo stato. Ciò garantisce che tutti i segnali di supervisione a valle rimangano semanticamente e fisicamente coerenti con il mondo modificato, distinguendo questo approccio dalla generazione ingenua di immagini "prima-dopo".

4. Generazione di Supervisione Multimodale

Dalla transizione coerente dello stato del mondo, il framework renderizza supervisione allineata attraverso più modalità ($y_m = G_m(w_t, w_{t+1}, c)$). Poiché tutti gli output derivano dallo stesso grafo della scena, sono allineati per costruzione. Gli output generati includono:

• Osservazioni RGB e rendering multi-vista.
• Modifiche controfattuali (rimozione di oggetti).
• Livelli di decomposizione (maschere di oggetti, completamenti amodali).
• Canali consapevoli degli effetti (ombre, riflessi, illuminazione).
• Annotazioni semantiche e relazionali.

Istanza del Dataset

Gli autori hanno istanziato SceneForge utilizzando Infinigen e Blender per creare una risorsa priva di problemi di licenza. Il dataset include:

• SceneForge (S): Un corpus a telecamera singola con 2.369 stanze e 25.688 livelli collegati agli oggetti.
• SceneForge (M): Un corpus a telecamera multipla con 517 stanze e 2.772 istanze multi-vista registrate sotto 8 impostazioni di telecamera.
• Compiti Derivati: Dataset filtrati per la rimozione di oggetti (SceneForge-Removal) e la rimozione strutturale a livello di scena (SceneForge-IndoorDynamicRemoval), per un totale di oltre 13.000 istanze modificate a vista singola e 4.000 a vista multipla.

Risultati Empirici

Il framework è stato valutato su compiti di rimozione a livello di oggetto e di scena utilizzando il backbone Qwen-Image-Edit-2509 con affinamento LoRA. Sono stati confrontati tre setting di addestramento con budget corrispondenti:

1. OpenData-30K: 30.000 campioni di addestramento pubblici.
2. OpenData+SceneForge-30K: Dati pubblici mescolati con campioni SceneForge.
3. SceneForge-16K: Solo 16.000 campioni SceneForge.

Risultati Chiave:

• Miglioramenti delle Prestazioni: I modelli addestrati con supervisione SceneForge (OpenData+SceneForge-30K) hanno superato significativamente quelli addestrati esclusivamente su dati pubblici (OpenData-30K) su tutti i benchmark (OpenData-30K, RORem, RemovalBench) e metriche (PSNR, SSIM, LPIPS).
• Efficienza dei Dati: Il setting SceneForge-16K ha ottenuto i migliori risultati su ogni metrica attraverso tutti e quattro i set di test, nonostante l'uso di un numero totale di campioni inferiore rispetto ai setting da 30K. Ciò suggerisce che una supervisione di alta qualità e coerente con gli interventi supera pool di addestramento più grandi e misti.
• Miglioramenti Qualitativi: In scenari difficili che coinvolgono ombre e riflessi complessi (Removal-HardEffects), i modelli addestrati con SceneForge hanno dimostrato una capacità superiore di rimuovere i relativi effetti visivi collaterali e ripristinare sfondi coerenti rispetto ai modelli di base.
• Coerenza Multi-Vista: Nel setting multi-vista (SceneForge-Removal M), il framework ha mantenuto la coerenza spaziale attraverso punti di vista diversi (alta sovrapposizione e angoli diversi) perché tutti i rendering erano derivati dallo stesso stato persistente del mondo 3D.

Significato e Affermazioni

Il documento afferma che SceneForge fornisce una base pratica e scalabile per l'apprendimento multimodale coerente con gli interventi. Modellando la supervisione come transizioni di stato strutturate in mondi modificabili, il framework risolve il problema di allineamento intrinseco nei dataset a livello di osservazione. Gli autori affermano che questo approccio:

• Genera output allineati (controfattuali, decomposizioni, effetti) senza corrispondenza nello spazio delle immagini a posteriori.
• Offre un motore flessibile che può estendersi a supervisione linguistica più ricca e a una maggiore diversità di asset.
• Dimostra che una "supervisione più pulita e coerente con gli interventi" può produrre un'utilità a valle superiore rispetto a dataset più grandi e meno strutturati.

Gli autori posizionano SceneForge non come un sostituto per dataset reali o ibridi, ma come un motore complementare che affronta la specifica necessità di coerenza sotto modifiche, punti di vista e interventi a livello di scena.