💻 computer science

SceneForge: Structured World Supervision from 3D Interventions

SceneForge एक हस्तक्षेप-संचालित (intervention-driven) ढांचा है जो दृश्यों को अर्थपूर्ण, ज्यामितीय और भौतिक निर्भरताओं वाले संपादन योग्य 3D संसारों के रूप में मॉडल करके संरचित, सुसंगत मल्टीमॉडल पर्यवेक्षण उत्पन्न करता है, जिससे ऑब्जेक्ट और सीन हटाने के कार्यों में प्रदर्शन में सुधार करने वाला संरेखित काउंटरफैक्चुअल (counterfactual) और मल्टी-व्यू डेटा बनाने में सक्षम होता है।

मूल लेखक: Jizhizi Li, Jiayang Ao, Danny Wicks, Petru-Daniel Tudosiu

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jizhizi Li, Jiayang Ao, Danny Wicks, Petru-Daniel Tudosiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को फोटो एडिट करना सिखाने की कोशिश कर रहे हैं। यदि आप रोबोट को केवल एक "पहले" की तस्वीर और एक "बाद" की तस्वीर दिखाते हैं, तो उसे बीच में क्या हुआ, इसका अनुमान लगाना पड़ता है। क्या रोशनी बदलने से छाया (shadow) हिल गई? क्या किसी वस्तु को हटाने से बैकग्राउंड दिखाई देने लगा? 3D दुनिया के "नियमों" को जाने बिना, रोबोट अक्सर गलतियाँ करता है, जैसे कि पीछे कोई तैरती हुई छाया छोड़ देना या बैकग्राउंड को गलत टेक्सचर से भर देना।

SceneForge एक नया सिस्टम है जिसे इसे ठीक करने के लिए डिज़ाइन किया गया है, जो रोबोट को केवल सपाट तस्वीरों के बजाय एक 3D वर्चुअल दुनिया का उपयोग करके सिखाता है।

यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

1. "लेगो वर्ल्ड" (Lego World) बनाम "फोटोग्राफ"

अधिकांश वर्तमान AI ट्रेनिंग डेटा फोटोग्राफ्स के एक ढेर की तरह है। आपके पास एक कमरे की फोटो है, और उसी कमरे की एक और फोटो है जिसमें से एक कुर्सी हटा दी गई है। AI को यह अनुमान लगाना पड़ता है कि कुर्सी के नीचे फर्श कैसा दिखता है।

SceneForge अलग है। यह एक डिजिटल लेगो वर्ल्ड बनाता है।

इस दुनिया में, हर वस्तु (एक कुर्सी, एक मेज, एक दीवार) एक वास्तविक 3D टुकड़ा है जिसके अपने नियम हैं।
सिस्टम जानता है कि कुर्सी फर्श पर बैठी है, अपनी छाया डालती है, और शायद रोशनी को रिफ्लेक्ट (परावर्तित) भी करती है।
जब आप सीन को "एडिट" करना चाहते हैं, तो आप केवल फोटो में कुर्सी को पेंट करके नहीं मिटाते। आप भौतिक रूप से उस लेगो कुर्सी को उठाते हैं और उसे दुनिया से हटा देते हैं।

2. "डोमिनो प्रभाव" (The Domino Effect - Interventions)

पेपर में इसे "इंटरवेंशन" (Intervention) कहा गया है। इसे डोमिनो की एक पंक्ति को गिराने जैसा समझें।

पुराना तरीका: आप एक तस्वीर से एक डोमिनो को मिटा देते हैं। जहाँ वह था, वह स्थान बस खाली रह जाता है।
SceneForge का तरीका: आप डोमिनो को हटा देते हैं। क्योंकि सिस्टम दुनिया के भौतिक विज्ञान (physics) को जानता है, यह स्वचालित रूप से बाकी सब कुछ अपडेट कर देता है।
- डोमिनो के नीचे का फर्श प्रकट हो जाता है।
- डोमिनो द्वारा डाली जा रही छाया गायब हो जाती है।
- पास के दर्पण में दिखने वाला प्रतिबिंब (reflection) बदल जाता है।
- खाली जगह को भरने के लिए लाइटिंग एडजस्ट हो जाती है।

क्योंकि सिस्टम एक ही बार में पूरी दुनिया की स्थिति (world state) को अपडेट कर देता है, इसलिए हर परिणाम (नया फर्श, नई छाया, नया प्रतिबिंब) एक-दूसरे के साथ पूरी तरह सुसंगत होता है। वे सभी 3D दुनिया के नियमों द्वारा "एलाइन" (aligned) होते हैं, न कि AI द्वारा अनुमानित होते हैं।

3. "मास्टर ब्लूप्रिंट" (The Master Blueprint)

लेखकों ने Infinigen और Blender जैसे टूल्स का उपयोग करके इन 3D दुनियाओं की एक विशाल लाइब्रेरी (2,000 से अधिक कमरे) बनाई है।

उन्होंने केवल तस्वीरें नहीं लीं; उन्होंने हर सीन के लिए एक मास्टर ब्लूप्रिंट बनाया।
इस एक ब्लूप्रिंट से, वे जनरेट कर सकते हैं:
- "पहले" की फोटो।
- "बाद" की फोटो (एक वस्तु को हटाने के बाद)।
- "मास्क" (जो बिल्कुल दिखाता है कि क्या हटाया गया था)।
- "शैडो लेयर" (जो केवल छाया को दिखाती है)।
- विभिन्न कोणों से दृश्य (जैसे छत या कोने से कमरे को देखना)।

ये सभी अलग-अलग दृश्य और लेयर्स एक ही एकल सत्य स्रोत (single source of truth) से आते हैं। इसका मतलब है कि AI ट्रेनिंग डेटा पूरी तरह से सिंक्रोनाइज़्ड है।

4. परिणाम: एक बेहतर छात्र

शोधकर्ताओं ने एक AI को छवियों से वस्तुओं को हटाना सिखाकर इसका परीक्षण किया। उन्होंने तीन छात्रों की तुलना की:

छात्र A: ऑनलाइन मिले 30,000 मानक "पहले/बाद" के फोटो पेयर्स पर प्रशिक्षित।
छात्र B: उन ऑनलाइन फोटो और कुछ SceneForge डेटा के मिश्रण पर प्रशिक्षित।
छात्र C: केवल SceneForge डेटा (कम कुल इमेज, लेकिन उच्च गुणवत्ता) पर प्रशिक्षित।

परिणाम:
छात्र C (जो "लेगो वर्ल्ड" डेटा पर प्रशिक्षित था) सबसे अच्छा प्रदर्शन करता है। भले ही उसने कम उदाहरण देखे, लेकिन उसने हजारों बिखरी हुई और असंबद्ध फोटो देखने वाले छात्र की तुलना में छाया और बैकग्राउंड कैसे व्यवहार करते हैं, इसके नियमों को बेहतर ढंग से सीखा।

जब उससे एक कुर्सी हटाने के लिए कहा गया, तो छात्र C ने उसके नीचे की छाया को भी सही ढंग से हटाया।
छात्र A अक्सर छाया को पीछे छोड़ देता था या बैकग्राउंड को गलत रंग से भर देता था।

सारांश

SceneForge एक ऐसा टूल है जो AI को यह अनुमान लगाने से रोकता है कि दुनिया कैसे काम करती है। उसे केवल असंबद्ध फोटो का ढेर दिखाने के बजाय, यह उसे एक खेलने योग्य 3D दुनिया देता है। इस वर्चुअल दुनिया में वस्तुओं को हटाना अभ्यास करने देकर, AI छाया, प्रतिबिंब और छिपे हुए बैकग्राउंड जैसे जटिल प्रभावों को स्वाभाविक रूप से संभालना सीख जाता है। इससे बहुत अधिक स्मार्ट और यथार्थवादी इमेज एडिटिंग संभव होती है।

तकनीकी सारांश: SceneForge

समस्या विवरण

आधुनिक मल्टीमॉडल लर्निंग सिस्टम्स को ऐसे पर्यवेक्षण (supervision) की आवश्यकता होती है जो न केवल बड़े पैमाने पर हो, बल्कि संपादन (edits), दृष्टिकोण (viewpoints) और मोडैलिटीज के बीच संरचित, नियंत्रणीय और सुसंगत भी हो। मौजूदा डेटासेट आमतौर पर अवलोकन-स्तरीय स्नैपशॉट्स (जैसे, पहले-और-बाद के इमेज पेयर्स) प्रदान करते हैं जो अंतर्निहित दृश्य अवस्था (underlying scene state) के बजाय रेंडर किए गए आउटपुट को प्रदर्शित करते हैं। फलस्वरूप, ये डेटासेट मेल खाते हुए हस्तक्षेपों (matched interventions), भौतिक रूप से सुसंगत काउंटरफैक्चुअल (counterfactuals), स्तरित अपघटन (layered decompositions), या एक ही दृश्य के लिए संरेखित मल्टीमॉडल संकेतों को प्रदान करने में विफल रहते हैं। जबकि नैदानिक सिंथेटिक डेटासेट (जैसे, CLECLR) नियंत्रणीय जनरेशन प्रदान करते हैं, वे जनरेटिव और एडिटिंग मॉडल्स के लिए हस्तक्षेप-संचालित पर्यवेक्षण के बजाय निश्चित तर्क कार्यों (reasoning tasks) पर ध्यान केंद्रित करते हैं। इसी तरह, मौजूदा सिंथेटिक 3D पाइपलाइन्स अक्सर दृश्यों को स्थिर रेंडरिंग कॉन्फ़िगरेशन के रूप में मानती हैं, न कि निरंतर दुनियाओं (persistent worlds) के रूप में जहाँ अवस्था संक्रमण (state transitions) को संस्थाओं और दृश्यों में सुसंगत अपडेट प्रेरित करने के लिए मैनिपुलेट किया जा सके।

कार्यप्रणाली: SceneForge फ्रेमवर्क

SceneForge एक विश्व-केंद्रित (world-centric) फ्रेमवर्क है जो दृश्यों को स्वतंत्र छवियों के संग्रह के बजाय संपादन योग्य विश्व अवस्थाओं (editable world states) के रूप में मानकर संरचित पर्यवेक्षण उत्पन्न करता है। यह पाइपलाइन चार मुख्य चरणों में आगे बढ़ती है:

1. विश्व अवस्था प्रतिनिधित्व (World State Representation)

फ्लैट रेंडरिंग कॉन्फ़िगरेशन के बजाय, SceneForge समय $t$ पर एक दृश्य को एक संरचित टुपल $w_t = (S_t, D_t, A_t, R_t, E_t)$ के रूप में प्रस्तुत करता है:

$S_t$ (संरचनात्मक तत्व): स्थिर घटक जैसे फर्श, दीवारें और निश्चित ज्यामिति।
$D_t$ (गतिशील वस्तुएं): हस्तक्षेप (सम्मिलन, निष्कासन, पुनर्रोपण) के अधीन संस्थाएं।
$A_t$ (विशेषताएं): अर्थपूर्ण, ज्यामितीय और भौतिक गुण (श्रेणी, पोज़, सामग्री, सपोर्ट स्टेटस)।
$R_t$ (संबंध): निर्भरताएं जैसे सपोर्ट, कंटेनमेंट, ऑक्लूजन (occlusion) और विज़िबिलिटी।
$E_t$ (पर्यावरणीय कारक): लाइटिंग और रेंडरिंग स्थितियां।

यह प्रतिनिधित्व सुनिश्चित करता है कि दृश्य को एक निरंतर प्रणाली के रूप में माना जाए जहाँ गतिशील वस्तुओं में परिवर्तन संरचनात्मक और संबंधपरक बाधाओं के माध्यम से प्रसारित होते हैं।

2. हस्तक्षेप मॉडल (Intervention Model)

एक हस्तक्षेप $\iota$ को गतिशील वस्तुओं या पर्यावरणीय चरों (जैसे, वस्तु हटाना, लाइटिंग संशोधन) पर एक स्पष्ट ऑपरेशन के रूप में परिभाषित किया जाता है। सिस्टम एक अनंतिम संपादन (provisional edit) $\tilde{w}_{t+1} = I(w_t, \iota)$ लागू करता है। महत्वपूर्ण रूप से, इस चरण में वैधता सत्यापित करने के लिए सीन-क्वेरीइंग मॉड्यूल शामिल हैं, जो यह सुनिश्चित करते हैं कि संपादन भौतिक रूप से प्रशंसनीय हों (जैसे, वैध सपोर्ट सतहों पर रखी गई वस्तुएं, कोई टकराव नहीं) और रेंडरिंग से पहले अर्थपूर्ण रूप से सुसंगत हों।

3. निर्भरता-जागरूक अवस्था प्रसार (Dependency-Aware State Propagation)

स्थानीय संपादन के गैर-स्थानीय परिणामों को संभालने के लिए, SceneForge विश्व अवस्था को अपडेट करने के लिए एक प्रोपेगेशन ऑपरेटर $P$ लागू करता है: $w_{t+1} = P(\tilde{w}_{t+1})$ । यह चरण नई अवस्था के आधार पर विज़िबिलिटी, ऑक्लूजन, सपोर्ट संबंधों और लाइटिंग प्रभावों (छाया, प्रतिबिंब) को पुनर्गणना करता है। यह सुनिश्चित करता है कि सभी डाउनस्ट्रीम पर्यवेक्षण संकेत संपादित विश्व के साथ अर्थपूर्ण और भौतिक रूप से सुसंगत बने रहें, जो इस दृष्टिकोण को साधारण "पहले-और-बाद" की इमेज जनरेशन से अलग करता है।

4. मल्टीमॉडल पर्यवेक्षण जनरेशन (Multimodal Supervision Generation)

सुसंगत विश्व अवस्था संक्रमण से, फ्रेमवर्क कई मोडैलिटीज के बीच संरेखित पर्यवेक्षण को रेंडर करता है ( $y_m = G_m(w_t, w_{t+1}, c)$ )। क्योंकि सभी आउटपुट एक ही सीन ग्राफ से प्राप्त होते हैं, वे निर्माण द्वारा संरेखित (aligned by construction) हैं। उत्पन्न आउटपुट में शामिल हैं:

RGB अवलोकन और मल्टी-व्यू रेंडरिंग्स।
काउंटरफैक्चुअल संपादन (वस्तु हटाना)।
अपघटन परतें (ऑब्जेक्ट मास्क, अमोडल कॉम्प्लीशन)।
प्रभाव-जागरूक चैनल (छाया, प्रतिबिंब, लाइटिंग)।
अर्थपूर्ण और संबंध संबंधी एनोटेशन।

डेटासेट इंस्टेंशिएशन (Dataset Instantiation)

लेखकों ने एक लाइसेंस-स्वच्छ संसाधन बनाने के लिए Infinigen और Blender का उपयोग करके SceneForge को स्थापित किया। डेटासेट में शामिल हैं:

SceneForge (S): 2,369 कमरों और 25,688 ऑब्जेक्ट-लिंक्ड लेयर्स के साथ एक सिंगल-कैमरा कॉर्पस।
SceneForge (M): 8 कैमरा सेटिंग्स के तहत 517 कमरों और 2,772 रजिस्टर्ड मल्टी-व्यू इंस्टेंस के साथ एक मल्टी-कैमरा कॉर्पस।
व्युत्पन्न कार्य (Derived Tasks): ऑब्जेक्ट रिमूवल (SceneForge-Removal) और सीन-लेवल स्ट्रक्चरल रिमूवल (SceneForge-IndoorDynamicRemoval) के लिए फ़िल्टर किए गए डेटासेट, जिनमें कुल 13,000 से अधिक सिंगल-व्यू और 4,000 मल्टी-व्यू एडिटेड इंस्टेंस शामिल हैं।

अनुभवजन्य परिणाम (Empirical Results)

फ्रेमवर्क का मूल्यांकन Qwen-Image-Edit-2509 बैकबोन के साथ LoRA फाइन-ट्यूनिंग का उपयोग करके ऑब्जेक्ट-लेवल और सीन-लेवल रिमूवल कार्यों के लिए किया गया। तीन प्रशिक्षण सेटिंग्स की समान बजट के तहत तुलना की गई:

OpenData-30K: 30K सार्वजनिक प्रशिक्षण नमूने।
OpenData+SceneForge-30K: सार्वजनिक डेटा के साथ SceneForge के नमूने।
SceneForge-16K: केवल 16K SceneForge नमूने।

मुख्य निष्कर्ष:

प्रदर्शन लाभ: SceneForge पर्यवेक्षण के साथ प्रशिक्षित मॉडल (OpenData+SceneForge-30K) सभी बेंचमार्क (OpenData-30K, RORem, RemovalBench) और मेट्रिक्स (PSNR, SSIM, LPIPS) में केवल सार्वजनिक डेटा (OpenData-30K) से प्रशिक्षित मॉडलों की तुलना में काफी बेहतर रहे।
डेटा दक्षता: SceneForge-16K सेटिंग ने सभी चार टेस्ट सेट्स पर हर मेट्रिक पर सर्वश्रेष्ठ परिणाम प्राप्त किए, बावजूद इसके कि इसमें 30K सेटिंग्स की तुलना में कम कुल नमूने थे। यह सुझाव देता है कि उच्च-गुणवत्ता वाला, हस्तक्षेप-सुसंगत पर्यवेक्षण बड़े, कम संरचित प्रशिक्षण पूल्स की तुलना में बेहतर परिणाम देता है।
गुणात्मक सुधार: जटिल छाया और प्रतिबिंबों (Removal-HardEffects) वाले कठिन मामलों में, SceneForge-प्रशिक्षित मॉडलों ने संबद्ध दृश्य प्रभावों को हटाने और सुसंगत बैकग्राउंड को बहाल करने में बेहतर क्षमता प्रदर्शित की।
मल्टी-व्यू निरंतरता: मल्टी-व्यू सेटिंग (SceneForge-Removal M) में, फ्रेमवर्क ने विविध दृष्टिकोणों (हाई-ओवरलैप और विविध कोण) के बीच स्थानिक निरंतरता बनाए रखी क्योंकि सभी रेंडर एक ही निरंतर 3D विश्व अवस्था से प्राप्त हुए थे।

महत्व और दावे

पेपर का दावा है कि SceneForge हस्तक्षेप-सुसंगत मल्टीमॉडल लर्निंग के लिए एक व्यावहारिक और स्केलेबल आधार प्रदान करता है। संपादन योग्य दुनियाओं में संरचित अवस्था संक्रमण के रूप में पर्यवेक्षण को मॉडल करके, फ्रेमवर्क अवलोकन-स्तरीय डेटासेट में निहित संरेखण समस्या को हल करता है। लेखक दावा करते हैं कि यह दृष्टिकोण:

पोस्ट-हॉक इमेज-स्पेस मैचिंग के बिना संरेखित आउटपुट (काउंटरफैक्चुअल, अपघटन, प्रभाव) उत्पन्न करता है।
एक लचीला इंजन प्रदान करता है जो समृद्ध भाषाई पर्यवेक्षण और व्यापक एसेट विविधता तक विस्तार कर सकता है।
यह प्रदर्शित करता है कि "स्वच्छ, अधिक हस्तक्षेप-सुसंगत पर्यवेक्षण" बड़े, कम संरचित डेटासेट्स की तुलना में बेहतर डाउनस्ट्रीम उपयोगिता दे सकता है।

लेखक SceneForge को वास्तविक या हाइब्रिड डेटासेट्स के विकल्प के रूप में नहीं, बल्कि एक पूरक इंजन के रूप में देखते हैं जो संपादन, दृष्टिकोण और सीन-लेवल हस्तक्षेपों के तहत निरंतरता की विशिष्ट आवश्यकता को संबोधित करता है।