PhyEdit: Towards Real-World Object Manipulation via Physically-Grounded Image Editing
यह शोध पत्र PhyEdit को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो स्पष्ट 3D ज्यामितीय सिमुलेशन और संयुक्त 2D-3D पर्यवेक्षण का लाभ उठाकर इमेज एडिटिंग में वास्तविक दुनिया की वस्तु हेरफेर (object manipulation) को बढ़ाता है, जिसे एक नए डेटासेट (RealManip-40K) और बेंचमार्क (ManipEval) द्वारा समर्थित किया गया है ताकि मौजूदा मॉडलों की तुलना में बेहतर भौतिक सटीकता और स्थानिक निरंतरता प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डिजिटल फोटो एडिटर के साथ खेल रहे हैं, उस तरह का जहाँ आप एक तस्वीर के बाईं ओर से बिल्ली को दाईं ओर खींच सकते हैं। इनमें से अधिकांश उपकरण एक सपाट स्टिकर की तरह काम करते हैं: वे बस छवि को 2D स्क्रीन पर इधर-उधर खिसकाते हैं। लेकिन वास्तविक दुनिया सपाट नहीं है; इसमें गहराई है। यदि आप वास्तविक जीवन में एक खिलौना कार को अपने करीब लाते हैं, तो वह केवल बगल में नहीं खिसकती; वह बड़ी हो जाती है, उसके विवरण स्पष्ट हो जाते हैं, और वह पीछे की चीजों के दृश्य को बाधित कर सकती है। यह "3D हेरफेर" (3D manipulation) का पेचीदा हिस्सा है। कंप्यूटर विज्ञान में। वैज्ञानिक कंप्यूटर को यह समझने के लिए सिखाने की कोशिश कर रहे हैं कि गहराई, परिप्रेक्ष्य और भौतिकी के नियम क्या हैं ताकि जब वे एक तस्वीर को संपादित करें, तो वस्तुएं वास्तविक चीजों की तरह व्यवहार करें, न कि केवल सपाट स्टिकर की तरह। यह महत्वपूर्ण है क्योंकि यदि हम चाहते हैं कि कंप्यूटर रोबोट को चीजें हिलाने में मदद करे या वास्तविकता का अनुकरण करने वाले "विश्व मॉडल" (world models) बनाने में मदद करे, तो कंप्यूटर को यह जानना आवश्यक है कि कोई वस्तु दीवार के माध्यम से नहीं जा सकती या बिना किसी कारण के अपना आकार नहीं बदल सकती।
यहाँ PhyEdit आता है, जो झेजियांग विश्वविद्यालय के शोधकर्ताओं द्वारा विकसित एक नया टूल है जो इस "सपाट स्टिकर" वाली समस्या को हल करने की कोशिश करता है। PhyEdit को एक डिजिटल मूर्तिकार के रूप में समझें जो केवल कैनवास पर पेंट नहीं करता है बल्कि पहले अपने दिमाग में दृश्य का 3D मॉडल बनाता है। जब आप PhyEdit से कहते हैं कि "इस केले को बाईं ओर ले जाओ," तो यह केवल पिक्सेल को स्लाइड नहीं करता है। इसके बजाय, यह यह अनुमान लगाने के लिए एक विशेष "3D फाउंडेशन मॉडल" का उपयोग करता है कि केला कितनी गहराई पर है, उसे एक आभासी 3D स्थान में एक सपाट तस्वीर से बाहर निकालता है, उसे ठीक वहीं ले जाता है जहाँ आप चाहते हैं, और फिर उसे वापस नीचे प्रोजेक्ट करता है। महत्वपूर्ण रूप से, यह अपने काम की जांच करने के लिए एक "संयुक्त पर्यवेक्षण" (joint supervision) प्रणाली का उपयोग करता है, जो एक शिक्षक की तरह है जो अंतिम ड्राइंग (2D छवि) और 3D ब्लूप्रिंट (डेप्थ मैप) दोनों को ग्रेड देता है ताकि यह सुनिश्चित हो सके कि वस्तु अजीब तरह से सिकुड़ी या बढ़ी नहीं है।
शोधकर्ताओं ने पाया कि जबकि मौजूदा उपकरण अक्सर 3D में वस्तुओं को हिलाने की कोशिश करते समय उनके आकार या स्थिति को बिगाड़ देते हैं, PhyEdit चीजों को भौतिक रूप से सटीक रखने में बहुत बेहतर है। इसे साबित करने के लिए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने RealManip-40K नामक एक विशाल नया डेटासेट बनाया, जिसमें 40,000 वास्तविक-दुनिया की तस्वीरों के जोड़े शामिल हैं जो 3D स्थान में वस्तुओं को हिलाते हुए दिखाते हैं, साथ ही गहराई के माप भी दिए गए हैं। उन्होंने विभिन्न AI मॉडलों द्वारा इन गतिविधियों को संभालने की क्षमता को ग्रेड देने के लिए ManipEval नामक एक परीक्षण भी बनाया। जब उन्होंने परीक्षण चलाए, तो PhyEdit ने कई अन्य तरीकों को पीछे छोड़ दिया, जिनमें कुछ बहुत शक्तिशाली व्यावसायिक मॉडल भी शामिल थे जिनका उपयोग करने के लिए पैसे देने पड़ते हैं। उदाहरण के लिए, वस्तु की नई स्थिति लक्ष्य के कितने करीब थी, यह मापने वाले एक विशिष्ट परीक्षण पर, PhyEdit का स्कोर 65.33 (0 से 100 के पैमाने पर) था, जबकि अगला सर्वश्रेष्ठ व्यावसायिक मॉडल, Nano Banana Pro, का स्कोर 59.97 था। 3D आकार की सटीकता (Chamfer distance) के मामले में, PhyEdit ने 18.93 का स्कोर प्राप्त किया, जो व्यावसायिक मॉडल के 25.33 की तुलना में काफी कम (जो कि बेहतर है) था।
पेपर सुझाव देता है कि यह दृष्टिकोण इसलिए काम करता है क्योंकि यह एक "प्लग-एंड-प्ले" 3D गाइड और एक प्रशिक्षण पद्धति को जोड़ता है जो 2D छवि और 3D डेप्थ दोनों को एक साथ देखती है। हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह अभी तक कोई जादुई छड़ी नहीं है। सिस्टम अभी भी संघर्ष करता है यदि वह 3D मैप जो वह बनाता है वह गलत है (जैसे कि यदि डेप्थ सेंसर किसी चमकदार वस्तु के कारण भ्रमित हो जाता है) या यदि अनुरोध बहुत चरम है, जैसे किसी वस्तु को कैमरे के इतना करीब ले जाना कि वह लेंस के पीछे गायब हो जाए। उन्होंने यह भी पाया कि जबकि PhyEdit चीजों को हिलाने में महान है, यह आवश्यक रूप से वस्तु के रंग या बनावट को बदलने में बेहतर नहीं है जब तक कि आप इसे बहुत विशिष्ट निर्देश न दें। अंततः, पेपर सुझाव देता है कि इमेज एडिटिंग को वास्तविक भौतिकी और 3D ज्यामिति में स्थापित करके, हम AI को वास्तव में दुनिया को समझने और हेरफेर करने की दिशा में एक महत्वपूर्ण कदम उठा रहे हैं, न कि केवल एक सपाट स्क्रीन पर पिक्सेल को पुनर्व्यवस्थित करने की दिशा में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।