Deployment-Aware Codec Selection for Learned RGB-D Compression in Edge--Cloud 3D Reconstruction

डिजिटल इमेजिंग की आधुनिक दुनिया में, कैमरे केवल दुनिया की एक सपाट तस्वीर लेने से कहीं अधिक काम करते हैं। स्मार्टफोन से लेकर विशेष सेंसर तक, कई उपकरण अब एक साथ दो चीजें रिकॉर्ड करते हैं: एक दृश्य का रंग और उसके भीतर हर बिंदु की दूरी। RGB-D डेटा के रूप में जानी जाने वाली यह संयोजन, एक समृद्ध, त्रि-आयामी (थ्री-डायमेंशनल) मानचित्र बनाता है जो कंप्यूटर को एक कमरे, एक जंगल या एक सड़क के आकार और लेआउट को समझने में सक्षम बनाता है। हालांकि, गहराई की इस अतिरिक्त जानकारी के साथ एक भारी कीमत भी आती है: यह उस डेटा की मात्रा को दोगुना कर देता है जिसे संग्रहीत या भेजा जाना आवश्यक है। जब यह डेटा ड्रोन या रोबोट जैसे छोटे, बैटरी से चलने वाले उपकरण पर कैप्चर किया जाता है और प्रोसेसिंग के लिए क्लाउड में एक शक्तिशाली कंप्यूटर पर भेजा जाता है, तो चुनौती यह होती है कि फ़ाइल के आकार को कैसे छोटा किया जाए बिना उन महत्वपूर्ण विवरणों को खोए जिनकी बाद में 3D आकार को फिर से बनाने के लिए आवश्यकता होती है।

वर्षों से, इंजीनियरों ने फ़ाइल आकार और छवि गुणवत्ता के बीच सही संतुलन खोजने की कोशिश की है। उन्होंने उन्नत कंप्यूटर प्रोग्राम विकसित किए हैं, जिन्हें अक्सर 'लर्नड कोडेक्स' कहा जाता है, जो पारंपरिक तरीकों की तुलना में छवियों को अधिक कुशलता से अनुमानित और संकुचित (कंप्रेस) करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करते हैं। मानक दृष्टिकोण यह रहा है कि उस एल्गोरिदम की तलाश की जाए जो स्पष्ट तस्वीर के लिए सबसे छोटी फ़ाइल बनाता है, यह मानते हुए कि यदि यह एक कंप्यूटर सिमुलेशन में अच्छा काम करता है, तो यह वास्तविक दुनिया में भी अच्छा काम करेगा। लेकिन यह धारणा अक्सर विफल हो जाती है जब डेटा को एक छोटे, ऊर्जा-सीमित उपकरण से एक दूरस्थ सर्वर तक जाना होता है। वास्तविक दुनिया भौतिक सीमाओं को पेश करती है: उपकरण के पास जटिल प्रोग्राम चलाने के लिए पर्याप्त मेमोरी नहीं हो सकती है, सॉफ्टवेयर डिवाइस के हार्डवेयर के साथ संगत नहीं हो सकता है, या इमेज को कंप्रेस करने में लगने वाला समय लाइव वीडियो फीड के लिए बहुत लंबा हो सकता है। एक तरीका जो ग्राफ पर एकदम सही दिखता है, वह बेकार हो सकता है यदि वह वास्तव में उस डिवाइस पर नहीं चल सकता जिसे डेटा भेजना है।

हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी और डालियन यूनिवर्सिटी ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने इस विसंगति को ठीक करने का संकल्प लिया। केवल सर्वोत्तम कंप्रेशन नंबरों को खोजने के बजाय, उन्होंने यह चुनने का एक नया तरीका डिजाइन किया कि किस कंप्रेशन टूल का उपयोग करना है। उन्होंने किसी विशिष्ट डिवाइस पर सॉफ्टवेयर को वास्तव में चलाने की क्षमता को एक प्राथमिक आवश्यकता के रूप में माना, जो कि चित्र की गुणवत्ता के समान ही महत्वपूर्ण है। उनका लक्ष्य एक पूर्ण प्रणाली बनाना था जहाँ एक एज डिवाइस पर लगा कैमरा एक 3D दृश्य को कैप्चर करे, उसे कंप्रेस करे, एक नेटवर्क के माध्यम से भेजे, और क्लाउड सर्वर पर इसे एक रंगीन 3D पॉइंट क्लाउड में पुनर्गठित करे, और यह सब हार्डवेयर की सख्त सीमाओं का सम्मान करते हुए हो।

शोधकर्ताओं ने इनडोर दृश्यों के एक मानक डेटासेट पर चार अलग-अलग प्रकार के AI-आधारित कंप्रेशन मॉडल का परीक्षण करके शुरुआत की। उन्होंने यह मापा कि फाइलें कितनी छोटी हुईं और छवियां कितनी स्पष्ट रहीं। जैसा कि अपेक्षित था, सबसे जटिल मॉडलों ने, जो पिक्सेल मानों का अनुमान लगाने के लिए परिष्कृत गणितीय संरचनाओं का उपयोग करते थे, सबसे कम डेटा दर पर सबसे उच्च गुणवत्ता के साथ सबसे छोटी फाइलें बनाईं। इनमें से एक उन्नत मॉडल ने, जिसने महत्वपूर्ण विवरणों पर ध्यान केंद्रित करने के लिए 'अटेंशन' नामक तकनीक का उपयोग किया था, बहुत कम डेटा दर पर बहुत उच्च गुणवत्ता स्कोर प्राप्त किया। हालांकि, जब शोधकर्ताओं ने देखा कि ये मॉडल वास्तविक डिवाइस पर कितनी देर तक चलते हैं, तो तस्वीर बदल गई। सबसे शक्तिशाली मॉडल अविश्वसनीय रूप से धीमा था, क्योंकि प्रत्येक फ्रेम को प्रोसेस करने में बहुत समय लगता था क्योंकि इसे एक सख्त, चरण-दर-चरण क्रम में मानों की गणना करनी पड़ती थी जिसे डिवाइस का हार्डवेयर तेज नहीं कर सकता था।

इसके बाद टीम ने अपने नए चयन पद्धति को लागू किया, जो किसी भी ऐसे मॉडल को बाहर कर देती है जो विशिष्ट वास्तविक दुनिया की बाधाओं को पूरा नहीं कर सकता है। उन्होंने उन मॉडलों की तलाश की जो एक निर्धारित समय सीमा के भीतर चल सकें, डिवाइस की मेमोरी में फिट हो सकें, और डिवाइस पर उपलब्ध विशिष्ट सॉफ्टवेयर टूल्स के साथ काम कर सकें। उन्होंने पाया कि सबसे तेज़, सबसे कुशल मॉडल वास्तव में एक सरल मॉडल था। इस मॉडल ने एक सीधा गणितीय दृष्टिकोण अपनाया जिसे डिवाइस का हार्डवेयर बहुत तेज़ी से संभाल सकता था। जबकि इस सरल मॉडल ने जटिल मॉडल की तुलना में थोड़े बड़े फ़ाइल आकार और थोड़ी कम छवि गुणवत्ता का उत्पादन किया, यह बहुत अधिक तेज़ था। वास्तव में, जटिल मॉडल को तैनात करने के लिए तैयार करने में सरल मॉडल की तुलना में साठ गुना से अधिक समय लगा। शोधकर्ताओं ने निष्कर्ष निकाला कि एक वास्तविक प्रणाली के लिए, "सर्वश्रेष्ठ" मॉडल वह नहीं है जिसमें उच्चतम सैद्धांतिक गुणवत्ता हो, बल्कि वह है जो कैमरे के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ी से चल सके।

इसे सिद्ध करने के लिए, टीम ने एक छोटे, शक्तिशाली कंप्यूटर बोर्ड 'जेटसन TX2' का उपयोग करके एक पूर्ण कार्यशील प्रणाली बनाई ताकि वह एज डिवाइस के रूप में कार्य कर सके। उन्होंने इसे रंग और गहराई की छवियां कैप्चर करने, अपने चुने हुए सरल मॉडल का उपयोग करके उन्हें कंप्रेस करने और डेटा को स्थानीय नेटवर्क पर भेजने के लिए प्रोग्राम किया। रिसीविंग एंड पर, एक क्लाउड सर्वर ने डेटा को डिकोड किया और उसे वापस एक 3D पॉइंट क्लाउड में बदल दिया। उन्होंने इस यात्रा के हर चरण को मापा, कैमरा द्वारा तस्वीर लेने के क्षण से लेकर स्क्रीन पर 3D आकार दिखने तक। सिस्टम ने लगभग तीस फ्रेम प्रति सेकंड की दर से, नब्बे मिलीसेकंड से थोड़े अधिक के कुल विलंब (डिली) के साथ, सफलतापूर्वक एक पुनर्गठित 3D दृश्य वितरित किया। यह गति कई इंटरैक्टिव अनुप्रयोगों, जैसे रिमोट टेलीप्रेजेंस या रीयल-टाइम मैपिंग के लिए पर्याप्त है।

शोधकर्ताओं ने अपने नए सिस्टम की तुलना स्थापित, पारंपरिक कंप्रेशन टूल्स से भी की जो पहले से ही हार्डवेयर में निर्मित हैं। ये पुराने उपकरण, जो रंग और गहराई को अलग-अलग संभालते हैं, बहुत तेज़ थे, और उन्होंने केवल दस मिलीसेकंड से कुछ अधिक समय में छवियों को कंप्रेस किया। हालांकि, समान स्तर की गुणवत्ता प्राप्त करने के लिए उन्हें थोड़ा अधिक डेटा की आवश्यकता थी। नया AI-आधारित सिस्टम, हालांकि धीमा था, गहराई के मापन में कम त्रुटियों के साथ 3D पुनर्निर्माण करने में सक्षम रहा, जिसका अर्थ है कि 3D आकार अधिक सटीक थे। इस ट्रेड-ऑफ ने दिखाया कि जब प्राथमिकता 3D आकार की सटीकता हो, तो नया तरीका एक व्यवहार्य विकल्प हो सकता है।

उनकी सफलता का एक प्रमुख हिस्सा यह था कि उन्होंने डिवाइस पर सॉफ्टवेयर को कैसे प्रबंधित किया। उन्होंने पूरे जटिल AI प्रोग्राम को डिवाइस के विशेष ग्राफिक्स प्रोसेसर पर चलाने की कोशिश नहीं की। इसके बजाय, उन्होंने काम को विभाजित किया। प्रोग्राम के मुख्य हिस्सों जो छवि को रूपांतरित करते हैं, उन्हें डिवाइस के हार्डवेयर पर कुशलतापूर्वक चलने के लिए परिवर्तित किया गया, जबकि डेटा को स्ट्रीम में पैक करने के अंतिम चरण को एक अलग, संगत सॉफ्टवेयर लेयर द्वारा संभाला गया। इस हाइब्रिड दृष्टिकोण ने उन्हें हार्डवेयर के गति लाभ प्राप्त करने में मदद की, बिना उन हिस्सों पर अटकें जिन्हें हार्डवेयर संभाल नहीं सकता था। उन्होंने पाया कि सॉफ्टवेयर को व्यवस्थित करने का यह विशिष्ट तरीका अत्यंत महत्वपूर्ण था; पूरे प्रोग्राम को एक एकल, अन-ऑप्टिमाइज्ड तरीके से चलाने का प्रयास करना बहुत धीमा होता।

अध्ययन ने यह भी देखा कि नेटवर्क पर डेटा कैसे व्यवहार करता है। उन्होंने संकुचित छवियों को छोटे पैकेटों में भेजा, ठीक वैसे ही जैसे वीडियो स्ट्रीमिंग सेवाएं करती हैं, और जांचा कि सिस्टम देरी या डेटा हानि को कैसे संभालता है। उन्होंने पाया कि सिस्टम मजबूत था, और नेटवर्क की स्थितियां आदर्श न होने पर भी छवियों को सही ढंग से पुनर्गठित करने में सक्षम था। कैमरा से क्लाउड पर अंतिम 3D पुनर्निर्माण तक जाने में लगने वाला कुल समय औसतन लगभग इक्यानवे मिलीसेकंड मापा गया। इसमें छवि कैप्चर करने, कंप्रेस करने, भेजने और पुनर्गठित करने का समय शामिल है। शोधकर्ताओं ने नोट किया कि इस समय में सबसे बड़ा बदलाव नेटवर्क ट्रांसमिशन से आया, जो अपेक्षित है, लेकिन सिस्टम स्थिर और सुसंगत बना रहा।

अंततः, शोधकर्ताओं ने प्रदर्शित किया कि कंप्रेशन टूल चुनना केवल सबसे छोटी फ़ाइल खोजने की गणितीय समस्या नहीं है। यह एक सिस्टम डिज़ाइन समस्या है जिसे डिवाइस की भौतिक सीमाओं, हार्डवेयर की गति और अंतिम कार्य की आवश्यकताओं को ध्यान में रखना चाहिए। सॉफ्टवेयर को तैनात करने की क्षमता को एक मुख्य निर्णय के रूप में मानकर, वे एक ऐसा मॉडल चुनने में सक्षम हुए जो गुणवत्ता, गति और संसाधन उपयोग को प्रभावी ढंग से संतुलित करता है। उनका कार्य इन एज-टू-क्लाउड सिस्टमों के निर्माण के लिए एक स्पष्ट ब्लूप्रिंट प्रदान करता है, जो दिखाता है कि सबसे अच्छा समाधान अक्सर वह होता है जो मशीन के अनुकूल हो, न कि केवल वह जो एक सैद्धांतिक प्रतियोगिता जीतता है। परिणाम एक व्यावहारिक, कार्यशील प्रणाली है जो वास्तविक समय में 3D दृश्यों को कैप्चर, कंप्रेस और पुनर्गठित कर सकती है, जो उन्नत आर्टिफिशियल इंटेलिजेंस और उन्हें ले जाने वाले उपकरणों की भौतिक सीमाओं के बीच के अंतर को पाटती है।